なんてことはないです．プラグインのSVG SUPPORTをインストールするだけ．
なぜWordpressが標準でベクトル画像のSVGをサポートしていないかというと，WordPressでSVGを扱いたい！ アップから表示まで完全対応する工程まとめに詳しい説明があり，一部を抜粋します．
簡単に言うと、JavaScriptがSVGに埋め込まれる可能性があり、SVGの表示時に実行されてしまうということです。
そこらへんに転がっているSVG画像を使い回すのは怖いですが，自前のものであれば問題なさそう．
ゆくゆくはSVG+MathMLで，座標の数式フォントがUIに依存するような仕組みが理想となると思うので，SVGも普及してほしいと思う今日この頃．
ちなみにサンプルのSVG画像が何かは……いずれ説明することになるでしょう．