なんてことはないです.プラグインのSVG SUPPORTをインストールするだけ.
なぜWordpressが標準でベクトル画像のSVGをサポートしていないかというと,WordPressでSVGを扱いたい! アップから表示まで完全対応する工程まとめに詳しい説明があり,一部を抜粋します.
簡単に言うと、JavaScriptがSVGに埋め込まれる可能性があり、SVGの表示時に実行されてしまうということです。
そこらへんに転がっているSVG画像を使い回すのは怖いですが,自前のものであれば問題なさそう.
ゆくゆくはSVG+MathMLで,座標の数式フォントがUIに依存するような仕組みが理想となると思うので,SVGも普及してほしいと思う今日この頃.
ちなみにサンプルのSVG画像が何かは……いずれ説明することになるでしょう.