サイト上でリッチエディターが使えるようにしたい

ダッシュボード内の投稿画面からではなく、
サイトを表示している状態で、ということででしたら
WordPress Front-end Editor を使っています。
投稿後に誤字脱字を見つけたような時の直しに重宝しています。

ログインしている状態だと機能が有効になります。
ただ、テーマ次第で Twenty Fourteen など問題なく利用できるのは限られるようです。

WordPress 3.9 ベータ版では今のところ、TinyMCE 系が使えないので利用しています。
類似のプラグインはいくつもあるので、希望に叶うものが見つかると良いですね。