リンクのURLにfileプロトコルを指定したい

wp-includes/functions.php で wp_allowed_protocols() が定義されています。
許可するプロトコルに file を追加すれば良いでしょう。

wp-includes/functions.php を直接いじらなくても、フックが用意されているので、フックを使う方法を紹介します。

テーマの functions.php に下記コードを追加すれば、file:// が使えるようになります。(twentyeleven で確認)

add_filter('kses_allowed_protocols','allow_file');
function allow_file($protocols) {
	$protocols[] = 'file';
	return $protocols;
}

file://は使えるようになりました。
リンクの編集＞ウェブアドレス欄に file://server/share と指定しましたが、クリックをしてもファイルエクスプローラが起動しません。

実際のURLが無いので、あくまで推測でしかありませんが、
file:// という表示が出る(＝ httpに自動整形されない)のであれば、
WP の設定は完了だと思います。

ブラウザの設定
OS の設定
セキュリティソフトの設定
file://～　で指定したファイル名にスペルミスが無いか
辺りを確認してみてはいかがでしょう。