直リンク禁止設定に方法について

直リンク禁止設定に方法について
xserver,x10を利用しております。

<Files ~ "&yen;.(gif|png|jpg)$">
SetEnvIf Referer "^http://test\.com" OK
order deny,allow
deny from all
allow from env=OK
</Files>

これですと、
直リンクした場合も表示されてしまいます。
どのようにすれば良いのでしょうか??