スラッグ名のsitemapとsitemap.xmlの競合の回避方法について

表題のとおりなのですが、
WordPressで構築したサイト内でサイトマップページ（sitemap）という
固定ページのスラッグ名として作成しています。

その際のmod_rewriteの記述は

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

の状態となっています。

このときに、SEO用にsitemap.xml
をトップディレクトリに設置すると404エラーとなります。
（404.phpのテンプレートが呼ばれるわけでもなく、サーバの404が返されます。）

なお、sitemap.xml
を直接アクセスする分には問題なくアクセスできます。

恐らくは.htaccessの記述の仕方次第だと思うのですが、
そのあたりに明るくないため、ご存知の方がいらっしゃいましたら
ご教示いただけると幸いです。