自分もcoreserverで同じ問題で（厳密にはfixdotさんより古いバージョンから）詰まったのですが、fixdotさんの手順でapacheから変更して削除可能になっているので、おそらく大丈夫だと思います。自分が解決までに歩んだ道のりを書いておきます。
FFFTPでの削除 http://www.hereticanthem.com/webtips/215/ の手順では無理。
記事は古く、xreaバージョンですが、http://sb.xrea.com/showthread.php?t=437 この手順でも無理でした。ただ、okという画面が出ていたので、一応削除行為は行っていたと思います。しかし、削除できなかったと推測されます。
ただ、この時点で、サポートに削除依頼を出すことができるという事を聞いて安心しました。「最悪、削除依頼出せばいいんだ」って。
で、super-cacheは動かしてみようかと思って、やってみたら動かず。で、super-cacheのログはあるだろうと、探してたらhttp://www.stupid-net.com/text/wordpress-text/927 に辿り着いて、coreserverの所有者情報の件につながったわけで、解決となりました。
で裏付け取りで、もすこし探したら、http://bizcaz.com/archives/coreserver/
＞ PHP にて自動作成されたディレクトリの所有者は「apache」となってしまうようです。ディレクトリの所有者が「apache」だと自分では削除や移動などができません。所有権を戻してもらうには、CORESERVER の管理メニューから「ツール」＞「ファイル所有者の修正」という項目がありますので、そちらで申請することで自分の所有権に戻すことができます。
とありました。たぶん、これが原因と見て間違いないでしょう。
