再インストール時のエラー

サイト構築をWordpressで行おうとしています。
先日再インストールが必要になり、サーバー上のファイルを全て消去し、データベースを削除した上で再インストールを行おうとしたら、インストール時に以下のエラーが出ました。

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-admin/install.php on line 12

インストール自体は完了して、トップページにアクセスは出来るのですが、ログインしようとすると

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-login.php on line 267

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-login.php on line 279

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-includes/pluggable.php on line 595

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-includes/pluggable.php on line 596

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-includes/pluggable.php on line 597

Warning: Cannot modify header information – headers already sent by (output started at /home/donguri/public_html/wp-config.php:1) in /home/donguri/public_html/wp-includes/pluggable.php on line 770

のようなエラーがでて管理画面に入れません。

サーバーはjust-size.netです。仕様は
PHP 5.x
Perl 5.x
MySQL 4.x
です。データベースの削除はUserminで行っております。
Wordpressは2.6.3ですが、最新のバージョンでも同じようなエラーが出ます。
これらを回避する方法はありますでしょうか。