wordpressが表示されるのが遅い

Ubuntu 12.10 32bit / nginx 1.2.1 / php 5.4.6-1ubuntu1.2
上記環境でwordpressを始めたのですが表示されるのに30秒程かかります。
表示され後再度更新するとすぐ表示されるのですが、また1分ほどあけてアクセスすると30秒程かかってしまいます。

wordpressはapache2で動かしていた時の物を使ってます。
一度プラグインを全て無効にして試してみましたが上記と同じ現象が出ます。

同じような現象になった方いませんでしょうか？
また助言などくださると助かります。

以下：nginx.confの設定です。

user www-data;
worker_processes 2;
pid /var/run/nginx.pid;

events {
	worker_connections 4096;
	# multi_accept on;
}

http {

	##
	# Basic Settings
	##

	sendfile on;
	tcp_nopush on;
	tcp_nodelay on;
	keepalive_timeout 65;
	types_hash_max_size 2048;
	server_tokens off;

	# server_names_hash_bucket_size 64;
	# server_name_in_redirect off;

	include /etc/nginx/mime.types;
	default_type application/octet-stream;

	##
	# Logging Settings
	##

	access_log /var/log/nginx/access.log;
	error_log /var/log/nginx/error.log;

	##
	# Gzip Settings
	##

	gzip on;
	gzip_disable "msie6";
	gzip_vary on;
	gzip_proxied any;
	gzip_comp_level 2;
	gzip_buffers 4 8k;
	gzip_http_version 1.0;
	gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;

	##
	# nginx-naxsi config
	##
	# Uncomment it if you installed nginx-naxsi
	##

	#include /etc/nginx/naxsi_core.rules;

	##
	# nginx-passenger config
	##
	# Uncomment it if you installed nginx-passenger
	##

	#passenger_root /usr;
	#passenger_ruby /usr/bin/ruby;

	##
	# Virtual Host Configs
	##

    proxy_buffering       on;
    proxy_buffer_size     8k;
    proxy_buffers         100 8k;
    proxy_cache_path      /var/cache/nginx/cache levels=1:2 keys_zone=luis:15m inactive=7d max_size=1000m;
    proxy_temp_path       /var/cache/nginx/temp 1 2;
    proxy_cache_valid     200 2h;
    proxy_cache_valid     302 2h;
    proxy_cache_valid     301 4h;
    proxy_cache_valid     any 1m;

    # set header
    proxy_set_header Host            $http_host;
    proxy_set_header X-Remote-Addr   $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

	include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/sites-enabled/luispc.com;
	proxy_connect_timeout   3000;
        proxy_send_timeout      3000;
        proxy_read_timeout      3000;
	fastcgi_connect_timeout 3000s;
	fastcgi_send_timeout 3000s;
	fastcgi_read_timeout 3000s;
	send_timeout 1800s;
}

以下sites-enabledにあるファイルです。

upstream backend {
    ip_hash;
    server 127.0.0.1:8080;
}

server {
    listen       8080;
    server_name  luispc.com;

    access_log  /var/log/nginx/access_80.log;

try_files $uri $uri/ /index.php?q=$uri&$args;

location = /favicon.ico {
        log_not_found off;
    }

    location /wordpress/wp-admin {
        proxy_pass http://backend;
    }

    location /wordpress/wp-login.php {
        proxy_pass http://backend;
    }

    location = /wordpress {
        rewrite ^(.+)$  /wordpress/index.php;
    }

    location = /wordpress/wp-admin {
        rewrite ^(.+)$  /wordpress/wp-admin/index.php;
    }

    location / {
        proxy_pass http://$host.backend;
        proxy_no_cache     $do_not_cache;
        proxy_cache_bypass $do_not_cache;
        proxy_cache luis;
        proxy_cache_key $scheme://$host$request_uri;
	set $do_not_cache 0;

        if ($http_user_agent ~* '(DoCoMo|UP\.Browser|SoftBank|WILLCOM|emobile|iPhone|iPod|Android.*Mobile)') {
            set $do_not_cache 1;
        }
    }
}

server {
    listen  80;
    server_name luispc.com;
    access_log  /var/log/nginx/luis/access.log;
    error_log   /var/log/nginx/luis/error.log;

    location / {
        root /var/www;
        index index.php;
	client_max_body_size 128M;
}

    location ~ \.php$ {
        include /etc/nginx/fastcgi_params;
        fastcgi_pass    127.0.0.1:9000;
        fastcgi_index   index.php;
        fastcgi_param   SCRIPT_FILENAME /var/www$fastcgi_script_name;
	fastcgi_pass_header "X-Accel-Redirect";
        fastcgi_pass_header "X-Accel-Expires";
	client_max_body_size 128M;
    }

    location ~ /\.ht {
        deny  all;
	client_max_body_size 128M;
    }
}

多くのサイトではproxyが記述されてるほうが80
ドキュメントルートを記述するほうが8080となっていますが
ドキュメントルート側を8080にすると502エラーが返されてしまいます・・・。