前の投稿のカスタムフィールド値の取得

シングルページでその投稿のカスタムフィールド値と１～４つ前までの投稿のカスタムフィールド値を使い表を作ろうと思っています。

メインのループの中にWP_Query()を使いループを入れ子にしてカスタムフィールド値を表示してみたのですが、入れ子の中のループは次の投稿に移動しても表示される内容が変わりません。

<?php 

while ( have_posts() ) : the_post();

the_content();

	//入れ子のループ
	$loop01 = new WP_Query();
	$loop01->query('post_type=music&posts_per_page=4&orderby=date&order=DESC');
	while ( $loop01->have_posts() ) : $loop01->the_post();

	//カスタムフィールドの取得
	echo get_post_meta($post->ID, 'custom', true); 

	endwhile;
	wp_reset_postdata();//クエリをリセット

endwhile;
?>

そもそもこのやり方自体が間違ってるのかもしれないのですが、現在の投稿から４つ（指定数）分まえまでの投稿のデータを取得することができればいいのかなと考えています。

どなたかご教授頂けますでしょうか。
よろしくお願いします。