1ページ目と以降のページで表示件数を変更するには

カスタム投稿タイプのアーカイブページにて、1ページ目には記事を「1件」、2ページ目以降は「5件」というように表示を変更したく思っています（件数は例えです）。

実際に下記のコードをfunctions.phpに記載して試してみました。

function my_posts_per_page($query) {
	if (!is_admin() && $query -> is_main_query()) {

		if ($query -> is_post_type_archive('custom_post') && !$query -> is_paged()) { //1ページ目
			$query -> set('posts_per_page', 1);
			return;
		}
		if ($query -> is_post_type_archive('custom_post') && $query -> is_paged()) { //2ページ目以降
			$query -> set('posts_per_page', 5);
			return;
		}
}
add_action('pre_get_posts', 'my_posts_per_page');

1ページ目は期待通り、記事が1件のみ表示されました。しかし、2ページ目を表示してみると、指定した件数である5件よりも多い12件(どこからきた数字なのでしょうか)が表示されてしまいました。

ページごとに表示件数を変更するというのは難しいのでしょうか。どなかたご回答のほどよろしくお願いします。