一覧ページで特定カテゴリのみ表示件数を変更したい

アーカイブ（カテゴリページ）に表示される一覧の件数を特定カテゴリのみ変更したいと思っています。

実現したいこと
カテゴリ一覧ページの表示件数を
カテゴリ「51」と「52」と「54」は25件
そのほかのカテゴリの表示件数は50件にしたいです。

やってみたこと
設定→表示設定でそのほかのカテゴリの記事数を50件表示させてfunctionsに下記のコードを追加しました。

function twpp_change_posts_per_page( $query ) {
  if ( is_admin() || ! $query->is_main_query() ) {
    return;
  }
  if ( $query->is_category( array(51,52,54)) ) {
    $query->set( 'posts_per_page', 2 );
  }
}
add_action( 'pre_get_posts', 'twpp_change_posts_per_page' );

この方法では親カテゴリの51だけ表示件数が適応され、子、孫カテゴリには反映されませんでした。
そのほかのカテゴリは50件表示されます。

もう一つは

function twpp_change_posts_per_page( $query ) {
  if ( is_admin() || ! $query->is_main_query() ) {
    return;
  }
  if ( $query->is_category() ) {
$query->set( 'posts_per_page', '25');
$query->set( 'cat', '51');
$query->set( 'cat', '52');
$query->set( 'cat', '54');
  }
}
add_action( 'pre_get_posts', 'twpp_change_posts_per_page' );

この方法では指定したカテゴリ（51,52,54）は上手く件数分の表示ができましたが、その他のカテゴリでは記事が見つかりませんでしたになり表示が0件になります。

特定カテゴリの表示件数を指定した上で、その他のカテゴリは表示設定の件数を表示させるにはどのようにすれば良いでしょうか？
よろしくお願いします。