アタッチメントにカテゴリをヒモ付けたい

ギャラリーのプラグインを作成中です。

「投稿」→「カテゴリ」からギャラリー用にカテゴリを作成しました。
「メディアの編集」で上記で作成したカテゴリを選択できるようにし、attachment_fields_to_saveフックからwp_set_post_categoriesでメディアのIDとカテゴリのIDを登録しました。
get_the_category(メディアのID)でメディアのIDはカテゴリと紐づいていることが確認できました。

これらをカテゴリページ等で呼び出したいと思うのですが、post_typeがpostの投稿が一件もなく、ページの内容が”見つかりません”になってしまいます。
query_postsでpost_typeをattachmentにするために、プラグイン内に

global $wp_the_query;
global $wp_query;
    if ( $wp_query->is_main_query() && $wp_query->is_category() ) {
    $wp_query->set( 'post_type', 'attachment' );
}

と書いたのですがどうにも動いてくれません。
フックで挿入する場所を指定しなければならないのでしょうか？
また、テーマ側でなく、全てプラグイン側のコードで完結させたいのです。

理想としましては、http://examlple.com/category/gallery/
にアクセスするとgalleryカテゴリに紐づいた画像が表示されるというようにしたいのです。

どうぞ、宜しくお願いいたします。