複数カテゴリーを持つ投稿をsingle.phpで一つのカテゴリー毎にページ送りしたい

カテゴリー: A,B,C,D
投稿1:カテゴリーA,Cを持つ
投稿2:カテゴリーA,Dを持つ
投稿3:カテゴリーB,Cを持つ
投稿4:カテゴリーB,Dを持つ

という括りがあるとして、
カテゴリーリンク一覧(header.php内にwp_list_categoriesで実装)>該当カテゴリーアーカイブページ(category.php)>個別投稿ページ(single.php)と表示させたいのですが、
個別投稿ページのページ送りを、カテゴリーアーカイブページに準じた投稿だけで送られるようにしたいのです。
現在は全ての投稿を取得してページ送りしてしまいます。single.phpでまとめて作成したいのですが、どのように親ページ？のカテゴリーに該当する投稿だけを取得できるでしょうか。

  <article>

    <?php if ( have_posts() ) : ?>
    <?php while ( have_posts() ) : the_post(); ?>

    <section post_class(); >
      <?php the_content(); ?>
      <div>
        <div class="leftcol">
          <?php next_post_link('%link', '← prev', true ); ?>
        </div>
        <div class="rightcol">
          <?php previous_post_link('%link', 'next →', true ); ?>  
        </div>
      </div>
    </section>

    <?php endwhile; ?>
    <?php endif; ?>

  </article>

post_linkにtrueを追加して試してみているのですが変わらずです。single.phpにまとめて記述しているからではないかなと思うのですが、その場合クリック元の親ページのカテゴリーの取得、ページ送りへの適用の仕方が分かりません。