特定のカテゴリ（もしくはカスタム投稿下）のコメント取得について

いつもお世話になっております。

サイドバーにコメントを取得する際、特定のカテゴリ（もしくは特定のカスタム投稿下）のコメントだけを取得したいのですが、get_commentsのプロパティ値にそういった指定を出来るものが無さそうで躓いております。

サイト構成は以下の通りです。

カスタム投稿”Z”の最上カテゴリー”A”
┗Aの記事1
　┗A1のコメント1（日付：1月6日）
　┗A1のコメント2（日付：1月5日）
┗Aの記事2
　┗A2のコメント1（日付：1月4日）
　┗A2のコメント2（日付：1月3日）
┗Aの記事3
　┗A3のコメント1（日付：1月2日）
　┗A3のコメント2（日付：1月1日）

カスタム投稿”Y”の最上カテゴリー”B”
┗Bの記事1
　┗B1のコメント1（以下、投稿日付略）
　┗B1のコメント2
┗Bの記事2
　┗B2のコメント1
　┗B2のコメント2
┗Bの記事3
　┗B3のコメント1
　┗B3のコメント2

（以下、同様の構成で5〜10カテゴリ程続く）

上記のような構成で、カスタム投稿のカテゴリAにぶら下がる記事についた、最新コメント5件を取得したいです。
希望の出力結果は以下の5件となります。
・A1のコメント1
・A1のコメント2
・A1のコメント1
・A2のコメント2
・A3のコメント1

このように特定のカテゴリー（この場合A）か、特定のカスタム投稿（この場合Z）にぶら下がる記事の、コメント取得方法をご存知の方がいらっしゃいましたら、ご教授願います。