直下の子カテゴリのみを取得

親カテゴリ
└子カテゴリ
　└孫カテゴリ

カテゴリーページ（category.php）にて、現在のカテゴリの「下層カテゴリが存在する場合」、直下のカテゴリ一覧をリンク付きで表示したいです。
上記の例では、親カテゴリページにいる場合は子カテゴリを、
子カテゴリページにいる場合は孫カテゴリを取得して一覧表示したいと考えています。

<?php
$categories = get_terms( 'category', array(
    'orderby'    => 'count',
    'hide_empty' => 0,
    'child_of' => get_query_var('cat'),
 ) );
    foreach($categories as $value):
 ?>
		<p><a href="<?php echo get_category_link($value->term_id); ?>"><?php echo $value->name;?></a></p>
<?php endforeach; ?>

上記のコードでは、全ての子孫カテゴリが表示されてしまいました。