以下のサイトを参考にし意図通り表示できました。
http://blog.wanz-style.com/archives/753/
ソース載せておきます。
<?php
$args=array(
'orderby' => 'ID',
'order' => 'asc',
);
$categories=get_categories($args);
foreach($categories as $category):
?>
<section>
<a href="<?php echo get_category_link($category->term_id) ?>">
<h2><?php echo $category->cat_name; ?></h2>
<?php query_posts(array('cat' => $category->term_id, 'showposts' => '1')); ?>
<?php while (have_posts()) : the_post(); ?>
<p><?php echo get_the_post_thumbnail() ?></p>
<?php endwhile; ?>
<?php wp_reset_query(); ?>
</a>
</section>
<?php endforeach; ?>