失礼しました、ではソースですが。
<a href="<?php
$recent_post = get_posts('numberposts=1&category_name=new&showposts=1');
if (count($recent_post) > 0) {
$recent_post_id = $recent_post[0]->ID;
$recent_post_url = get_permalink($recent_post_id);
echo $recent_post_url;
} ?>">新着情報
ここでは、カテゴリネームをnewにしています。
get_posts() で取得した情報をget_permailn()で出力しています、