<?php wp_list_categories('sort_column=menu_order & exclude= & &include=11 & title_li='); ?>
引数の文法が変だからじゃないでしょうか (& がダブっている)。
<?php wp_list_categories('sort_column=menu_order&include=11&title_li='); ?>
だとどうでしょう? これでもカテゴリー名が入るだけで、投稿タイトルは入りませんが。
リンク文字列は決め打ちで、投稿タイトルが不要ならば、sidebar.php に直に
<a href="http://example.com/?cat=4">Whats' new</a>
のように書いてしまえばいいんですが、投稿タイトルを入れたいとすると、ちょっと複雑ですね。他のトピックに、「特定カテゴリーの最新タイトルを取得する」というのはちょくちょく出る話題ですので、それを参考に作ってみてください。