カテゴリーをカスタマイズしたい

LIG（http://liginc.co.jp/）の左カラムにあるカテゴリーの見せ方をコーディングしたいのですが、どうようにすればいいかご教授いただきたいです。プラグインは使わずにやりたいです。

<?php wp_list_categories('orderby=order&show_count=1&title_li=');?>

上記で表示することは理解できるのですが、数字部分やテキスト部分にhtmlタグをつけたり、カスタマイズするにはどうすればいいか悩んでいます。

<li><a href=""><p>ニュース</p></a><span>10</span></li>
上記のような形にしたいです。
お分かりの方がいれば、お教え頂ければ幸いです。
よろしくお願いいたします。