HTMLソースについて＊初心者です

XHTML,cssは多少知識はあるのですがWordPressは初心者です。
バージョンは3.1.3です
テンプレートのHTMLのソースは自分で変更できるのでしょうか？
cssは変更できるフォームを見つけたのですが、HTMLのが見当たらなくて、、
また基本、テンプレートはHTML５で書き出されているのでしょうか？
ソースみるかぎりそう見えるのですが、、
HTML自分で変更できるのであればそれをXHTMLstrictに変えたいのですが大丈夫なのでしょうか？

使い方ガイドみたりググったりもしたのですがわからないのでお願いします。