投稿画面でタグをつけられる数を制限したい

投稿時制限をするならpublish_postのフックを利用して、現在のタグが10個以上なら10個まで減らすように処理を加えればいいと思われます。

楽なのはタグを出力するときにthe_tagsで出力させずにget_the_tagsで配列で受け取って10件以上は処理をやめるようにするとかですかね。

そのサンプルをfunctions.phpではなく表示させたい箇所に貼り付けてください。
それで稼働するはずです。
if(1 == $count)の数字を変更すれば表示する件数も変更できます。
また、このサンプルはあくまでタグ名を表示するだけでリンクまでは表示されませんので、タグへのリンクも表示したい場合はecho $tag->nameのところにリンクをついかしてください。