子カテゴリ名のはじめで数字を使うとバグ発生

WordPress 3.5.2
デフォルトテーマ（TwentyTwelve）で確認しましたが、

・カテゴリ名、子カテゴリ名に数字を初めに使うとダメという決まりなどあるのでしょうか？

このような決まりはありません。

基本的にはまず「問題解決のためのチェックリスト」にあるトラブルシューティングを行ってください。
その上でデバッグモードなどを利用し、エラーが出ていないかどうか確認してください。

記事詳細にいくと、その子カテゴリの記事だけパンくずリストがおかしくなったり、機能がおかしくなったり・・

WordPressデフォルトのテーマ、プラグインのみではパンくずリストは表示されません。
使っているプラグインや自作のコードであればそのコードなどの情報がないと、見ている人はどのような処理を行っているか知ることができないので、回答のしようがないです。