サムネイルのsrcsetのみ無効にする方法

よろしくお願いいたします。

wordpress4.4から有効になったsrcsetとsizesの自動付加についてです。
サムネイルのみ正方形にトリミングしているので、サムネイルにもsrcsetが付加されると正方形を前提としたサイトのレイアウトが崩れてしまいます。
その他の画像サイズではsrcsetを付加して、the_post_thumbnail()を使ってサムネイル画像を表示した場合はsrcsetを無効化したいです。

post_thumbnail_htmlフックを使えば出来ますが、HTMLを出力するたびに通る箇所にあまりフックを作りたくありません。出来るだけ処理を軽くしたいです。

解決された方いらっしゃったら教えていいただけませんか。