要素が空の際に親要素を削除したい

簡易ですが以下の様なコーディングをしています。

<div class="post">
    <h1 class="post-title">タイトル</h1>
    <div class="post-content">本文</div>
    <div class="post-meta">
        <p>カテゴリ</p>
        <p>タグ</p>
        <p>投稿日</p>
    </div>
</div>

.post-meta {
    padding: 20px;
}

.post-meta内のp要素の項目は、表示するかしないかをテーマセッティングから変更できるようになっています。
全ての項目（カテゴリ＆タグ＆投稿日）を非表示にした場合、padding: 20px;だけが反映されて不要な空欄が出来てしまいますので、これを消したいのがこのトピックの内容になります。

jqueryで$("post-meta:empty").remove();を試してみたのですが消えてくれませんでした。
他に良い手段などありましたらご教授頂ければ幸いです。