バージョン3.2.1から3.1.4へのダウングレード

別バージョン間でですがダウングレード作業をやったことありますし、きちんとダウングレード出来ました。
コアファイルを古いバージョンに差し替え後に /wp-admin にアクセスすると、アップグレード時と同様に「データベースの更新」が走りますので、それを実行すればOKです。
テスト環境から本番環境に移行するのであれば、テスト環境でダウングレードを完了させておいた方が無難だと思います。

あと 3.2→3.1 は実施したことないので、問題等あればレポートしてもらえるとうれしいですね。