NVIDIAのRTX3080に合わせて公開された新ドライバ 456.38 (2020.09.17公開)がエンコード時にうまく働いて無いようで。

そんな書き込みがちらほら。
CGレンダリングしてるんで今月は試せませんが、新製品で張り切ってたら貸しちゃった系?(笑)
8月のドライバは問題ないようなので素直に戻しましょ。

公式ダウンロードページの下の方に「ベータ&過去ドライバ」のリンクがあります

最新の NVIDIA 公式ドライバーをダウンロード
最新の NVIDIA 公式ドライバーをダウンロード

こちらから

公式 NVIDIA ドライバー用の高度なドライバー検索
公式 NVIDIA ドライバー用の高度なドライバー検索
自動エンコとかサイズが小さいときは再生確認を~