ニコニコ動画運営からメールが来て
エンコード方式 独自 になったらしいので
それに合わせて調整したら動画投稿出来ました
もし同じような症状の方はこちらを試してください

1 AviUtl を ニコニコ動画2018 に変更
これだけでも投稿可能になるかも

2 h264 High profile で出力する
私は今回は H.264 High 4:4:4 Predictive Profile で
出力していた為駄目だったみたいです

要はyoutubeと同じ形式では投稿出来ません
ニコニコ動画基準に直してくださいという
意味不明なことを2023年11月から始めたってことですね
ますます投稿者が減りそう