【MMD/MMM雑記】MMMとプラグインを用いたリップシンク
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

【MMD/MMM雑記】MMMとプラグインを用いたリップシンク

2018-02-25 21:55
  • 1
私の動画の性質上、再現MMDを作ることが多いわけですが、
一つの大きな課題となってくるのがリップシンク。

リップシンクとはいわゆる「口パク」の事です。
歌うようなPVを作る際には、当然歌と口パクを完全に合わせなければ違和感が出るわけですが、
MMDドラマのような台詞が多い・口パクが気にならない動画だと、
「あ」モーフ開閉だけで終わらせる場合も多々あります。

他に私が見かけた方法としては、
・最初と最後だけ母音を合わせる、あとは「あ」
・一つ飛ばしで口パクをつける 例:「あいうえお」→「あーうーお」
・いっそ紙芝居にする(本末転倒)
など、個々に様々なやり方があるようです。

            イメージ図(超簡素)
「あ」モーフ開閉→→→→→→→→→→→完全再現
    簡単                   めんどくさい

「あ」開閉なら一瞬で終わりますが、「完全再現」をしようとすると途方もなく時間がかかります。
まともにやろうとすると、モーション製作の3割くらいをリップシンクが占めるというレベル・・・
でも「あ」開閉はみっともないから出したくないし・・・


この記事は、「完全再現」をしたいけど、ツールを使ってある程度自動化できたら・・・
という我儘困ったちゃん向けの記事です。(主に自分)
ぶっちゃけドラマ系で口パク拘っても誰も見てくれない

以下、MikuMikuMoving(以下、MMM)の使用を前提とした記述になっています。
「MMMって何?」って人はググってください。


1.リップシンクの方法について

1.1.FaceAndLips

リップシンクの方法としては、主にFaceAndLipsを使ってゴリ押すのが主流なやり方です。

参考動画↓


ただ、このツールは歌詞のリップシンクを目的として作られたものなので、
ドラマ系で使用する際には深刻な問題があります。
それは「モーションと同期して作れない」という事です。

特に表情系のモーフは顔の角度などを前提に作る事が多いので、
「モーションを作りながら表情付け」が出来ないのがこのツールの難点です。
リップシンクだけ別ファイルになるのがめんどくさいし

1.2.MikuMikuMoving

そもそもなぜリップシンクにFaceAndLipsが使われているのかというと、
MMDではモーフの変化量が分かり辛いから、というのが主な理由です。


わからん

なのでMMMを使います。



MMMを使うとモーフの変化量が目に見えて分かりますね。
もちろん表情付けの機能に関し、FaceAndLipsよりは万能ではないですが、
それでも「モーションと同期して表情付けが出来る」のは非常に大きなメリットです。


1.3.リップシンク自動化ツールは有用か?

ところで、巷ではリップシンクの自動化ツールというものがあります。



お、これなら再現MMDとかで使えそう・・・
と昔導入してみましたが、ノイズだらけで全く使い物になりませんでした。
そもそもこれボカロ用のツールだし

他にも、Facerig等を使ってある程度自動化する方法などもあるようですが、
どんなツールを使ったとしても、最終的には手動での修正が必要になるでしょう。



一方、ゆっくり音声を使う場合は↓のような方法もあるようです。


ゆっくりMMDドラマを作ってる人はかなり実用的なのではないでしょうか?


2.MMMとプラグインを利用したリップシンク

上記のように、MMMは表情付けをするのに適していますが、
それでも一音ずつモーフを作っていくのはかなり手間がかかります。

そこで、「こんにちは」と入力すれば「こんにちは」のモーフが生成されるようなツールがあれば・・・
と思っていたところ、以下のようなツールを発見しました。

配布動画↓


このツールは口パクと字幕を同時に生成する、という使い方が主な目的ですが、
口パクモーフを自動生成する、という用途でも使えそうです。


MMMに導入して使ってみます。




プラグイン欄から開くと、このような編集画面が出てきます。



例として、「こんにちは」と入力すると、
母音の「オ_イイア」のモーフが生成されます。
「字幕」機能は使わないのでチェックを外しておきます。



「OK」を押すとモーフが自動生成されます。
あとはこれを元の音声に合うように手動で調整してくだけです。



手動での調整作業の手間を減らすために、以下の項目も設定してくと捗ります。

■プリセット



デフォルトだと、「あ」「い」「う」「え」「お」モーフのウェイト値が
100%で登録されてしまっています。
このままだと、口パクが開きすぎて違和感が出る場合があるので、
50%くらいまで下げてしまいましょう。


50%というプリセットを新たに作りました。
大声の時は80%、小声の時は30%くらいにすると丁度いいです。




一音あたりまたは入力文全体の長さを調整することもできます。

入力文全体のフレーム数を測って調整するのも手間がかかるため、
基本は一音あたりの調整を使っていきましょう。
大体3~5フレームほどが丁度いいです。


上記の設定を使ってモーフを自動生成し、


元の音声に合うように、各モーフの開始点・終了点などを調整していきます。

調整例(適当)


結局リップシンクの完全再現をするには手動での調整作業が必須になっていまいますが、
それでも、このツールを使うことにより大幅に時間を短縮することができます。

リップシンクに悩んでいる、という方はこの方法を試してみてはいかがでしょうか?
FaceAndLipsを使うよりはかなりマシのはず



広告
×
ルナルナくんかわいい☆だいしゅきぃ!
24ヶ月前
コメントを書く
コメントをするには、
ログインして下さい。