リップシンク自動作成ツールの製作「つばきリップ方式シミュレート」
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

リップシンク自動作成ツールの製作「つばきリップ方式シミュレート」

2016-05-13 19:34
  • 6

【MMD】リップシンク自動作成ツールについて

以前より、どうにか機械化できないかという お題目のもと
基本仕様書を作りながら
調査・検討を重ねておりましたが・・・

テスト検証をし方向性定まりました。

最終的な仕様をざっくりを説明すると・・・


つまり
VSQファイルから VMDを作ってしまおう 
ついでに 表情も 
入れてしまおう!
ということです



一応プログラムの勉強はしていますが
基本仕様を作ったら どなたかに委託しようかとも思いましたが・・・
自分で ちょこっと作ってみましたw

日ごろからソフトを作っているわけではないので
Webの情報とにらめっこで 作ってみてはテスト テスト・・・

あれやこれや テストプログラムを作っては挫折して
幾度も仕様を方向転換、
ある程度実用の目処がたちそうな気もしてきたので
情報公開します^^

これはFaceAndLipsで手打ちしたデータです

手打ちで作ったリップと表情には敵いません!


ですが・・・これが目標です!!!



では
FaceAndLipsの機能でVSQファイルを単純にインポートしてみます

上段が FaceAndLipsでインポートしたVSQデータ
下段がで
手打ちしたデータ

実際に製作したソフトウエアでVSQファイルをVMD化して 読んでみると

上段がVMD化したもの
中段がVSQをインポートしたもの
下段は手打ちしたもの

あらら・・・
文字の重なりは FaceAndLips側で加工してるのか!!
(ずっとVoiceCapture が出力時に加工してると思ってましたww)


この音の重ねが ソフト的に実現することが いろいろと難しかったww
ようやく辿り着いたよ 基本形w

上段が現在のVMD化したもの
中段がVSQをインポートしたもの
下段が手打ちしたもの



なんとなく形になってきたので
モニター募集の方々からのご意見を頂戴して調整中です

あとは
 基本的な表情(困る・まばたき・笑い・怒り) の実装ですね
 VOCALOIDから出力したVSQファイルも試して、なんとか調整もできそうです

ご意見お待ちしております^^


画面サンプル





RhythmicaLyrics を使用したVSQの場合>
音程が一定になってしまいます。

その際は 音程に少しだけアクセントをつければ見違えるようなリップが作れます



盗賊のアジト(どうぞ遊びにいらしてくださいね~^^)
http://com.nicovideo.jp/community/co2313122

https://twitter.com/touzoku_tsubaki

その他の関連記事
簡単なリップシンクの作成 「感情表現を意識せずに」(つばきリップ方式)

リップシンクから 表情モーフの生成 節目(つばきリップ方式)



広告
×
普段みくみくVoiceから口パク作ってますが、FaceAndLipsの方が綺麗に出来そうですね☆彡
36ヶ月前
×
そうですね 細やかな調整ができますね^^
それと ツールができれば もうVSQファイルを作ることに専念すればよいので 更に楽になりますね^o^/
36ヶ月前
×
自分の手打ちリップより既にツールのほうが繊細ですよ(驚愕)
ツール完成楽しみにしてますね♪
36ヶ月前
×
>>3
手間無しで そこそこ見れるリップができれば 大成功! っ手感じで
ソフトを作ってます
暫定版ができましたら  モニターで使っていただければ嬉しいです^^
36ヶ月前
×
VSQファイルが途中で読み込めませんでした。MMDに入れても落ちます。どうしたらよいのでしょうか?
29ヶ月前
×
VSQファイルをメールで送ってください
解析します!
29ヶ月前
コメントを書く
コメントをするには、
ログインして下さい。