FaceRig と NAMAROID と VOICEROID で美少女になって生放送したい
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

FaceRig と NAMAROID と VOICEROID で美少女になって生放送したい

2016-01-16 17:53


    前回の記事「FaceRig とボイスチェンジャーで美少女になって生放送したい」の続きです。
    その間に、Live2D で自分の絵を動かせるようにし FaceRig のオリジナルアバターを作成しています。


    このアバターは Steam のワークグループから利用できるので良かったら使ってやって下さい。

    ボイスチェンジとNAMAROID

    前回のテストではやはりどうしてもボイスチェンジが完璧ではなく『美少女になりきる』にはここが大きな障害になってしまうという感じでした。
    ちょうどそんな問題に悩んでいたところ "NAMAROID" というツールがリリースされたことを知ります。

    マイクからの音声を音声認識でテキストにし VOICEROID 等のテキスト読み上げツールに渡すことができるツールです。同時に音声テロップも表示してくれるという、まさに実況者ならではな視点で作られています。
    これと FaceRig で完全美少女差し替えができるじゃんヤッター。ということで使い込んでみました。

    NAMAROID の音声認識部分は無料で利用できる Intel Perceptual Computing SDK を利用しているのでこれをダウンロード&インストールしておきます。
    ちなみに Intel Perceptual Computing SDK に含まれている音声認識エンジンは Dragon Assistant なのでドラゴンスピーチと同等のエンジンを期待できるわけです。試すしかあるまいて。

    NAMAROID が利用するテキスト読み上げは「SofTalk」「VOICEROID」「Intel標準」の三種類から選択して利用します。VOICEROIDではアプリ(キャラクター)を選択できるのだけれども、弦巻マキと結月ゆかり以外は今のところ未実装っぽいです。

    (Jan.22.2016 追記:NAMAROID が更新されており Ver.1e 以降では琴葉葵/茜、東北ずん子も利用可能になっていました。未実装ではなく不具合だったようで)

    音声のルーティング

    音声ルーティングはピッチシフトを利用していた前回も面倒だったのですが、今回も相当面倒です。


    ひとまず構築してみたのが上図です。
    要求としては
    • マイクからの音声(地声)を配信に乗せない
    • VOICEROID の音声を FaceRig に流し込んで口パクさせる
    の2つがあり、これを実現させようとすると複雑になるという結果でした。

    上図ではオーディオデバイスが 3つありますが、これが USB オーディオインタフェースです。実際は 3つでなく 4つ使ったので USBオーディオが 4個 PC に繋がっているという状況でした。
    DTM 環境が整っている関係でそれだけ揃えられましたが、そんなに USBオーディオがある環境は珍しいのではないかと思う次第です。
    あと上記構成で配信テストを行ったところ USBバスが不安定になりました。流石に無理があるのでしょうかね。

    複数のオーディオデバイスは現実的では無いということで、ルーティングを実現できる仮想オーディオドライバを探したところ VB-Audio の "Voicemeeter Banana" という素晴らしいミキシングコンソールアプリに出会えました。


    オーディオのミキシングとルーティングを行えるだけでなく、仮想オーディオインタフェースの IN/OUT がそれぞれ 2つずつありそれらも自在にルーティングできます。
    カセットテープのメタファで音声の録音や、音楽ファイルの再生もできるので生放送を良くやる人にはえらい便利な代物なんではないかと思います。

    そんな素晴らしい Voicemeeter Banana ですがドネーションウェアです。
    ダウンロードして使用するのに制限はかかっていません。「気に入ったらカンパしてね」という形態です。
    個人的にとても気に入ったので Donate しようとしたのですが、PayPal での Donate は日本から行えません(大人の事情)。今のところは振り込めなくてごめんなさいと心でつぶやきつつ使わせて貰っています。


    Voicemeeter Banana と仮想オーディオデバイスを使ってルーティングすると上図の様になります。オーディオデバイスが 1つで行けるようになりました。

    あとは配信するだけ

    FaceRig と NAMAROID + VOICEROID でキャラクターに差し替わっての生放送ができるようになりました。
    みなさんもやってみてはいかがでしょうか。



    広告
    コメントを書く
    コメントをするには、
    ログインして下さい。