FaceRig とボイスチェンジャーで美少女になって生放送したい
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

FaceRig とボイスチェンジャーで美少女になって生放送したい

2016-01-09 23:16



    FaceRig という WEBカメラで表情を読み取って画面の中の CG がそれと同じ表情をするというツールがあるのですが、GOROman さんがそれを使ってゲーム実況の生配信を行うというナイスアイディアを実行されていました。

    その様子は下記の記事などを見て下さい。
    GIGAZINE「美少女キャラに人の表情とゲームパッドの動作をリアルタイムで反映するゲーム実況ムービー」

    これを見ていて「これは面白い、みんなもできるように環境を追いかけてみよう」と思ったのが今回の記事になります。
    GOROman さんはラピッドプロトタイピングを Unity で行っていますが、Unity が無いとできないの?とか Windows でやるにはどういった環境がいるの?といった調査ですね。
    私自身、生放送はまったくといっていいほどやったことが無いのであまり良い回答ではないかもしれませんが、例の1つとしてご覧になってください。

    映像ソース

    目指すゴールを『2D美少女がゲームパッドを持ってゲームをしている様子を配信する』と定めます。
    この時必要になる映像ソースは



    ①ゲームのプレイ画面
    これはPC上で写っているゲームの画面をデスクトップキャプチャで取り込んだ物になります。



    ②FaceRig の実行画面
    WEBカムで撮影したおっさんの顔を美少女のCGに変換してくれるありがたいツール "FaceRig" の実行画面です。
    これはアプリの画面だけでなく、仮想WEBカムドライバーでも出力されますので、WEBカムの映像として取り込めます。



    ③パッド操作に合わせてそれっぽく動くパッドの絵
    パッドの値で傾いたりぴこぴこ動いたりさせるためにはツールを自作するしかありませんので、これはオリジナルで作成します。
    自作ツールの画面をなにか任意のデスクトップキャプチャツールで取り込むか合成するかします。


    これら 3つの映像ソースを合成するのですが、背景のゲーム画面以外はクロマキー合成という背景色を透過にして絵を重ねる手法で合成していきます。

    これら 3種類の映像ソースの取得、およびその合成手法が今回の課題となります。

    Niconico Live Encoder での合成

    ニコ生の場合 Niconico Live Encoder で配信することが多いと思いますが、Niconico Live Encoder は映像ソースを複数取り込んだりクロマキー合成したりが可能なのでこれ1本で大体実現はできそうです。


    映像ソースのパスは上記の通り。


    Niconico Live Encoder の「映像ソース」に 3つのソースを追加します。
    FaceRig は WEBカム入力、パッドの絵は後述のパッド画像をデスクトップキャプチャします。


    映像ソースの「設定」を選ぶと「カラー」の項でクロマキー合成の設定ができます。有効になっていなかったらチェックボックスにチェックを入れてください。
    スポイトでクロマキーしたい色を拾って "T" のスライダーで色の範囲を調整します。

    パッドの絵を表示するツールは以下のURLで公開していますのでダウンロードしてください。
    https://bitbucket.org/rerofumi/webcam-face-chromakey/downloads

    webcam_face_chromakey.zip からダウンロードして中の pad_action.html を Firefox か Chrome で表示してください。"PAD" にチェックを入れるとゲームパッドの画像が表示され、パッドの操作に合わせてピコピコ動きます。
    このブラウザ上の画像をデスクトップキャプチャして使ってください。


    自前でクロマキー合成する場合

    もともとこっちのツールを作っていたので、その使い方の説明が当記事のメインです。
    Niconico Live Encoder 以外のツールを使って配信するサイトの場合などの参考にしてください。
    この場合、先の webcam_face_chromakey を使うのですが、この HTML ページは「2つのWEBカム映像を合成する」ツールですので、ゲーム映像も WEBカム信号にする必要があります。


    映像パスは上記の様になります。
    Niconico Live Encoder のほかにもう一つデスクトップキャプチャが必要になるので、「ニコ生デスクトップキャプチャ」などを利用してください。


    webcam_face_chromakey.html を Firefox で起動するとブラウザ上に上記のようなページが表示されます。(今のところ Chrome 不可)
    [CAMERA1] ボタンを押すとカメラ選択&許可ダイアログがブラウザによって表示ますので、背景となる映像のWEBカムデバイスを選択してください。上の映像パスでは「ニコ生デスクトップキャプチャ」の出力デバイスがそれにあたります。
    [CAMERA2]ボタンでも同じようにカメラを選択してクロマキー合成したい映像ソースを指定してください。FaceRig の仮想カメラデバイスがそれにあたります。

    [GAMEPAD] チェックボックスにチェックを入れるとゲームパッドがさらに上に表示されます。
    [X POS][SIZE] のスライダーで CAMERA2 映像のサイズと位置を調整できます。

    このブラウザ上の合成結果となる映像を、配信ソフトでデスクトップキャプチャして配信します。
    ここでは CAMERA1 はゲーム画像としましたが、作業風景をカメラなりデスクトップキャプチャなりすれば FaceRig 作業配信ができますね。

    ボイスチェンジャー


    FaceRig のおかげで美少女に変身できたわけですが、声がおっさんのままだと台無しです。ええ、本当に。
    なのでボイスチェンジャーで女声とはいかなくても、「おっさんじゃない声」にしたいものです。ええ。
    ただ、完璧なボイスチェンジはできませんので、今回こうやってみたという記録までになります。残念です。

    ボイスチェンジャー自体は FaceRig にもありますので、それを使うとリップシンクにも反映されます。これが一番簡単だと思います。
    ですが、FaceRig のボイスチェンジャーはいまいち変化幅が小さかった(フォルマントがあまり変わらない)ので別のボイスチェンジャーを利用する形を模索していました。


    音声パスも案外悩む必要があって、結局 2つのオーディオデバイスを使っています。
    オーディオデバイス⓵の音声を配信するのですが、そこに混ぜずにボイスチェンジさせるにはということでマイクからの録音をオーディオデバイス②にやらせています。

    ボイスチェンジャーというかピッチシフターには インターネット(という会社)の "AdvPitchShift2 VST" というエフェクターが使いたかったので DAW を挟んで音声変更しています。少々大仰ですがその分 VST プラグイン使い放題になりますので、音いじりとしてはやり放題ですな。


    DAW は今回割と安価な mixcraft7 を使用しています。
    録音デバイスと再生デバイスを別に指定したいのですが、FL-Studioだとできないとか制限があったりするのでどれでも良いというわけではなさそうです。


    "ADV PITCH SHIFT 2" の設定例。
    ピッチシフトはガチョウ声になってしまうのですが、ピッチをうんと上げてフォルマントを下げると別人の声だけれども割と人の声に近づくのでよさげに思います。
    これを2つつなげるとまた一段声が変わるので面白いです。

    ただ、ここまでやっても自然な声にはならないのでいっそのことケロ声やロボ声にしてしまったほうが良いのかもしれません。

    DAWを通すことで音いじりほうだいとは書きましたが、その分遅延も多くなるので、遅延が少なくなるドライバーを通すとかいろいろ工夫をしたほうが良いかもしれません。

    美少女への道は遠い……

    おわりに


    てなわけで、FaceRig 生配信をやってみるまでの手順をまとめてみました。
    もっと良い配信方法、良い変身方法などがあると思いますので、これは参考の一つとして皆様でまたいろいろと工夫してみてください。

    広告
    コメントを書く
    コメントをするには、
    ログインして下さい。