• FaceRig と NAMAROID と VOICEROID で美少女になって生放送したい

    2016-01-16 17:533


    前回の記事「FaceRig とボイスチェンジャーで美少女になって生放送したい」の続きです。
    その間に、Live2D で自分の絵を動かせるようにし FaceRig のオリジナルアバターを作成しています。


    このアバターは Steam のワークグループから利用できるので良かったら使ってやって下さい。

    ボイスチェンジとNAMAROID

    前回のテストではやはりどうしてもボイスチェンジが完璧ではなく『美少女になりきる』にはここが大きな障害になってしまうという感じでした。
    ちょうどそんな問題に悩んでいたところ "NAMAROID" というツールがリリースされたことを知ります。

    マイクからの音声を音声認識でテキストにし VOICEROID 等のテキスト読み上げツールに渡すことができるツールです。同時に音声テロップも表示してくれるという、まさに実況者ならではな視点で作られています。
    これと FaceRig で完全美少女差し替えができるじゃんヤッター。ということで使い込んでみました。

    NAMAROID の音声認識部分は無料で利用できる Intel Perceptual Computing SDK を利用しているのでこれをダウンロード&インストールしておきます。
    ちなみに Intel Perceptual Computing SDK に含まれている音声認識エンジンは Dragon Assistant なのでドラゴンスピーチと同等のエンジンを期待できるわけです。試すしかあるまいて。

    NAMAROID が利用するテキスト読み上げは「SofTalk」「VOICEROID」「Intel標準」の三種類から選択して利用します。VOICEROIDではアプリ(キャラクター)を選択できるのだけれども、弦巻マキと結月ゆかり以外は今のところ未実装っぽいです。

    (Jan.22.2016 追記:NAMAROID が更新されており Ver.1e 以降では琴葉葵/茜、東北ずん子も利用可能になっていました。未実装ではなく不具合だったようで)

    音声のルーティング

    音声ルーティングはピッチシフトを利用していた前回も面倒だったのですが、今回も相当面倒です。


    ひとまず構築してみたのが上図です。
    要求としては
    • マイクからの音声(地声)を配信に乗せない
    • VOICEROID の音声を FaceRig に流し込んで口パクさせる
    の2つがあり、これを実現させようとすると複雑になるという結果でした。

    上図ではオーディオデバイスが 3つありますが、これが USB オーディオインタフェースです。実際は 3つでなく 4つ使ったので USBオーディオが 4個 PC に繋がっているという状況でした。
    DTM 環境が整っている関係でそれだけ揃えられましたが、そんなに USBオーディオがある環境は珍しいのではないかと思う次第です。
    あと上記構成で配信テストを行ったところ USBバスが不安定になりました。流石に無理があるのでしょうかね。

    複数のオーディオデバイスは現実的では無いということで、ルーティングを実現できる仮想オーディオドライバを探したところ VB-Audio の "Voicemeeter Banana" という素晴らしいミキシングコンソールアプリに出会えました。


    オーディオのミキシングとルーティングを行えるだけでなく、仮想オーディオインタフェースの IN/OUT がそれぞれ 2つずつありそれらも自在にルーティングできます。
    カセットテープのメタファで音声の録音や、音楽ファイルの再生もできるので生放送を良くやる人にはえらい便利な代物なんではないかと思います。

    そんな素晴らしい Voicemeeter Banana ですがドネーションウェアです。
    ダウンロードして使用するのに制限はかかっていません。「気に入ったらカンパしてね」という形態です。
    個人的にとても気に入ったので Donate しようとしたのですが、PayPal での Donate は日本から行えません(大人の事情)。今のところは振り込めなくてごめんなさいと心でつぶやきつつ使わせて貰っています。


    Voicemeeter Banana と仮想オーディオデバイスを使ってルーティングすると上図の様になります。オーディオデバイスが 1つで行けるようになりました。

    あとは配信するだけ

    FaceRig と NAMAROID + VOICEROID でキャラクターに差し替わっての生放送ができるようになりました。
    みなさんもやってみてはいかがでしょうか。



  • 広告
  • FaceRig とボイスチェンジャーで美少女になって生放送したい

    2016-01-09 23:163



    FaceRig という WEBカメラで表情を読み取って画面の中の CG がそれと同じ表情をするというツールがあるのですが、GOROman さんがそれを使ってゲーム実況の生配信を行うというナイスアイディアを実行されていました。

    その様子は下記の記事などを見て下さい。
    GIGAZINE「美少女キャラに人の表情とゲームパッドの動作をリアルタイムで反映するゲーム実況ムービー」

    これを見ていて「これは面白い、みんなもできるように環境を追いかけてみよう」と思ったのが今回の記事になります。
    GOROman さんはラピッドプロトタイピングを Unity で行っていますが、Unity が無いとできないの?とか Windows でやるにはどういった環境がいるの?といった調査ですね。
    私自身、生放送はまったくといっていいほどやったことが無いのであまり良い回答ではないかもしれませんが、例の1つとしてご覧になってください。

    映像ソース

    目指すゴールを『2D美少女がゲームパッドを持ってゲームをしている様子を配信する』と定めます。
    この時必要になる映像ソースは



    ①ゲームのプレイ画面
    これはPC上で写っているゲームの画面をデスクトップキャプチャで取り込んだ物になります。



    ②FaceRig の実行画面
    WEBカムで撮影したおっさんの顔を美少女のCGに変換してくれるありがたいツール "FaceRig" の実行画面です。
    これはアプリの画面だけでなく、仮想WEBカムドライバーでも出力されますので、WEBカムの映像として取り込めます。



    ③パッド操作に合わせてそれっぽく動くパッドの絵
    パッドの値で傾いたりぴこぴこ動いたりさせるためにはツールを自作するしかありませんので、これはオリジナルで作成します。
    自作ツールの画面をなにか任意のデスクトップキャプチャツールで取り込むか合成するかします。


    これら 3つの映像ソースを合成するのですが、背景のゲーム画面以外はクロマキー合成という背景色を透過にして絵を重ねる手法で合成していきます。

    これら 3種類の映像ソースの取得、およびその合成手法が今回の課題となります。

    Niconico Live Encoder での合成

    ニコ生の場合 Niconico Live Encoder で配信することが多いと思いますが、Niconico Live Encoder は映像ソースを複数取り込んだりクロマキー合成したりが可能なのでこれ1本で大体実現はできそうです。


    映像ソースのパスは上記の通り。


    Niconico Live Encoder の「映像ソース」に 3つのソースを追加します。
    FaceRig は WEBカム入力、パッドの絵は後述のパッド画像をデスクトップキャプチャします。


    映像ソースの「設定」を選ぶと「カラー」の項でクロマキー合成の設定ができます。有効になっていなかったらチェックボックスにチェックを入れてください。
    スポイトでクロマキーしたい色を拾って "T" のスライダーで色の範囲を調整します。

    パッドの絵を表示するツールは以下のURLで公開していますのでダウンロードしてください。
    https://bitbucket.org/rerofumi/webcam-face-chromakey/downloads

    webcam_face_chromakey.zip からダウンロードして中の pad_action.html を Firefox か Chrome で表示してください。"PAD" にチェックを入れるとゲームパッドの画像が表示され、パッドの操作に合わせてピコピコ動きます。
    このブラウザ上の画像をデスクトップキャプチャして使ってください。


    自前でクロマキー合成する場合

    もともとこっちのツールを作っていたので、その使い方の説明が当記事のメインです。
    Niconico Live Encoder 以外のツールを使って配信するサイトの場合などの参考にしてください。
    この場合、先の webcam_face_chromakey を使うのですが、この HTML ページは「2つのWEBカム映像を合成する」ツールですので、ゲーム映像も WEBカム信号にする必要があります。


    映像パスは上記の様になります。
    Niconico Live Encoder のほかにもう一つデスクトップキャプチャが必要になるので、「ニコ生デスクトップキャプチャ」などを利用してください。


    webcam_face_chromakey.html を Firefox で起動するとブラウザ上に上記のようなページが表示されます。(今のところ Chrome 不可)
    [CAMERA1] ボタンを押すとカメラ選択&許可ダイアログがブラウザによって表示ますので、背景となる映像のWEBカムデバイスを選択してください。上の映像パスでは「ニコ生デスクトップキャプチャ」の出力デバイスがそれにあたります。
    [CAMERA2]ボタンでも同じようにカメラを選択してクロマキー合成したい映像ソースを指定してください。FaceRig の仮想カメラデバイスがそれにあたります。

    [GAMEPAD] チェックボックスにチェックを入れるとゲームパッドがさらに上に表示されます。
    [X POS][SIZE] のスライダーで CAMERA2 映像のサイズと位置を調整できます。

    このブラウザ上の合成結果となる映像を、配信ソフトでデスクトップキャプチャして配信します。
    ここでは CAMERA1 はゲーム画像としましたが、作業風景をカメラなりデスクトップキャプチャなりすれば FaceRig 作業配信ができますね。

    ボイスチェンジャー


    FaceRig のおかげで美少女に変身できたわけですが、声がおっさんのままだと台無しです。ええ、本当に。
    なのでボイスチェンジャーで女声とはいかなくても、「おっさんじゃない声」にしたいものです。ええ。
    ただ、完璧なボイスチェンジはできませんので、今回こうやってみたという記録までになります。残念です。

    ボイスチェンジャー自体は FaceRig にもありますので、それを使うとリップシンクにも反映されます。これが一番簡単だと思います。
    ですが、FaceRig のボイスチェンジャーはいまいち変化幅が小さかった(フォルマントがあまり変わらない)ので別のボイスチェンジャーを利用する形を模索していました。


    音声パスも案外悩む必要があって、結局 2つのオーディオデバイスを使っています。
    オーディオデバイス⓵の音声を配信するのですが、そこに混ぜずにボイスチェンジさせるにはということでマイクからの録音をオーディオデバイス②にやらせています。

    ボイスチェンジャーというかピッチシフターには インターネット(という会社)の "AdvPitchShift2 VST" というエフェクターが使いたかったので DAW を挟んで音声変更しています。少々大仰ですがその分 VST プラグイン使い放題になりますので、音いじりとしてはやり放題ですな。


    DAW は今回割と安価な mixcraft7 を使用しています。
    録音デバイスと再生デバイスを別に指定したいのですが、FL-Studioだとできないとか制限があったりするのでどれでも良いというわけではなさそうです。


    "ADV PITCH SHIFT 2" の設定例。
    ピッチシフトはガチョウ声になってしまうのですが、ピッチをうんと上げてフォルマントを下げると別人の声だけれども割と人の声に近づくのでよさげに思います。
    これを2つつなげるとまた一段声が変わるので面白いです。

    ただ、ここまでやっても自然な声にはならないのでいっそのことケロ声やロボ声にしてしまったほうが良いのかもしれません。

    DAWを通すことで音いじりほうだいとは書きましたが、その分遅延も多くなるので、遅延が少なくなるドライバーを通すとかいろいろ工夫をしたほうが良いかもしれません。

    美少女への道は遠い……

    おわりに


    てなわけで、FaceRig 生配信をやってみるまでの手順をまとめてみました。
    もっと良い配信方法、良い変身方法などがあると思いますので、これは参考の一つとして皆様でまたいろいろと工夫してみてください。

  • 「ぴこぱこサイクル」をもう一度やりたかった

    2014-08-10 14:5811

    ごぶさたしております。
    久々にニコニコ動画への投稿をしようかということでそのお話。

    「ぴこぱこサイクル」のコンシューマ版を始めるかということで、そのテストショットのその1を作ってみました。


    久々の動画ということと、連載しようとした場合の準備など手探りを数回行う予定でその模索期間をテストショットとしています。週間にしたいとおもうのだけれどもフォーマットが定着するまでは基本不定期ということでお願いします。


    「ぴこぱこサイクル」は 2009年の 1月~12月までの月間で投稿していた12本の連作ゲームプレイ動画です。
    当時製作の意図はいろいろあったのですが、一番の目的はマイナーで歴史に埋もれているゲームの画面を動画として残す「ゲーム博物館」を作ると言う物でした。私が持っているアーケードゲーム基板がちょいとマイナーなものばかりだったのですが、これらを知らない人のために、また基板が動いているうちに、動画として記録して保存しておこうというそんな感じ。
    特に「基板が動いているうちに」というのが重要で、古い基板はそろそろ壊れて動かなくなるのがあるんですよね。どうしてもね。
    実際に私が所有している基板でも「エメラルディア」が壊れて動かなくなってしまいました。(エメラルディアは直後ヴァーチャルコンソールで配信されたので助かりました)

    マイナーなゲームの映像を残すという意味でもそれなりに成功(?)しまして、「ぴこぱこサイクル」で紹介したアーケード基板でそのあとゲーム機で配信されたのは『フライングパワーディスク』だけでしたね。その他は、本当にこの動画でしか見られないタイトルが多かったという結果に。
    (※ファンタズム、ソルダム、テトリスプラスは一応コンシューマ移植版が先に存在している)

    そんな感じで「ぴこぱこサイクル」は作って良かったなあと個人的に思っている次第。
    再生数とか支持数とかは関係無く、博物館としてなり立っているという意味で。


    さて、それからしばらく経ちましたが、そろそろ 8bit 時代のゲーム機の原体保存が怪しくなってきました。
    手元にあるファミコンやセガマークⅢはまだ動いてプレイできるのですが、これがいつまで動作しているのかわかりません。実際セガマークⅢのパッドはほとんど使えない状態になっています。
    また、セガマークⅢのゲームは手元に20本強あるのですが、最近のゲーム機で(なんちゃらコレクションとかバーチャルコンソールとかで)遊べるのはそのうち3本ほどです。残りのゲーム埋もれている状態と言って良いでしょう。
    それら埋もれていきそうなゲームの映像を動画として残しておきたいな、という機運が高まり「ぴこぱこサイクル」としてもう一度やってみたいと思う様になりました。

    アーケードの時は必ずEDを収録するというのをお約束にしていましたが、コンシューマーでは流石にもう無理です。腕が衰えています。
    それに数があるので月一連載ではなく、週一にしたいなという思いがあります。
    そんな思惑から、今回は
    • 毎週掲載にする
    • 起動してちょっと遊んでいけるところまで、無理しない
    • 下手でもごめんね
    • 3分30秒という固定長
    という制約を課すことにしました。
    なのでせっかくのゲームもクリアできないで中途半端かもしれませんけどごめんね。

    後、週一で作るために動画製作手順も簡素化しないといけなくて、それを模索する必要があると思っています。
    なので色々準備して週一ペースに載せるまでが「テストショット」ということで予定しています。

    ファミコンはバーチャルコンソールで提供されているゲームが多いから、手元のカセットで対象になるのはあまりなさそうです。なのでメインはセガマークⅢとメガドライブになりそうです。
    よろしければお付き合いくださいまし。

    ではでは。