ボイロ→SynthVのトーク自動変換アプリ《 KotonoLabel 》の紹介
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

ボイロ→SynthVのトーク自動変換アプリ《 KotonoLabel 》の紹介

2020-09-21 18:30
  • 3

ボイスロイド→SynthesizerVStudioのトーク自動変換アプリ
《 KotonoLabel 》の紹介



《 更新履歴 》
2020/09/21 ver 0.1.0 α版公開。
2020/09/21 ver 0.1.1 一部不具合の修正。
2020/09/27 ver 0.2.0 設定項目の追加と挙動の改善。

2020/11/07 Ver.1.0.0 正式版公開。

KotonoLabelって何?

KotonoLabelSynthesizer V Studioのトークの調声を、ボイスロイドと組み合わせて使うことによって自動化することができるアプリです。手順はかなり簡略化していますが、具体的には以下のようなことを行っています。
1. VOICEROID2系の読み上げソフトでセリフを喋ってもらい、音声を保存します。
2. 保存した音声から喋るときの発音のタイミングとアクセントなどの癖を調べます。
3. 調べた内容を元にSynthesizer V Studioでトーク用のプロジェクトを生成します。
4. できあがったプロジェクトファイルをSynthesizer V Studioで開いて再生します。

※発音タイミングの設定(ラベル付け)はKotonoSync用のリズム計算の改良版を使っています。
※アクセントなどのピッチ情報はVocalShifterのライブラリをお借りして取得しています。

前提条件として二つの音声合成ソフトを使える環境が必要ですが、少ない手間でSynthesizer V Studioで喋ってもらう事が可能になります。

注意点としてこのアプリで作ることのできるトークはボイスロイドの喋りを元にしたものであり、Synthesizer Vの特徴を最大限生かした調声にはなっていません。更に細かな調声を行う場合は手作業で直していく必要があります。


基本的な使い方

KotonoLabelはアプリの画面上に使い方が書かれています。まずはそちらを元に使ってみてください。以下は設定項目の紹介です。

【喋りの参考にする読み上げソフト】
VOICEROID2またはガイノイドTalkを選びます。画面上にはプリセット(キャラクター)の選択画面はありませんが、これは読み上げソフト側で選択されているプリセットがそのまま利用されます。

【BPM】
プロジェクトを作るときのBPMです。通常はそのままの数値で大丈夫です。他のプロジェクトと一つにまとめたいときは事前にそちらのBPMに合わせてから変換すると作業が楽になります。

【無声化の方法】
「有声/無声音を使う」にチェックを付けると、該当するパラメータの数値を変えて無声化を表現します。無声化が強すぎる場合は無声音の数値を0.0~1.0の範囲内で少しずつ上げてみてください。

他にもアプリ上には様々な設定があります。そちらは時間のあるときに説明を追加する予定です。

【アプリが上手く動かない場合】
アプリが正常に動かない場合はセキュリティソフトによってKotonoLabelの動作がブロックされている可能性があります。セキュリティソフト側の設定でKotonoLabelと連携先のVOICEROIDなどのソフトを監視対象から除外するか一時的に無効して動作が改善しないかお試し下さい。


必要なソフトウェア

 このアプリの動作にはいくつかのソフトが必要になります。
 ※該当するソフトを所持している場合でも、PC環境などの違いによりアプリが動作しない可能性があります。
 
 VOICEROID2 / AITalkエンジン搭載の一部ソフト(ガイノイドTalkを含む)
喋るときの発音タイミングやアクセントなどを参考にするために必要です。

※KotonoSyncではVOICEROID+EXシリーズにも対応していましたが、KotonoLabelは今のところ対応していません。
 Synthesizer V Studio (Pro版 または Basic版)
作成したsvp形式のプロジェクトファイルを再生するために必要です。

フリーのBasic版は一部機能に制限がありますが、プロジェクトの利用自体は可能です。
 Synthesizer V Studio用の日本語歌声データベース
VOICEROIDは今のところ日本語以外の言語に対応していません。そのため、それを元に作られるトーク用のプロジェクトファイルも日本語専用になります。

Synthesizer V Studioでは日本語の他にも英語や中国語の音声データベースが存在しますが、日本語以外のキャラクターではこのプロジェクトファイルを利用することができません。再生しようとしても正常に発音ができないのでご注意下さい。

2020年9月時点で確認している利用可能な歌声データベースは以下の3種類になります。
・琴葉 茜・葵 ・Saki ・ゲンブ

それぞれLite版でも利用可能ですが、表現グループが少ないのでトーク時の調声の幅が狭まります。また、Pro版とLite版では音声の利用規約が異なるので注意してください。

KotonoSyncとKotonoLabel

4年前に公開したKotonoSyncは歌声合成ソフトの調声を元にして読み上げソフトに歌ってもらうというアプリでした。

一方で今回新たに公開したKotonoLabelは読み上げソフトの調声を元にして歌声合成ソフトに喋ってもらうという逆の手順を行うアプリになっています。

これらの二つのアプリを使うことによって以下のような事が可能になります。なぜそのような事をする必要があるのかは謎ですが、可能です。

・VOICEROIDシリーズの琴葉姉妹に歌ってもらう(?)
・Synthesizer V Studioの琴葉姉妹に喋ってもらう(?)
・対応しているソフトであれば他のキャラに歌ったり喋ったりしてもらう事も可能


このアプリを利用した音声・動画の公開について

このアプリを使った音声・動画の制作を行う場合は以下の点をご確認ください。
※KotonoSync・KotonoAssistなどのアプリとは規約が一部異なります。

SynthVのトーク自動変換アプリ《 KotonoLabel 》の利用規約

(2020/9/26 更新) 第1条の補足説明について更に追記を行いました。

第1条(連携先の各種ソフトの利用について)

1-1. 連携先のソフト(VOICEROID・Synthesizer V Studio)の音声やキャラクターを利用する場合は
   その利用規約必ず従って下さい。

1-2. AITalkエンジンを利用しているVOICEROID以外の読み上げソフトも利用できる場合があります。
   その場合はそちらのソフトウェアや該当するキャラクターの利用規約に必ず従って下さい。

1-3. 作成したプロジェクトファイルは別のソフトで変換する事で、
   Synthesizer V Studio以外の音声合成ソフトで利用できる場合があります。
   その場合はそちらのソフトウェアや該当するライブラリの利用規約に必ず従って下さい。


第1条 の《読み上げソフト》の取り扱いに関する補足説明
KotonoLabelで作成したsvp形式のプロジェクトファイルには読み上げソフトの音声データは含まれません。しかし発音のタイミングやアクセントなどの情報を生成する上で読み上げソフトの喋りの特徴も一部取り込んでいる為、このプロジェクトファイルを利用する際は読み上げソフト側の利用規約にも依存すると考えられます。

以上の事から、KotonoLabelの利用時は読み上げソフト側の利用規約にも従うようにお願いします。

《参考例》
・KotonoLabelで作成したsvpファイルを元に歌声合成ソフトで音声を作成する場合、歌声合成ソフトの規約に加えて、読み上げソフトの音声に関する規約にも従ってください。

・KotonoLabelで作成したsvpファイル自体の配布を行う場合、利用した読み上げソフトで音声単体での配布に制限が行われていないか確認してください。(一部の読み上げソフトでは素材としての音声の配布が禁止されている為、その音声を元にしたsvpファイルの配布も禁止行為にあたる可能性があります)


第2条(アプリの使用条件)

2-1. 第1条の音声やキャラクターに関する利用規約に従う形であれば商用利用OKです。

2-2. 誹謗中傷目的での利用はトラブル防止のため禁止です。

2-3. アプリの無断での再配布は禁止です。

第3条(使用報告やクレジット表記など)

3-1. 基本的にアプリの使用報告は無くても大丈夫です。
   もし利用形態などが特殊で使用条件に不安がある場合は一度お問い合わせ下さい。

3-2. アプリのクレジット表記は任意です。
   どこかに入っていると嬉しいですが表記が難しい場合もあるので強制ではありません。

3-3. ニコニコへの動画投稿の際は紹介動画をコンテンツツリーに追加して頂けると
   私のところに通知が来るのでもし良かったら登録をお願いします。(こちらも強制ではありません)
   ※今のところ紹介動画をアップしていないので3-3.は無視して大丈夫です。

3-4. ニコニコ以外のサイトへの投稿もOKです。(Twitter・Youtubeなど)

以上の内容を守った上で楽しくご利用ください。


連絡先

このアプリについての質問やバグ報告・要望などがあればこの記事のコメント欄、もしくはスズモフのツイッター(@suzu_dov)までご連絡ください。

趣味の一環として開発をしている都合上、寄せられた要望等に必ずしもお応えできるとは限らないのでその点だけはあらかじめご了承ください。

※お問い合わせはニコニコのユーザープロフィールに記載してあるメールアドレス宛でも大丈夫ですが、そちらは反応が遅くなる可能性があります。


ダウンロード場所

KotonoLabelのダウンロード先は以下のURLになります。
http://ux.getuploader.com/suzusoft/

ダウンロードパスワードは「 sister 」です。


広告
×
内容と全く関係ない感想で申し訳ない。
どうやったらこんなにきれいなブロマガを書けるんですか?
何と検索すればタグ?コード?は分かりますか?
教えてください。
5ヶ月前
×
>>1
ありがとうございますー。ちなみに今記事を見直した時点で若干読みづらい部分があったので更に少し手直ししました。

ブロマガの標準機能ではどうしても出来る事は限られてしまうので、見出しの装飾とかはタグ編集モードで直接でスタイルの指定を書き込んでますね……。元にしたコードは無いのであまり参考にならないかもしれないんですが、htmlとcssの知識を元にしてそれらを組み合わせつつ書いています。
5ヶ月前
×
css!!
タグの中のごちゃごちゃした奴はcssって言うんですね。
調べて勉強します!!

情報化社会といっても結局検索ワードを知らなければ無知と同じなんですよねぇ(´・ω・`)
自分は今講座系動画とそれを補足するブロマガ書いてるのですが、これが見づらいこと見づらいこと……。エディタがへぼいからと諦めかけてましたが、おかげで光明が見えました。
ありがとうございます!!
5ヶ月前
コメントを書く
コメントをするには、
ログインして下さい。