ユーザーブロマガは2021年10月7日(予定)をもちましてサービスを終了します

  • MMD自動トレースリップ版 ライセンス・クレジット

    2021-01-20 09:40

    【概要】
    「MMD自動トレースリップ版」は、wavファイルから人の声を抽出し、MMDリップモーションデータに変換するキットです。
    声の抽出データ(wav)はvsq等、他のアプリケーションでもご利用いただけます。(※著作権にご注意ください)

    MMD自動トレース挑戦の記録:series/87034
    MMD自動トレース導入手順等:【目次】MMDモーショントレース自動化への挑戦

    【使用技術・ライセンス】

    音声分離:spleeter:MIT License
       … https://github.com/deezer/spleeter
         (pip install)https://github.com/miu200521358/segmentation-kit-mmd
        ※非商用利用可能

    Romain Hennequin and Anis Khlif and Felix Voituret and Manuel Moussallam
    Spleeter: a fast and efficient music source separation tool with pre-trained models
    Journal of Open Source Software: 2020
    https://doi.org/10.21105/joss.02154

    音素認識:Julius-segmentation-kit:MITLicense

       … https://github.com/julius-speech/segmentation-kit
         (fork) https://github.com/miu200521358/segmentation-kit-mmd
        ※非商用利用可能

    A. Lee, T. Kawahara and K. Shikano.
    Julius --- An Open Source Real-Time Large Vocabulary Recognition Engine
    In Proc. EUROSPEECH, pp.1691--1694, 2001.

    colab:miu200521358, Google:https://colab.research.google.com/

       … https://github.com/miu200521358/motion_trace_colab

    fork元の各制作者様に深く感謝いたします。

    【ご自由にどうぞ】

    生成したモーションに関して、以下の行為は自由に行って下さい

    • モーションの調整・改変
    • ニコニコ動画、Youtube、Twitter等へのモーション使用動画投稿
      • 進捗等で生成したモーションそのままを投稿することも問題ありません。
    • モーションの不特定多数への配布
      • 必ず歌い手様や各権利者様の権利に違反しない、また失礼のない形に調整してください

    【ご協力をお願いします】

    生成したモーションを利用される場合、お手数ですが以下の行為を行ってください。

    • クレジットへの記載を、テキストで検索できる形で記載お願いします。
      ツール:MMD自動トレースリップ版
       作者:miu200521358
    ライセンス:https://ch.nicovideo.jp/miu200521358/blomaga/ar1975393
    • ニコニコ動画の場合、MMD自動トレースコンテンツツリー用静画(im10660670)をコンテンツツリーに登録してください。
    • コンテンツツリーに登録していただける場合、テキストでのクレジット有無は問いません。
    • モーションを配布する場合、以下クレジットを同梱してください。 (記載場所不問) 

    《リップVMDまで生成した場合》

    配布のリップモーションは、「MMD自動トレースリップ版」を元に作成したものです。

    キット作者連絡先:
     Twitter:https://twitter.com/miu200521358
     メール:garnet200521358@gmail.com

    ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
    【MMD自動トレースリップ版】
    -------------------------

    https://github.com/miu200521358/segmentation-kit-mmd

    【音声分離】
    Romain Hennequin and Anis Khlif and Felix Voituret and Manuel Moussallam
    Spleeter: a fast and efficient music source separation tool with pre-trained models
    Journal of Open Source Software: 2020
    https://doi.org/10.21105/joss.02154

    【音素認識】
    A. Lee, T. Kawahara and K. Shikano.
    Julius --- An Open Source Real-Time Large Vocabulary Recognition Engine
    In Proc. EUROSPEECH, pp.1691--1694, 2001.
    ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

    《音声分離だけ行った場合》

    配布のリップモーションは、「MMD自動トレースリップ版」の一部を元に作成したものです。

    キット作者連絡先:
     Twitter:https://twitter.com/miu200521358
     メール:garnet200521358@gmail.com

    ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
    【MMD自動トレースリップ版】
    -------------------------

    https://github.com/miu200521358/segmentation-kit-mmd

    【音声分離】
    Romain Hennequin and Anis Khlif and Felix Voituret and Manuel Moussallam
    Spleeter: a fast and efficient music source separation tool with pre-trained models
    Journal of Open Source Software: 2020
    https://doi.org/10.21105/joss.02154
    ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

    【ご遠慮ください】

    生成した抽出音声データ・モーションに関して、以下の行為はご遠慮願います

    • 自動生成したモーションのまま不特定多数に配布する行為
    • モーションの完全自作発言
    • 公式ガイドラインの違反等、各権利者様のご迷惑になるような行為
    • 営利目的の利用
    • 軍事目的の利用
    • いわゆる「紳士物」(R-18相当)作品への利用
    • いわゆる「人力ボカロ」作品への利用
    • 他者の誹謗中傷目的の利用(二次元・三次元不問)
    • その他、公序良俗に反する作品への利用

    【免責事項】

    • 自己責任でご利用ください
    • キット使用によって生じたいかなる問題に関して、作者は一切の責任を負いかねます


    この記事は、どなたでもリンクを貼ってご利用いただけます。
    文字数節約にどうぞw


    【目次】MMDモーショントレース自動化への挑戦


  • 広告
  • MMD自動トレースv2 ライセンス・クレジット

    2020-12-13 13:26

    【概要】
    「MMDモーショントレース自動化キット」(略称:MMD自動トレース)は、ひとつのカメラで撮影された動画(単眼動画)から、3Dの人物モデルを検出・推定し、MMDモーションデータに変換するキットです。
    3D人体関節位置データ(json)はUnity等、他のアプリケーションでもご利用いただけます。

    MMD自動トレース挑戦の記録:series/87034
    MMD自動トレース導入手順等:【目次】MMDモーショントレース自動化への挑戦

    【使用技術・ライセンス】

    姿勢推定:expose:独自ライセンス
       … https://github.com/vchoutas/expose
         (fork)https://github.com/miu200521358/expose_mmd
         ※非営利芸術利用可能。その他の使用、特に商業、ポルノ、軍事、または監視の目的での使用は禁止。

    Choutas, Vasileios and Pavlakos, Georgios and Bolkart, Timo and Tzionas, Dimitrios and Black, Michael J.
    Monocular Expressive Body Regression through Body-Driven Attention
    European Conference on Computer Vision (ECCV): 2020
    https://expose.is.tue.mpg.de

    Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.
    Expressive Body Capture: 3D Hands, Face, and Body from a Single Image
    Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR): 2019

    人物追跡:lighttrack:MIT

       … https://github.com/Guanghan/lighttrack
         (fork) https://github.com/miu200521358/expose_mmd/lighttrack
        ※非商用利用可能

    Xiao, Bin and Wu, Haiping and Wei, Yichen
    Simple Baselines for Human Pose Estimation and Tracking
    ECCV(2018)

    Chen, Yilun and Wang, Zhicheng and Peng, Yuxiang and Zhang, Zhiqiang and Yu, Gang and Sun, Jian
    Cascaded Pyramid Network for Multi-Person Pose Estimation
    CVPR(2018)

    colab:miu200521358, Google:https://colab.research.google.com/

       … https://github.com/miu200521358/motion_trace_colab

    fork元の各制作者様に深く感謝いたします。

    【ご自由にどうぞ】

    生成したモーションに関して、以下の行為は自由に行って下さい

    • モーションの調整・改変
    • ニコニコ動画、Youtube、Twitter等へのモーション使用動画投稿
      • 進捗等で生成したモーションそのままを投稿することも問題ありません。
    • モーションの不特定多数への配布
      • 必ず踊り手様や各権利者様に失礼のない形に調整してください

    【ご協力をお願いします】

    生成したモーションを利用される場合、お手数ですが以下の行為を行ってください。

    • クレジットへの記載を、テキストで検索できる形で記載お願いします。
      ツール:MMD自動トレースv2
       作者:miu200521358
    ライセンス:https://ch.nicovideo.jp/miu200521358/blomaga/ar1974413
    • ニコニコ動画の場合、MMD自動トレースコンテンツツリー用静画(im10660670)をコンテンツツリーに登録してください。
    • コンテンツツリーに登録していただける場合、テキストでのクレジット有無は問いません。
    • モーションを配布する場合、以下クレジットを同梱してください。 (記載場所不問) 
      • ver2.00より、子作品からのMMD自動トレースへのクレジット登録・コンテンツツリー登録は不要となりました。

    配布のモーションは、「MMD自動トレースv2」を元に作成したものです。

    キット作者連絡先:
     Twitter:https://twitter.com/miu200521358
     メール:garnet200521358@gmail.com

    ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
    【MMD自動トレースv2】
    -------------------------

    https://github.com/miu200521358/expose_mmd

    Choutas, Vasileios and Pavlakos, Georgios and Bolkart, Timo and Tzionas, Dimitrios and Black, Michael J.
    Monocular Expressive Body Regression through Body-Driven Attention
    European Conference on Computer Vision (ECCV): 2020
    https://expose.is.tue.mpg.de

    Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.
    Expressive Body Capture: 3D Hands, Face, and Body from a Single Image
    Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR): 2019

    Xiao, Bin and Wu, Haiping and Wei, Yichen
    Simple Baselines for Human Pose Estimation and Tracking
    ECCV(2018)

    Chen, Yilun and Wang, Zhicheng and Peng, Yuxiang and Zhang, Zhiqiang and Yu, Gang and Sun, Jian
    Cascaded Pyramid Network for Multi-Person Pose Estimation
    CVPR(2018)
    ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

    【ご遠慮ください】

    生成したモーションに関して、以下の行為はご遠慮願います

    • 自動生成したモーションのまま不特定多数に配布する行為
    • モーションの完全自作発言
    • 各権利者様のご迷惑になるような行為
    • 営利目的の利用(ExPose・lighttrackライセンスに準ずる)
    • いわゆる「紳士物」(R-18相当)作品への利用(ExPoseライセンスに準ずる)
    • 軍事目的の利用(ExPoseライセンスに準ずる)
    • 過度な暴力・猥褻・恋愛・猟奇的・政治的・宗教的表現を含む(R-15相当)作品への利用
    • 他者の誹謗中傷目的の利用(二次元・三次元不問)
    • その他、公序良俗に反する作品への利用

    <禁止除外事項>

    ver1.03より以下の事項を禁止事項から除外いたします。
    (過去のバージョンで作成されたモーションにも適用OKです)
    『過度な暴力・猥褻・恋愛・猟奇的・政治的・宗教的表現を含む(R-15相当)作品への利用』
    作品を公開される際には、検索避け等のご配慮をよろしくお願いいたします。

    【免責事項】

    • 自己責任でご利用ください
    • キット使用によって生じたいかなる問題に関して、作者は一切の責任を負いかねます


    この記事は、どなたでもリンクを貼ってご利用いただけます。
    文字数節約にどうぞw


    【目次】MMDモーショントレース自動化への挑戦


  • MMDに読み込めるAVIの簡単な作成方法

    2020-10-04 18:06

    概要

    動画ファイルを指定したら、そのままMMDで読み込める30fpsのAVIを出力するColabツールのご紹介。

    backAVIforMMD.ipynb

    MMDで読み込めるAVI

    MMD(MikuMikuDance)で読み込めるAVIには色々とややこしい条件があります。
    詳しいことは下記記事を参照して下さい。

    MikuMikuDanceの背景avi読み込みについて (ファイルサイズの大きなaviやmp4の読み込み方法)

    これらの条件をクリアしたAVIを生成するには、コーデックをインストールしたり、ツールを使ったり、色々面倒です。
    さらに、fpsが30もしくは60でないと、動画とモーションが段々とズレてきますし、その辺を考慮すると、更に面倒…
    ので、お手軽ツールを作ってみました。

    使い方

    1.  Googleアカウントを用意する 
    2.  Googleドライブに読み込みたい動画をアップロードする
    3.  ChromeもしくはFirefoxで、ツールURL(backAVIforMMD.ipynb)を開く
    4.  アップロードしたファイルの相対パスを指定する
    5.  AVIのサイズを選ぶ
    6.  セルを実行する
    7.  出来上がったAVIは、ルートフォルダに出来るので、ダウンロードする
    8.  MMDに読み込む

    以上!
    具体的な使い方(セルとか)は、ノートブック内に例示してあるので、参考にしてください。

    注意点

    • コーデックの追加インストール等を避けるため、「MMDにそのまま読み込める大きさのAVI」を指定した場合、上限1GBで動画を再エンコードします。
    • オリジナルと同じAVIサイズを指定した場合、適宜サイズを変更して下さい。
    • AVIはサイズが大きいので、Googleドライブを圧迫します。適宜不要ファイルを削除してください。(2020/10/13以降は30日経過すると削除される仕様に変わるらしいですが)
    • クレジットとかは特に不要です。
    • 不備・不明点・ご感想等ありましたら、@miu200521358までご連絡ください


    2020.10.04 miu