Live2Dモデルの口パクが動かない。

souma

ご担当者様
お世話になっております。
Unity+宴+LIVE2Dの組み合わせで、ゲームアプリを開発しております。
口パクが正常に動作しません、厳密に言いますと微かに動いているようですが（データ的にも）口の開きが小さすぎて、十分ではございません、Live2Dに作り方を中心に課題があるのではないかと思っているのですが、解決方法、もしくは設定に関わりがある箇所を教えていただけないでしょうか？※既に宴側では問い合わせ済みでして、Unity+宴の操作方法は誤りがないとのことでした。
業務の都合上急ぎ対応したくご教示いただけますと幸いです。

▼ソフトウェアに関するご質問の場合
・【問題が発生したソフトウェア名とバージョン】Cubism Editor 4.1.02
・【ご利用のPC環境】：Mac 10.15.6
・【機種名】：MacBook Pro (Retina, 15-inch, Late 2013)
・【グラフィックボード】：NVIDIA GeForce GT 750M 2 GB Intel Iris Pro 1536 MB
・【CPU】：16 GB 1600 MHz DDR3
・【メモリ】例：16 GB 1600 MHz DDR3
・【原画（イラスト）を制作したソフトウェア】：Photoshop , イラレデータ
・【問い合わせ内容がわかるスクリーンショットまたは動画】：一旦なしでお願いします。※見場だとわからないため
---------------------------
▼SDKに関するご質問の場合
・現象の再現を行い検証させていただきますので、再現する最小のプロジェクトのご提供か、再現するまでの手順
・Cubism SDK for Unity 2019.4.6.f1

xsinryux_x

最終外部出力音量によって開く量変わるので、音量が小さいから動きが小さいとか？
音声ファイルのデータ的音量で口を動かせるようになるといいのかも、できるのかな？

Tak (staff)

@souma 様

弊社製品をご利用いただき誠にありがとうございます。
Live2D スタッフのTakと申します。

リップシンクが正しく動作しないということでご迷惑おかけしております。
はじめにいくつかご確認させていただきたいのですが、ご利用のCubism SDKは 【Cubism 4 SDK for Unity R1】でよろしいでしょうか。

また、以下Cubism SDK のチュートリアルにリップシンクの設定方法がございますが、
https://docs.live2d.com/cubism-sdk-tutorials/lipsync/
この `CubismAudioMouthInput` に `Gain` という項目があり、
> - Gain：サンプリングした音量を、何倍した値で扱うかを設定します。1で等倍です。
この項目の値を操作して動作をご確認いただけますでしょうか。

また、Cubism Editor上でシーンとして音声ファイルを入力し、リップシンク設定した場合はどうなるかも確認いただけますと幸いです。
https://docs.live2d.com/cubism-editor-manual/generating-scene-from-audio-file/
※音声データはフォーマットによっては読み込めません、その際は wav 16bit 44100Hz に変換する必要がございます。

上記ご確認のほど、よろしくお願いいたします。

souma

@xsinryux_x
貴重なご意見ありがとうございます、検証させていただきます（ぺこり）

souma

@Tak (staff) 様

ご返信ありがとうございます

リップシンクが正しく動作しないということでご迷惑おかけしております。
はじめにいくつかご確認させていただきたいのですが、ご利用のCubism SDKは 【Cubism 4 SDK for Unity R1】でよろしいでしょうか。

→はい！ご指定の通りになります。

また、以下Cubism SDK のチュートリアルにリップシンクの設定方法がございますが、
https://docs.live2d.com/cubism-sdk-tutorials/lipsync/
この `CubismAudioMouthInput` に `Gain` という項目があり、
> - Gain：サンプリングした音量を、何倍した値で扱うかを設定します。1で等倍です。
この項目の値を操作して動作をご確認いただけますでしょうか。

→Gainを増やしてみたのですが、まずは、変化がありませんでした。
　一点お聞きしたいのですが、口パクを行うときは必ず、音声ファイルを指定しないといけない仕様でしょうか？
　想定としましては、Unity（宴）に設定している台詞（テキスト）を読み込んだ際に口パクが行われるのが期待値になります。


また、Cubism Editor上でシーンとして音声ファイルを入力し、リップシンク設定した場合はどうなるかも確認いただけますと幸いです。
https://docs.live2d.com/cubism-editor-manual/generating-scene-from-audio-file/
※音声データはフォーマットによっては読み込めません、その際は wav 16bit 44100Hz に変換する必要がございます。

→こちら承知しました、課題の切り分けとして、担当者にて確認するように致します。

Tak (staff)

@souma 様

ご返信ありがとうございます。

> 一点お聞きしたいのですが、口パクを行うときは必ず、音声ファイルを指定しないといけない仕様でしょうか？
はい、Cubism SDK for Unity のリップシンクはAudioSourceから音量を取得して設定する仕様のため、音声ファイルを指定することが必須となります。テキストからリップシンクに反映はできません。ご了承ください。

> 課題の切り分けとして、担当者にて確認するように致します。
よろしくお願いいたします。
課題の切り分けにつきましては、Unity上でSDK for Unity 付属のサンプルモデルにて、入力想定の音声ファイルを入力してリップシンクさせることでも音声ファイルの問題なのかを切り分けることも可能です。

souma

@Tak (staff) 様

ご返信ありがとうございます！

宴側にも問い合わせて見たところ、テキストだけでも対応ができる仕様と認識しているようです。
何か他に関わりのありそうな、機能、仕様はなさそうでしょうか？
お手数をお掛けしますがご確認のほどよろしくお願い致します。

Tak (staff)

@souma 様

ご確認ありがとうございます。

> テキストだけでも対応ができる仕様と認識
CubismAutoMouthInputはこのコンポーネントが有効である場合に、周期的にリップシンク用パラメータの値を操作している機能となります。
宴 様はこれを利用してテキスト送りのときだけこれを有効にしていると考えられます。
これによってテキストでもリップシンクできるように実現しているようです。

数点こちらから確認したいことがございます。
・ CubismMouthControllerのBlend Modeの設定は何にしていますでしょうか。
・ 現象が発生するモデルのリップシンク用のパラメータの最大値はいくつでしょうか。
・ 現象が発生するモデルに対し、以下手順で想定通りに動作しますか？
　1. シーンにモデルだけを配置してCubismAutoMouthInputのチェックを外す
　2. CubismMouthControllerのBlend Modeをoverrideに変更する
　3. シーンを再生してCubismMouthControllerのMouthOpeningのスライダーを動かし、想定通りに動作するか。

もし上記内容で現象が確認できない場合、現象が再現する最小のプロジェクトをご準備いただけますと幸いです。

souma

@Tak (staff) 様

ご返信ありがとうございます。
こちら質問の件、返信させていただきます。


数点こちらから確認したいことがございます。
・ CubismMouthControllerのBlend Modeの設定は何にしていますでしょうか。
　 →Overrideになっております。

・ 現象が発生するモデルのリップシンク用のパラメータの最大値はいくつでしょうか。
→すいません、具体的にどの場所になりますでしょうか？
　 　関連しそうなところを添付します

　

・ 現象が発生するモデルに対し、以下手順で想定通りに動作しますか？
　1. シーンにモデルだけを配置してCubismAutoMouthInputのチェックを外す
　　→こちら想定がどのような動作かはわからないのですが、前後で特に変化が見られませんでした。

　2. CubismMouthControllerのBlend Modeをoverrideに変更する
　　 →こちらは既に実施済みになります。

　3. シーンを再生してCubismMouthControllerのMouthOpeningのスライダーを動かし、想定通りに動作するか。
　　→こちらですが関連パラメータを手動で動かすと、口が開くことは確認済みになります。
　　　その為、開きの大きさに問題を感じていまして、Live2D側で書き出す際の設定や作り方の面で
　　　何か課題があるのではと思い、相談しました。


もし上記内容で現象が確認できない場合、現象が再現する最小のプロジェクトをご準備いただけますと幸いです。

→こちらですが、既に、宴のサンプルモデルに戻しまして、実際のUnityゲームに関わらないところで確認したところ
　大きな問題は今のところ感じておりません。

ご確認、検討のほどよろしくお願い致します。

Tak (staff)

@souma 様

> ・ 現象が発生するモデルのリップシンク用のパラメータの最大値はいくつでしょうか。
> →すいません、具体的にどの場所になりますでしょうか？
> 　 　関連しそうなところを添付します

こちらモデルの口パラメータとなります。
モデルに紐付けているコンポーネントの設定値ではなく、モデルのリップシンクに関連するパーツのパラメータ値をご教示ください。

もしくは、現象が発生するモデルデータをお調べいたしますので、以下をDMにてお送りいただけますでしょうか。
何卒宜しくお願い申し上げます。

・現象が発生するモデルファイル
(cmo3,can3,Unityにインポートした組み込み用モデルファイル一式)

★DMの送信手順
　この返信の投稿者名［Tak (staff)］をクリックします。
　開いたプロフィール画面右上の[メッセージ]をクリックします。
　[新しい会話を開始]が開きますので、アイコン[Attach file]をクリックしファイルを選択します。
　[会話を開始する]をクリックし、ご送信ください。
（ファイルはzip等に圧縮していただくか、
　サイズが大きくて添付できない場合はアップロードサイトなどをご利用下さい）

souma

@Tak (staff) 様

お世話になっております。

先ほど、DMに送らせていただきました、引き続きよろしくお願い申し上げます。

y_a_s_(Dev Staff)

@souma 様

モデルデータの提供ありがとうございました。
こちらで確認したところ、コンポーネントの実行順序が原因だと思われます。
リップシンクの値を操作するコンポーネントと、その他のパラメータの値を操作するコンポーネント等が実行される順序によっては、モデルにリップシンクが反映されません。
例えば、リップシンクの処理の後に、表情などの機能によって口の開閉用パラメータの値の上限を抑えているといったことが発生することも考えられます。
モデルのPrefabに、CubismUpdateControllerとCubismParameterStoreの２つをアタッチしてシーンを再生した場合、現象が解消されるか確認していただけますでしょうか？

また、CubismMouthControllerが複数アタッチされている場合、後に処理される方によって値が上書きされている可能性があります。
自動でリップシンクの値を操作するCubismAutoMouthInputは単一のCubismMouthControllerに対してのみ処理を行います。
そのため、後に処理されるものがCubismAutoMouthInputに操作されていない場合、値が期待通りのものにならないことがあります。
PrefabにアタッチされているCubismMouthControllerが一つだけになっているかの確認をお願いいたします。