FaceRigで表情を変えられるモデルの作成

xsinryux_x

顔をトレースしているFaceRigですが、測定点、検出数が少ない簡易的な物なので
顔がどちらを向いている、目が開いている、口が開いているなど、パーツの状態は検出してますが
怒っている、笑っているなど感情は検知していません
そこで感情を表す表情を手動操作で切り替えます

操作手段
利用用途、状況に合わせた方法で作成し、モデルを分けた使い分けも良いです
ゲーム実況用（顔操作）と、雑談用（キー操作）を別モデル化して使い分けも良いです

人の顔で操作　　眉の上下、顔の位置で変える（顔の位置、顔の上下向き）
利点：手での操作が不要　　　欠点：変えられる数が少ない

キー押し操作　　11個のキーで変える
利点：素早く切り替えられる　　　欠点：中間が無い

マウス操作　　
利点：細かく中間表情が出せる　　　欠点：すばやく表情変えがしにくい


Z、X、C、Vキーの応用
4個のキーで追加表現（赤面、ハイライト消し、驚き目縮小、汗）　Sキー　＞＜目

1つをシフト代わりに使って8種の効果を出せるようにする
ZキーOFF（赤面、ハイライト消し、驚き目縮小）　　Sキー　＞＜目
ZキーON　（青ざめ、ハートマーク、怒りマーク）　　Sキー　星目　　

キー押しと条件出しを使う
条件出しとは、口が開いた時、下を向いた時などパラメータが特定の値の時に反応させる方式
XキーONと口開きで　星目が出る　
XキーONと口閉じで　ハート目が出る
Sキーと目開きで　星目
Sキーと目閉じで　＞＜目

xsinryux_x

操作方法案

キー押しで表情選び、眉上下で程度の変化、マウスは手の形切り替え
6個のキーで感情切り替え、4個のキーで追加表現、眉上下で程度の変化

キー押しで表情を表示し数秒で戻る
4個のキーで追加表現（赤面、ハイライト消し、青ざめ、汗）　Sキー　笑顔目

マウス操作で表情選び、眉上下で程度変化、　キーで手の切り替え
4個のキーで追加表現（赤面、ハイライト消し、驚き目縮小、汗）

人の眉上下とカメラ前位置で操作
4個のキーで追加表現（赤面、ハイライト消し、青ざめ、汗）

人の顔上下、眉上下とカメラ前位置、で操作
4個のキーで追加表現（赤面、ハイライト消し、青ざめ、汗）


Live2Dでの作成　　キー方式
顔の部位ごとの表情パラメータ（-10～10）を作る
モデル作成後、モーションに各パラメータ値を書き、表情を変える

眉感情　　PARAM_BROW_EMOTION　　眉の形、眉しかめで程度変化
-10怒り、-5ジト、0普段、5笑顔、10困り

まつ毛感情　　PARAM_LASHE_EMOTION　　まつ毛の形、眉しかめで程度変化
-10怒り、-5ジト、0普段、5笑顔、10困り

口感情　　PARAM_MOUTH_EMOTION
-10慌て、-5怒りジト、0普段、5笑顔、10猫口

顔感情　　PARAM_FACE_EMOTION　　顔の輪郭や顔色の変化
血の気が引く、嫌な顔にらみ、細くなる、ぷく、普段、高揚

目感情　　PARAM_EYE_EMOTION
目玉形状変更、縦長猫目、たるんだ目、うるうる目

眉しかめ　　PARAM_EYE_FORM　　　程度変化に使用　眉を上げると弱く　下げると強く

押している間機能する　Sキーの利用案
生放送で「いらっしゃいませ」と一緒に押し、笑顔閉じ目にする
目を閉じて押すと＞＜目、開けて押すと星目を出すのに使う


マウス方式
キー方式で作成し必要表情を決めた後、配置を変えて
マウス操作出来る　PARAM_BODY_ANGLE_X　パラメータに集める
-10怒り、-5ジト、0普段、5笑顔、10困り

xsinryux_x

FaceRig用モーションファイルの例
モーションファイルはテキスト形式なのでメモ帳などのソフトで開いて書けます
普通は数字1つ記述で良いはずなのですが、速度によっては読み飛ばされ
変化しない事があるので多数羅列してます

-----　手を切り替えるパラメータを3にしてます
# Live2D Animator Motion Data
$fps=30
$fadein=100
$fadeout=100
PARAM_HAND_CHANGE_L=3,3,3,3,3,3,3
PARAM_HAND_CHANGE_R=3,3,3,3,3,3,3

-----　リセットしてます
# Live2D Animator Motion Data
$fps=60
$fadein=100
$fadeout=100
PARAM_HAND_CHANGE_L=0,0,0,0,0,0
PARAM_HAND_CHANGE_R=0,0,0,0,0,0

-----　表情を変更するモーションのリセット　パッと変化しないようにゆっくめの設定
# Live2D Animator Motion Data
$fps=15
$fadein=500
$fadeout=700
PARAM_BODY_ANGLE_T=2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2
PARAM_MOUTH_SIZE_X=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
PARAM_EYE_L_SMILE=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
PARAM_MANGA_A=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
PARAM_EYE_BALL_FORM=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
PARAM_EYE_CHANGE=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0

-----　表情を変更するモーション　怒ってる顔
# Live2D Animator Motion Data
$fps=15
$fadein=500
$fadeout=700
PARAM_BROW_EMOTION=-10,-10,-10,-10,-10,-10,-10,-10,-10,-10,-10,-10
PARAM_LASHE_EMOTION=-10,-10,-10,-10,-10,-10,-10,-10,-10,-10,-10,-10
PARAM_MOUTH_EMOTION=-5,-5,-5,-5,-5,-5,-5,-5,-5,-5,-5,-5
PARAM_FACE_EMOTION=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
PARAM_EYE_EMOTION=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0

xsinryux_x

パラメータと形状変形の例
https://youtu.be/4u9Ug4FQTv8

キー押しでの表情変化の例
https://youtu.be/-URHVUzJcJI