BlenderでBusiness Casual WomanのARKitブレンドシェイプをテストする方法
研修動画の収録前に、顔の動きを3つ手動で確認し、iPhoneで取り込んだ表情と見比べます。

研修用の台本を通して収録する前に、Blenderで話し手の顔を3通り動かしてみましょう。片目を閉じる、片側の口角を上げる、あごを開く。次に、短いせりふをひと言だけ収録します。思いどおりに動かない箇所があれば、手動で作ったポーズとキャプチャしたポーズを見比べられます。
Business Casual Womanのモデルには、体と顔のRigifyリグ、52種類のARKitブレンドシェイプ、リップシンク用コントロール、表情プリセットが含まれています。以下の製品画像では付属のリグとポーズを紹介します。リハーサルは、ご自身のキャプチャ環境で試せます。
別のキャラクターを使いたい場合は、ARKitのブレンドシェイプを備えたキャラクターを選び、そのフェイシャルリグで同じ3つの動きを試してください。
3つの動きを手動で確認する
Blenderファイルの作業用コピーを開き、話し手の肩から上が画面に入るように構図を決めます。顔のメッシュを選び、「オブジェクトデータプロパティ」でシェイプキーを探し、ファイル上の名前を控えておきます。リグのコントロールに連動するキーなら、そのコントロールを動かして顔の変化を見ます。

Business Casual Womanのフェイスリグ。上まぶたと下まぶたが接する位置を見分けられる大きさまで寄ります。
動きごとに顔をニュートラルに戻します。最大まで動かした状態だけでなく、途中の半分の位置でも止めてみましょう。
- 左目を閉じる。 キャラクターから見て左の目を閉じます。正面から見ると、画面の右にある目です。まつ毛がまぶたと一緒に動き、反対側の目は開いたままか確認します。
- 右の口角を上げる。 キャラクターの右の口角を上げます。斜め前から眺め、値を上げるにつれて頬と唇の端がどう動くかを見ます。
- あごを開く。 ゆっくりとあごを開き、下の歯とあご先の動きを見ます。ニュートラルに戻したら、上下の唇が再び閉じるか確認します。
Appleでこれらの動きに付いている名前は、それぞれ eyeBlinkLeft、mouthSmileRight、jawOpen です。受信したチャンネルをリグ上の名前に割り当てる際の手掛かりになります。Appleのブレンドシェイプリファレンス

ThreeDee製品で共通のブレンドシェイプ参考図。手元のファイルで顔のメッシュを選び、対応するコントロールを動かしながら1つの値を追ってみてください。
受信した信号とBlender上のポーズを照らし合わせる
手動で試したときに最も見分けやすかった動きから始めます。たとえばあごなら、眉と唇の力を抜き、受信側に表示される値を見ながらあごを2回開きます。次に、Blenderで割り当て先の値を見ます。自分の顔、受信側、メッシュの順に追うと、どの段階から動きがずれ始めたかを切り分けられます。
| 見えている現象 | 次に確かめること |
|---|---|
| あごを開いても受信側の値が変わらない。 | キャプチャアプリが顔を追跡しているか、選んだ受信先に送信しているかを確認します。リグを編集する前にもう一度テストします。 |
| 受信側の値は変わるのに、キャラクターが動かない。 | あごのチャンネルがどのメッシュのどのシェイプキーを駆動しているか確かめ、そのキーをもう一度手動で動かします。 |
| キャラクターは動くが、片方の口角を上げると反対の頬が引っ張られる。 | カメラを正面から見て、自分の右の口角だけを上げ、キャラクター自身の右側と見比べます。キーを入れ替える前に割り当てを確認します。 |
| ビューポートでは自然なのに、研修スライドの横に置くと表情が乏しく見える。 | 同じテイクを顔に寄った構図で再生します。唇の動きが読み取りやすくなるなら、アニメーションを変える前に構図や照明を調整します。 |
カメラに向かってひと言リハーサルする
対応するiPhoneのキャプチャアプリをBlender側の受信ツールに接続したら、演者の顔とビューポートの動きを並べて記録します。少しの間無表情を保ち、先ほどの3つの動きを繰り返してから、「Welcome back. Open the file with me.」 と英語で話します。最後の「me」の後にひと呼吸おくと、あごが元の位置に戻る様子も確認できます。Appleの顔トラッキングのサンプル

付属する2つの表情プリセットで、口、頬、まぶたが一緒に変化する様子を比較できます。ポーズ間の動きは収録したテイクで確認しましょう。
「back」の B と「file」の F をもう一度再生します。Bの直前には上下の唇が合わさり、Fでは下唇と上の歯が触れるかを見ます。あごは手動で動くのにキャプチャすると止まったままなら、受信側であごの割り当てを確認します。逆の目が閉じる場合は、メッシュを変更する前に、キャラクターの左右と入力チャンネルを照らし合わせます。
音声に合わせて口の形を確かめる

共通のリップシンク表では、唇の形が似ている音をまとめています。このせりふではFVとMBPが確認の目印になります。
「back」を1コマずつ送ります。Bの音が弾ける直前に、上下の唇が一瞬触れるところを探してください。次に「file」のFを探します。下唇が上の歯に近づき、息はその間を通り抜けます。どちらの単語でもあごがよく動いているように見えても、唇の形にこの違いが出ていないことがあります。
手動でキーを打った場合と比較するには、テイクを複製するか、ファイルのコピーを使います。同じ音声を流しながら、発音用のコントロールでこの2つの接触を作ります。両方を通常速度で再生し、せりふ全体の中で単語が読み取りやすくなったときだけ修正を残します。受信側がすでに口のコントロールを駆動している場合、別のアニメーションを重ねる前にどの入力がその値を制御しているかを確かめてください。
視聴者が見る大きさで再生する
完成動画で使う大きさに合わせ、スライドや画面録画の横に話し手を配置します。もう一度あいさつを再生しましょう。笑顔は伝わりますか。唇が閉じる瞬間は見えますか。Blenderでははっきりしていた動きが完成画面で目立たなくなる場合は、表情を大きくする前に構図と照明を見比べます。

付属の照明シーンを、完成時の表示サイズで確認するための出発点にできます。
チームのメンバーに似たキャラクターが必要な場合や、決まったセリフに合わせて動かしたい場合は、キャラクターやアニメーションの制作をThreeDeeに相談できます。参考画像と収録したいセリフを添えてください。お手持ちのBlenderリグをARKitでの収録に使いたい場合は、その旨もお知らせください。
