モーションキャプチャーとは

モーションキャプチャーとは、人や物の動きを取り込んで3Dモデルに反映させる技術です。
主に以下のような目的で使用されています。

・スポーツやリハビリテーションの分野で人の身体の動きに関するデータを収集し、解析する
・映画やゲームのCGで作られているキャラクターの動きを人間らしく再現する

また、最近流行りのVTuberにもモーションキャプチャーの技術が使われています。

モーションキャプチャーの技術の進化

モーションキャプチャーは、従来の技術では専用のスタジオに設置されたセンサーで様々な方向から動きを読み取り、デジタル化するものでした。それにはスタジオの場所代やカメラやスーツ等の備品の費用も必要であり、とても高額なものでした。また、動きをデジタル化するまでは様々な工程があり時間のかかる作業でした。

しかし、現在はボディースーツを装着するだけでリアルタイムでモーションキャプチャーが可能になっています。弊社でもそのボディースーツを使用しており、費用や開発時間の削減につながっています。

弊社で使用しているボディースーツ

弊社ではモーションキャプチャーのツールとして、Smartsuit Proを使用しています。

Smartsuit Proについて、以下に簡単に紹介します。

特徴

セットアップが簡単

Smartsuit Proは、装着と使用が直感的に可能です。通常の服のようにスーツを着て、ソフトウェアを開き、システムを調整することで1分以内にデータのキャプチャを開始します。このスーツ内にセンサーが埋め込まれており、全身に張り巡らされたセンサーで正確な動きをキャッチします。

リアルタイムでモーションキャプチャーが可能

キャプチャの際には外部カメラやセンサーは必要ありません。全身タイツで構成されたスーツを着て動くだけでキャプチャが可能です。

▼全身にセンサー埋め込まれています。

※Smartsuit Proの機能的に手の動きには対応していませんが、弊社ではゲームコントローラーを併用することで解決しています。

▼使用しているコントローラーです。

対応範囲が広い

Apple、Windows、Linux、Unity、Unreal Engine、Autodesk MotionBuilderに対応しています。

価格

＄2,495〜（約27万円〜）

実績/デモ映像

今回作成したキャラクターは以下の動画のようなキャラクターになります。

スーツによる身体のモーションキャプチャーと、カメラによるフェイスモーションキャプチャーにより、リアルタイムで身体の動きや表情を3Dキャラクターに反映することができます。

キャラクターををデジタルサイネージなどに投影することで、スーツを着ている人間が誰でも、どこにいても、キャラクターになりきってイベント等でお客さんの対応をすることができます。

例えるならば、「遠隔操作可能なデジタルの着ぐるみ」と言ったところでしょうか。

キャラクターが実際に動いて、人間と会話しているかの様に会話できることを想像するとワクワクしますね。

開発で使った技術について

3Dアーティスト

今回の3Ｄモデルの作成には、blenderを使用しました。

カーブ機能を使って靴紐を細かく作ることや、

ブレンドシェイプ機能を使って複数の表情を作成することができます。（下記画像は一部です）

また、何度もテストを繰り返し、3Dキャラクターが動いた際の着物の動きが不自然にならないように、リグ（関節を動かす骨）を組みや、スキニング（動かした時にモデルが追従するようにする行程）を調整しました。

開発者

今回の開発で使用した技術について、それぞれの段階ごとに紹介します。

表情の取得、反映

・Rokoko Remote（iPhone）
iPhoneのカメラから顔の表情を読み取り、送信します。

体の動きの取得、反映

・Smartsuit Pro

19個のセンサーより体の動きを読み取り、送信します。
通常のモーションキャプチャーは部屋内にセンサーを置く必要があるため準備に手間取り、動きにも大きな制限が発生してしまいます。
しかし、Smartsuitでは配線やセンサーが必要なく、WiFiの届く範囲であれば自由に行動ができます。
IKによる移動量の取得も可能です。

・Rokoko Studio（PC）

Smartsuit、Rokoko Remoteのデータを受信し、自他のPCにデータを送信します。

・Rokoko Live（PC）

顔や体の動きを受信し、3Dキャラクターに反映させます。

映像の配信、取得

・agora.io SDK（PC)

音声や画面の共有、ビデオチャットの実装が可能になります。
また、自身でサーバーを用意することなく、音声やウェブカメラの映像を送受信することができます。

おわりに

リアルタイムで行うモーションキャプチャーについて、イメージしていただけたでしょうか？
新しいツールは前例があまりないこともありますが、使い方はアイディア次第だと思います。

3Dアーティストや開発者一丸となってご要望にお答えいたします。
こんなことがしたい、これはできるのか？など、気になることがあればお気軽にご質問ください。