～ バーチャルプロダクションの制作効率と柔軟性が大幅に向上 ～
ヤマハ株式会社（以下、当社）とアイ・ペアーズ株式会社（以下、アイ・ペアーズ）は、VTuberやバーチャルキャラクターによるライブ等で活用されるモーションキャプチャーをはじめとするバーチャルプロダクションの制作に関して、汎用的に記録・編集・再生を可能とする新技術を共同開発しました。これにより制作過程での効率と柔軟性の大幅な向上が実現しました。
[画像1: https://prcdn.freetls.fastly.net/release_image/10701/993/10701-993-71557d79fcbfc5e597efaad8198bd376-2000×735.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
「GPAP」と「n-Links Retarget」の連携によるバーチャルプロダクションの制作画面（左）とモーションキャプチャーのイメージ
VTuberやバーチャルキャラクターなどによるデジタルコンテンツの拡大により、モーションキャプチャー技術の活用領域は、音楽ライブ、映画、テレビ番組、さらには産業用途（自動車・医療・工場）にまで急速に広がっています。加えてUnreal EngineやUnityなどのゲームエンジンの進化やVR/ARデバイスの普及に伴い、今後もさらなる市場成長が期待されています。その一方で、モーションキャプチャーのデータは特定のプラットフォームに依存した形式で取り扱われることが多く、他ツールとの互換性や編集性が乏しい点で課題がありました。特にデータの後編集やテイクやバージョンの管理などの制作フローの柔軟性に制限があり、制作現場で高い負荷が生じていました。こうした状況の解決に向けて、両社はそれぞれの技術資産を生かし、より汎用性の高い、制作の効率化を実現する記録・編集・再生技術の共同開発を行いました。
当社とアイ・ペアーズは、今後も、本技術を通して、バーチャルプロダクション制作でのさらなる効率化の推進とともに、エンターテインメント業界はもとより、業務支援やAI開発の分野など多様な産業、表現領域でのイノベーションの創出に貢献してまいります。
概要
本技術は、当社が開発を進める「GPAP（ジーパップ／General Purpose Audio Protocol）」（※1）とアイ・ペアーズが新たに開発した「n-Links Retarget（エヌリンクス リターゲット）」（※2）の連携から生まれました。「GPAP」は、音声・映像・照明などのさまざまなデータをオーディオデータ（wavデータ）として記録・再生・編集することを可能にする技術です。「n-Links Retarget」は、モーションキャプチャーのデータをOSC（Open Sound Control）形式（※3）で送出するバーチャルプロダクションの支援システムです。リターゲット処理（※4）をはじめ、より高い安定性と柔軟性を実現しています。
このたびの共同開発により、「n-Links Retarget」から送出されるOSCデータを「GPAP」が受信することで、オーディオデータ同様にDAW上で扱えるようになり、モーションデータの録音・再生・カット＆ペースト編集・バージョン管理が可能となりました。また、従来は再収録を必要とするようなモーションデータの後編集（モーション・表情の差し替え、タイミング調整など）も可能となり、制作フローの柔軟性が大幅に向上しました。
[動画: https://www.youtube.com/watch?v=Lp5h3TJ61KU ]
新技術の説明動画
特長
– 「n-Links Retarget」のOSCでのデータ送信を漏れなく記録できる「GPAP」のインターフェースを開発「n-Links Retarget」は、通信プロトコルのOSCを採用。高フレームレート（※5）にも対応しており、滑らかなモーションキャプチャーのデータ送信を実現しています。また、通信トラブル時のバックアップやモーションキャプチャーの位置調整の精度等においても高いクオリティーを有しています。今回、「GPAP」においてそれらの仕様やデータを漏れなく記録するため新たなインターフェース（プロトタイプ）を開発しました。
– 上記の新たなインターフェースの開発により、モーションキャプチャーデータをオーディオデータに変換することが可能になりました。そのため、再編集、テイクおよびバージョンの管理ができるようになり、従来困難であった柔軟なワークフローの設計が可能となりました。
– 「GPAP」が、オーディオデータに統一し保存・再生可能な音声・映像・レーザー・DMXなどに加えて、モーションデータも一括管理ができるようになり、バーチャルキャラクターによるライブなどの統合的な演出制御が可能となりました。さらに、OSCで送信するさまざまなアプリケーションのデータも同様に記録・編集・再生が可能となるため、今後、音楽・舞台の領域を越えて多様な産業での用途の拡張も期待されます。
OSCデータの記録再生に対応した「GPAP」インターフェース（プロトタイプ）
※1 ヤマハ株式会社 ニュースリリース（2024年2月1日）
音声、映像、照明など多様なデータ形式を統一化する記録・再生システム『GPAP（General Purpose Audio Protocol）』を開発
https://www.yamaha.com/ja/news_release/2024/24020102/
※2 「n-Links Retarget」
ライブやTV番組・映画の制作現場で長年数多くのモーションキャプチャー収録を行うアイ・ペアーズ株式会社のノウハウを活かした自然なリターゲット処理を組み込み、運用するオペレーターの利便性、マルチプラットフォーム対応でタブレットでも動作する軽量さ、長時間収録に耐えうる安定性・冗長性を備えた新世代のリターゲットソフトウェア。
https://i-pairs.co.jp/13537/
※3 OSC（Open Sound Control）
電子楽器やコンピュータなどの機器において音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコル。
※4 リターゲット処理
「リターゲット」は、取得した動作データを、骨格構造や体格の異なるキャラクターに転送・適用する技術。各キャラクターの骨格（スケルトン）間の対応関係を定義し、自然な動作となるよう補正を加えながら変換が行われる。
※5 フレームレート
1秒間の動画が何枚の画像で構成されているかを示す単位。フレームレートの数値が大きいほど被写体の動きがなめらかできれいな動画となる。
※文中の商品名、社名等は当社や各社の商標または登録商標です。
※このニュースリリースに掲載されている情報などは、発表日現在の情報です。
発表日以降に変更される場合もありますので、あらかじめご了承ください。