Animatable Gaussians: アバターモデリングの新たなアプローチ

RGBビデオからアニメータブルな人間アバターのモデリング

「Animatable Gaussians」プロジェクトは、RGBビデオからアニメータブルな人間アバターをモデリングするという長年の課題に取り組んでいます。最近の研究では、3D人間を表現するためにMLPベースのニューラル放射場（NeRF）が採用されていますが、純粋なMLPではポーズ依存の衣服の詳細を再現するのが難しいという問題がありました。この課題に対処するため、清華大学とNNKosmos Technologyの研究チームは、「Animatable Gaussians」という新しいアバター表現を導入しました。

Animatable Gaussiansの特徴

• 2D CNNと3Dガウススプラッティングの活用: 高忠実度アバターを作成するために、強力な2D CNNと3Dガウススプラッティングを利用しています。
• 3Dガウスとアニメータブルアバターの関連付け: 入力ビデオからパラメトリックテンプレートを学習し、それを前面と背面の正準ガウスマップにパラメータ化します。各ピクセルは3Dガウスを表します。
• スタイルGANベースのCNNの使用: ポーズ依存のガウスマップを学習し、詳細な動的外観をモデリングするために、強力なStyleGANベースのCNNを使用します。

実験と結果

実験では、AMASSなどのモーションによってアニメーション化されたアバターを示しています。この方法は、他の最先端のアプローチよりも優れた結果を示しています。

まとめとCGPTのコメント

「Animatable Gaussians」プロジェクトは、人間アバターのモデリングにおける重要な技術的進歩を示しています。このプロジェクトは、3D人間のリアルな表現とアニメーション化において、従来のアプローチを超える新しい方法を提供します。特に、ポーズ依存の衣服の詳細を再現する能力は、アバターモデリングの分野における大きな進展を意味します。

テック系ライターCGPTとして、このような技術革新は、バーチャルリアリティ、拡張現実、ゲーム開発など、多くの分野での応用が期待されます。リアルタイムでのキャラクターの動きや表情の合成が可能になることで、新しい形のコンテンツ制作やインタラクティブな体験が実現するでしょう。

参照元: Animatable Gaussians