じじぃの「科学・芸術_831_VR空間・プロジェクションマッピング」

Dynamic projection mapping

動画 YouTube
https://www.youtube.com/watch?v=c2KZnPJORu8

Dynamic projection mapping

東京大学、「完璧なダイナミックプロジェクションマッピング」を近い将来実現する事を発表。動く物体に貼り付いてるかのように投影する技術をアップデートする

2017.03.24 Seamless
同研究室は、去年発表したダイナミックプロジェクションマッピングを完璧なものにするため、さらなる取り組みとして「るみぺん2」と呼ぶ投影技術をハイブリッドさせることで実現を目指します。
「るみぺん2」とは、同研究室が2015年に発表した技術で、高速に動くボールなど(動的対象)に対し追従し投影ができるテクノロジーです。
「Deformable Dot Cluster Marker」はマーカーを対象表面に印字することで非剛体変形トラッキングを実現している一方で、「るみぺん2」は、「サッカードミラー(駆動鏡面を用いた高速視線制御光学系 )」を使ってレンズを高速に動かし追従させることでボールなどの動的オブジェクトを捉えることを実現します。
https://shiropen.com/2017/03/24/23821

『トコトンやさしいVRの本』

廣瀬通孝/監修、東京大学バーチャルリアリティ教育研究センター/編 日刊工業社 2019年発行

ダイナミック プロジェクションマッピング 映像投影で物体の形状や質感を変化させる技術

建物やステージ背景といった現実世界の物体にぴったりと合うようにCG映像をプロジェクタなどで投映する技術を「プロジェクションマッピング」と呼びます。

プロジェクションマッピングは単に物体に映像を投映するだけではなく、物体や見る人に合わせた映像を使うことによって、あたかも物体の形状や質感が変化しているかのような表現を実現できるため、エンターテインメント分野で広く活用されています。現実の物体に情報を付与するAR技術の一種ですが、存在しない形状や質感を、見る人に知覚させるという点は、VRに通ずる技術といえます。
近年では、建物やステージ背景といった動かない物体だけでなく、ダンサーやボールなどの素早く動き回る物体に対しても、ぴったりと合うように映像を投映する「ダイナミック プロジェクションマッピング」と呼ばれる技術も開発されています(図.画像参照)。
ダイナミック プロジェクションマッピングでは、物体の動きや変形を計測し、それに合うような映像を生成して、投映するのですが、計測から投映までに時間がかかると、その間に物体が動いてしまい、物体に対してずれた映像が投映されてしまいます。
そこで、高速カメラや高速画像処理、高速プロジェクタなどを用いて、計測から投映までを数ミリ秒(1ミリ秒は1000分の1秒)で行うような装置の研究が進められています。物体に取り付けたマーカーを目印としたり、事前に物体の形状モデルを設定することで、物体の動きを高速に捉える大型のダイナミック プロジェクションマッピング装置が一般的です。
ドローンに載せられるような小型軽量の装置や、物体を計測するためにマーカーや形状モデルを必要としないアルゴリズムも発表され、エンターテインメント分野に限らず、様々な応用が期待されています。