SLN3DEXPO第四回。最終回ということで、未来への展望、みたいなニュアンスもアリで、3DCGを現実の三次元空間に投影するAugmented Realityな表現のお話。
■AR Tool Kit
単純に3次元空間をシミュレートして、その中を歩き回ったりゲームしたり、というのが、いわゆるVR(=Virtual Reality/仮想現実)という考え方で、ネットゲームとかSecondlifeなんかがモロにそうで、最近はちょっと時代を感じる言葉になってきちゃったなあという雰囲気さえ漂っているけれど、このアイデアの対になる、というか、考え方を一歩すすめてでてきたのが、AR(=Augmented Reality/拡張現実)という考え方。要するにリアルのいいところと、CGのいいところを合成することによっていいとこどりしちゃおうという考え方。（詳しくはwikipediaの拡張現実の項目を参照）よくある発想としては車のフロントガラスにカーナビを合成したりとか、そういうやつね。
よくSF映画で、実際の景色に情報ウィンドウがパラパラって開いて情報が表示されたり、ロボコップが犯人を見つけると視界に犯人の情報が重ねて表示されたりする、ああいうイメージ。VRの時代はヘッドマウントディスプレイってプロジェクターが搭載されたツボのようなものに頭をつっこむというようなイメージだったんだけど、ARの場合は半分反射するメガネのようなものに表示する、というイメージ、なのかな。
Mark Coleran Reel
モーショングラフィックデザイナーのMark Coleran氏の手がけた近未来のインターフェイスのイメージはもろにARって感じ
で、最近では、ARToolKitというCのライブラリが公開されていて、プログラミングができる人なら、気軽にこの技術に触れれるようになっている。これを使うと、例えばこんなことができるようになる。
ARToolKitで初音ミク
Desktop Miku Live: Hatsune Miku x Caramelldansen
音に反応するプログラム（ARToolKit+オーディオビジュアライザ）
ARToolKitを使った映像はほかにもいろいろあるので、Youtubeとかニコ動とかで検索してみるとたくさんでてくるよ。自分もいますぐやってみたい！ていう人は、素晴らしいチュートリアルがこちらにあるので、レッツトライ。
↓
「攻殻機動隊」「電脳コイル」の世界を実現！ ARToolKitを使った拡張現実感プログラミング
■Parallel Tracking / Mapping
さて、このARToolKitの場合、「マーカー」っていう黒いグリッドをカメラにうつして、その上にCGが合成されるわけだけど、これはカメラに映った黒いグリッドのゆがみから三次元情報を推測して、そこにぴったりマッチするようにPC側でCGを合成しているという仕掛けになっていると。んじゃマーカーがなくてもCGを合成できるようにしたいよねっていう欲望が出てくるのは自然な流れ。そこで、前の第一回で紹介したImage Based Modelingみたいな、画像認識で二次元画像から三次元情報を予測する何かしらの方法と組み合わせれば、マーカーナシでCGの合成ができんじゃね？ってわけで出てきたのが、こちらの記事（技術的な話とかはこっちの記事がすごく詳しくて分かりやすいです）で紹介されていたParallel Tracking and Mappingという技術。
これはすごい。まさに電脳コイルの世界。
■Boujou
三次元トラッキングってすごくないか？と思ってちょっと調べてみると、VFXの現場だとよく使われているboujouという三次元マッチムーブのソフトがあって、それを使うと、上記の普通に撮影した映像から特徴点を抽出して、3DCGを自動的に合成できるらしいんだけど、これは多分原理的には上記のParallel Traking and Mappingと同様の技術だと思う。最近これを使ってつくられた日本のPVがちょっと話題になっていたので、ついでに紹介。
APOGEE - アヒル / Dir.東弘明
三次元トラッキングを使って、カメラの動きにあわせてCGを合成するんじゃなくて、これはカメラ固定で動いている被写体をトラッキングしてCGを合成して、すごく面白い絵になってる。（パッと見た感じBjorkの"Hunter"のPVと似たアイデアのように見えるけど、このPVの最大の見所は後半）この作品については、この記事に制作過程も含めて詳しい事がまとまってます。結局自動トラッキングできずにほとんど手打ちでやったみたい。でも、このソフト、なんと252万円もするらしいんだけど、上記のParallel Tracking and Mappingがオープンソースで公開されちゃったってことは、がんばればそれなりにイケるかも!?
ざっと眺めただけでも面白い技術がたーくさん。（他にもシェーダーの話とか物理シミュレーションの話とかめちゃくちゃ面白いんだけど、それはまたの機会に）こういう技術や発想をVFXやゲームの世界にとどめていくんじゃなくて、積極的に他のメディアの表現にも応用していけたら楽しいな。というわけで今後もいろいろな動向をフォローしていきたいと思いますよ＆いろいろ教えてくださいませー。
■関連記事
SLN:blog*: SLN3DEXPO Vol.3 Web3Dについて
SLN:blog*: SLN3DEXPO Vol.2 2.5次元アニメの技法
SLN:blog*: SLN3DEXPO Vol.1 2次元画像から3次元画像を生成する技術