SLN3DEXPO Vol.1 2次元画像から3次元画像を生成する技術




sln3dexpo1.jpg

昔から3D表現は未来を感じるから好き。PaperVision3Dなんかの3Dエンジンの登場でFlashでも積極的に3Dが使えるようになって、より3Dが身近になってきている印象をうける昨今、そういえば最近の3Dで面白い技術ってどんなのがあるんだろうと思って調べたものをまとめてみた。といっても単純にゲーム系のCGをおっかけてるとキリが無い&いろんなところで語られまくっているので、「2次元→3次元」という次元のシフトをキーワードに、個人的に気になっている技術や作品をダラダラと連想ゲーム的に紹介。

...と思ってたんだけど、アレも紹介しなきゃ!てことはアレもか!?てな感じでとまらなくなってしまい、予想以上長くなりすぎたので全4回に分ける予定。


SLN3DEXPO Vol.1 2次元画像から3次元画像を生成する技術
Image Based Modeling and Renderingの話から、ベイズ推定による2次元画像の3次元再構築のお話まで、個人的に気になってたものをいくつか紹介。

SLN:blog*: SLN3DEXPO Vol.2 2.5次元アニメの技法
ちょっと前に話題になったMotion Portraitとか、ギャルゲーでつかわれていたりする2次元と3次元の間みたいな表現を紹介。

SLN:blog*: SLN3DEXPO Vol.3 Web3Dについて
PaperVision3DのようにFlashで3Dがあつかえるようになるエンジンの登場で盛り上がりを見せるWebの3D表現について、事例をいくつか。

SLN:blog*: SLN3DEXPO Vol.4 3次元にCGを合成する
Augmented Realityの考え方からVFXの現場で使われる3Dトラッキングソフトboujouの話とか。


で、今回は第一回ということで、2次元画像から3次元画像を生成する技術についてのお話。今もゴリゴリと研究が進んでる分野で、類似する技術はいろいろあるかもしれないけど、個人的に気になってるものをいくつかまとめてみたよ。間違ってるところがあったら教えてくださいませー。

■Image Based ModelingとBullet-Time

Image Based Modeling、あるいはImage Based Modeling and Renderingは、南カリフォルニア大学CG研究所のPaul Debevec氏が97年のSIGGRAPHで発表した新しい3DCGの制作方法で、ゼロからモデリングを組んでテクスチャーを貼付けて...といういままでの3DCGの制作方法とは違って、様々な角度から撮影した画像をもとに自動的にモデリングされたオブジェクトに写真をテクスチャーとして貼付ける、というもの。これは映像見てもらったほうが早いかも。

The Campanile Movie / Dir.Paul Debevec
Campanile.jpg

Paul Debevec氏の解説はここ:The Campanile Movie

imagebased modeling and renderingで生成した塔と実写の塔が交互に切り替わりながら、目が回るような映像を実現している。これ見てピンと来た人も多いともうけど、映画「Matrix」で視点がグルーッとまわるシーンがあったけど、あそこで使われている技術です。あれは、ブルーバックで人だけ360度ぐるりと囲んだカメラで撮影しておいて、背景はこのImage Based Modeling and Renderingでつくって後から合成したというわけ。この組み合わせの手法は一般的には"Bullet Time"と呼ばれてたりする。

Bullet Time

大学のときに研究室で、このImage Based Modelingを応用した映像を制作してたんだけど、当時は以外とキャリブレーションが大変で、「写真があればサクッとCGができちゃう夢の技術!」なんてイメージからはちょっと距離があったけど、最近はどうなんだろう。というわけでサラッと最近の技術を調べてみると...


■Photo TourismとPhoto Synth

Photo Tourism

これはワシントン大学とMicrosoftの共同研究でやってるプロジェクトで、画像共有サイトから無数の写真をダウンロードして、ノートルダム寺院や自由の女神像の3D画像を作るというプロジェクト。集合知によるフォトモザイクの3Dバージョンという感じかな。多分Microsoft Live LabsがやってるPhoto Synthは多分、このPhoto Tourismのプロジェクトが元になってるんだな。

Microsoft Photosynth

Photo SynthについてはTEDで開発者のBlaise Aguera y Arcas氏のプレゼンテーションがあったので、こちらも必見。


■Movie Based Modeling = Video Trace

Video TraceはまさにImage Based Modelingを映像でやってみたバージョン。Image Basedでは複数の角度からの写真が必要だったけど、これは1本の映像で済んでしまう。まだプロトタイプ段階らしので、この先どうなっていくか楽しみな技術の一つ。

VideoTrace


■MAKE 3D

MAKE 3Dはスタンフォード大学の研究チームが開発している画像から三次元空間を自動的に生成する技術。なにやら「Markov Random Field」とかいうアルゴリズムを使って生成させているとか。精度はまだイマイチっぽいけど、学習機能がついてて精度があがってくらしいので、クラウドソーシングに期待。

MAKE 3D


■ベイズ推定による3次元変換

Compute 3D shape and scene from single image
2007-04-27 - potasiumchの日記

章の最後に原理はよくわからないけど何やらすごそうな技術を紹介。ベイズ理論っていうスパムメール対策なんかに活用されている確率論の理論を応用して二次元画像から三次元の空間を推定しながら生成してるみたい。ワクワクするんだけど、このへんになると、完全に頭がついていかない。

さて、次回は「2.5次元アニメの技法」と題して、2次元と3次元の中間にあるようなちょっと変わった表現手法についてまとめますよ。あまり間をおかずに更新予定ー。

■関連記事
SLN:blog*: SLN3DEXPO Vol.4 3次元にCGを合成する
SLN:blog*: SLN3DEXPO Vol.3 Web3Dについて
SLN:blog*: SLN3DEXPO Vol.2 2.5次元アニメの技法

Facebook Comments
Twitter Comments