【第一回】いまさらプロジェクションマッピングを追う!(前編)


こんにちは,落合です,落合陽一です.名前の由来は陽(プラス)と一(マイナス)だそうで,電気が好きです.この連載は,落合が気に入ったコンピュータ系の最新の論文を紹介しつつ,そのバックグラウンドから説明していく連載です.TwitterFacebookにコメントもらえるとその分やる気も増えていきます.RTやシェアされると喜ぶし書き甲斐があります.

前回のものが第0回として,今回はプロジェクションマッピングのあれこれについて書こうと思います.(前編後編に分かれています,これは前編です)

毎回やたらとニッチな話なのでリンクをおいながら読んでいってくださいね^^.分量は大学の講義一回分を動画とリンクをぺたぺたしながらやっていきます.なるべく簡単にかきますね.

今回紹介したい論文,というよりは研究はこれ.(ペーパーじゃないので)

プロジェクター72個!リアルな顔表情の研究.(SIGGRAPH 2013 e-tech より)

An Autostereoscopic Projector Array Optimized for 3D Facial Display です.SIGGRAPH(SIGGRAPHとは世界最大のコンピュータグラフィクスの学会!みんな大好きピクサーとかも毎年だしてるよ^^この辺は前回のをご参考に)の大御所,光の魔術師Paul Debvecのラボの力作です.上の細かい円弧上の凸凹が全部プロジェクターです.全部ですよ! 全部.72個とは恐れ入った.

というわけで,今日はプロジェクションマッピングというのを題材に書いていこうかと思っています.

さてみなさま,プロジェクションマッピングってご存知ですか?

例えば東京駅のプロジェクションマッピングなんかが有名ですよね.みなさんも見に行かれたことありますでしょうか??

あーみたみた,あれでしょ,建物に映像出すヤツ

何か変わったものにプロジェクター当てるヤツでしょ? 靴とか.

ま,それには限りませんが.

定義は難しいのですが,立体形状に投影する,もしくはインタラクティブにプロジェクションが変わる,プロジェクションを偏光するなどを含めた分野プロジェクトベースドコンピュータグラフィクス(=プロジェクションマッピング)だと僕は思っています.ARとかビデオマッピングとかも言われますけど,CGの再合成,リアルワールドオリエンテッドコンピュータグラフィクスだと考えながら文章書いていきますね.

カタカナばかりでわかんねーよ!!

といわれてしまいそうですが,

つまり映像を投影することによってコンピュータの中でしかできなかったワンダフルなことを現実世界でもやってしまおう! ということです.

さて,まずはオリジナルのプロジェクションマッピングから.

プロジェクションマッピングの元祖はホーンテッドマンションの像だといわれています.ディズニーランドいったことありますか??

当時はアナログの映写機を用いて(8mmフィルム?)を使って顔を像に投影したものです.いやぁ,ディズニーのクリエイティブってさすがですね.1969年のことです.みなさん生まれてますでしょうか?8mmフィルムの映像はコンピュータ制御できないけども,見せたい見た目はアナログ装置でつくれます.つまり,大切なのは,クリエイティブをしっかり表現することだと思います.ここから2013年のSIGGRAPHにたどり着くまで(いろいろはしょりますが)長い旅を始めましょう.(当該論文の話は後編かな??)

1980年台になってくると幾つかプロジェクトが走ってきます.例えば初期のプロジェクションマッピングといえば,Michael Naimark先生の力作が多いのですが,上の研究はTalking Head Projectionと言われています.これ,ニコラスネグロポンテ(ニコちゃん大王)の顔を顔型スクリーンにプロジェクションする研究で,8mmフィルムの映像にあわせてこのスクリーン動くのです.すごいですね80年代.MITメディアラボの所長の顔芸は当時のデジタルテクノロジーの野心を象徴するようです.ネグロポンテスイッチとかのお話はまた今度.

同じくMicheal Naimark先生の力作で,

http://www.naimark.net/projects/displacements/displ2005.mov

↑埋め込めないのでリンク先で.(必見)

これとかも相当すごいと思います.Displacementsと呼ばれたこのシリーズはパンニングするプロジェクターを用いて,真っ白な部屋の現実の様々なものにプロジェクションしていくものです.

おい,いつになったら東京駅出てくんだよー.なげーよ

あきたよプロジェクター

さて,皆さんが知っているプロジェクションマッピングの論文が一番最初に出てくるのは1998年のSIGGRAPHまで待つことになります.

インドに生まれた天才! ラメッシュラスカー先生 大きくてがっちりして頭の回転が速いいかしたおっさんです.勢い良く握手されると小一時間は手がしびれます.ここで出てくる彼の重要な論文が二つ.

Shader Lamps

これはインタラクティブプロジェクションマッピングの先駆けとも言えますが,プロジェクションを光源として,建物の模型にリアルにマッピングし,光源移動とともに影が変化するなど,実世界でコンピュータグラフィクスを再現する試みとして非常に斬新なものでした.リンク先もご覧ください.まさに皆さんがしっているプロジェクションマッピングだし,インタラクティブでより複雑な形状の分だけプロジェクションマッピングをある意味超えたものだと思います.これが1998年のプロジェクト.15年も前ですすごいですね.

もう一つは,

Spatial Augmented Reality

Office of the Future : Artist Sketch by Andrei State

Spatial Augmented Reality. 空間型ARとでも訳せばいいのか,UNCのHenry Fuchsと共著にSIGGRAPHで発表されたこれはなかなかのインパクトを持ちました.プロジェクターでAR情報を実世界に再マッピングしていくプロジェクトです.こんな未来が来たら素敵だなって今でも思います.つまりITの勢いがそれだけ大きかったのですね.

ここで1999年! 2013年が遠い!

AR(拡張現実)といえば,Jun RekimotoSteven FeinerRonald Azumaのお三方もご紹介したいのですが,またそのうちARの回があるので,そこまで待ちます.待ちきれない方はリンク先を,待ちきれる方は連載を,ご本人やそんなのしってるわ! という方は読み飛ばしてください.

ちょっと,研究の系列をまとめていこうかと思うのですが,その前に二つ研究を紹介させてください.

一つはPierre WellnerDigital Desk

これは,プロジェクションされたデータ世界とインタラクションする手法として,実世界とデータ世界を行き来する革新的な,斬新な研究でした.データ世界のものはかんたんに計算できるしリライトできる,実世界のものは直感的に操作できるし,紙に書いたり誰かに渡したりも出来る.このインタラクション手法は例えば富士通のあれとかでも同様の手法がとられています.(Wellner の方は1992年のことなので,20年越しで実現したのかな??)

あと網一つは,理念駆動! MITの石井先生のラボにいたJohn Undercoffler(今ではマイノリティレポートのUIの方が有名かもしれませんが)のI/Oバルブです.

I/O bulb(1999)

 

これは,プロジェクションと触れる実物体とのインタラクションを考えた初期の研究のうちの一つです.また,電球はアウトプットしか出来ないライトですが,プロジェクター+カメラをI/Oの出来る電球になぞらえたところも秀逸だと思います.

さて,ここで,プロジェクションマッピングor リアルワールドオリエンテッドコンピュータグラフィクス(実世界とデータ世界の統合)としてちょっと今までの研究をまとめたいと思います.

 おいおい、なげーよ

ごめんなさいあともうすこしです.今までの研究って,いろいろな方向性がありましたが,こんな風に分けてみると分かりやすいと思います.

・何かの見た目を再現するもの(ディスプレイ的)Talking Head

・何かの見た目をより協調するもの(スポットライト的=bulb)Shader Lamps Haunted Mansion

・データ世界と実世界の操作性に関わるもの(AR的)Digital Desk I/O bulb Spatial Augmented Reality

さて,今回のお題だった,An Autostereoscopic Projector Array Optimized for 3D Facial Display は上で言うと何かの見た目を再現する目的で使われていますね.では,この動画を見てみてください.

http://www.youtube.com/embed/PjP4SvHjkdo (なぜかここだけうめこめなかった)

ほら,顔リアルでしょ.今までの要素のうち,見た目を再現するという目的に特化して,複数方向の光を複数方向のプロジェクションで作り出している.

2000年のPaul Debvecの論文に8D Reflectance Fieldというモノがあるのですが,その当時はディスプレイをつくろうとしてもできなかった!(2000年)

人間の肌の質感を再現するのに,とにかく多くの光線のデータが必要なので,それを大量のプロジェクションで再現している.いままでのディスプレイでは出来なかったことをやろうとしている.

つまり,1969-2000年までのプロジェクターのお話(今回のお話)と,2000年にCGで出来ていたものをディスプレイに表示するお話があと13年分あります.なので,あと13年分は次回お話しようかと思います(テレイグイグジステンスとかをまぜながら)

では今日のまとめです.

・1969年くらいからディズニーでプロジェクションマッピングがはじまった

・当初プロジェクションアートとして深めたのはNaimark先生

・建物にプロジェクションするあたりはRamesh先生

・方向性としてARの一部,見た目の増強,リアルなディスプレイなどの使い方がある.

・現状使われてるテクノロジーは1990年代に完成されたもの

・見た目を再現するという方向では光線情報について研究されているものが多い(顔とか)

はい,これでみなさんプロジェクションマッピングについてちょっとくわしくなれましたね^^;

では! 今回もありがとうございました! またみてね!

何ぶん不勉強なもので,間違っていることがございましたら連絡ください!ではお後がよろしいようで!


落合 陽一 博士

Prof. Yoichi Ochiai Ph.D

落合 陽一 博士

Media Scientist

1987年生、筑波大でメディア芸術を学んだ後、東京大学を短縮修了(飛び級)して博士号を取得。2015年5月より筑波大学助教、デジタルネイチャー研究室主宰。経産省よりIPA認定スーパークリエータ、総務省より異能vationに選ばれた。研究論文はSIGGRAPHなどのCS分野の最難関会議・論文誌に採録された。作品はArs Electronica、SIGGRAPH Art Galleryを始めとして様々な場所で展示され、Leonardo誌の表紙を飾った。応用物理、計算機科学、アートコンテクストを融合させた作品制作・研究に従事している。BBC、CNN、Discovery、TEDxTokyoなどメディア出演多数。国内外の論文賞やアートコンペ、デザイン賞など受賞歴多数。人呼んで〈現代の魔法使い〉。

あなたへオススメの記事

ABOUT

BULK HOMMEは2013年4月に誕生した新世代のメンズコスメブランド。
徹底した製品づくりによって高い品質を保ち、男性のために1から造り上げられました。
品質に妥協やごまかしがなく、本当に肌を改善してくれる本質的なプロダクトをご提供したい。
手間を惜しまず研究開発を繰り返し、ごく限られた完成品だけを製品化して販売しております。
私たちはこれからも、女性がうらやむほどの豊富な美容成分、低ストレスな処方設計、
製造ごとの管理を徹底して追求してまいります。