「双方向」のメディアで、 表現意欲を引き出す
— 初めに、福地先生のご専門である、インタラクティブメディアについて教えてください。
福地 インタラクティブメディアとは、一方向に情報を発信するメディアとは異なり、受け手が能動的に関わることのできる、双方向性を持ったメディアのことを指します。単にコンテンツを“受け取る”だけではなく、自らが働きかけることで体験が変化する。そうした相互作用が、インタラクティブメディアの大きな特徴です。コンピュータゲームがその代表例ですね。私の研究室では、タッチパネルや触れる立体ディスプレイ、カメラを使った映像制御システムなど、インタラクティブメディアを支える技術を研究しており、またそれらの技術を、エンタテインメントをはじめとする多くの分野で利用するお手伝いをしています。
— そうした研究を始められた原点について、教えていただけますか？
福地 今の研究は、私が学生の頃、クラブでVJ（ビデオジョッキー）を手伝っていたことが発端なんです。VJというのはDJの選曲に合わせて映像を流す、映像版のパフォーマーのようなもの。私はメインのVJのサポート役として、現場にパソコンを持ち込み、その場でCG（コンピュータグラフィックス）をつくって流していました。私が大学2年生、1995年のことです。
私は高校生の頃から、趣味でゲームのプログラミングをしていたのですが、VJのお手伝いを続けるうちに画像処理やインタラクティブ技術に興味を持つようになって大学院に進み、今でいうタッチインターフェイスの基礎技術について研究していました。そのかたわらで、小劇場のオープニングや幕間で流す映像の制作など、舞台演出のお手伝いなどもするようになっていました。
大学院での研究が一段落したときに、研究用に開発していたソフトウェアを映像演出に応用できないかと考えて、試作したものをネットで公開していたのです。このソフトが音楽関係の人たちの目に留まり、舞台や音楽祭の演出に本格的に関わるようになりました。
— どういったソフトウェアなのですか。
福地 「EffecTV」というソフトウェアで、ビデオカメラで撮影した映像をパソコンに取り込み、動きに応じた映像効果をリアルタイムで加えながら映し出すというものです。体の動きが瞬時にCGへと変換されるため、映っている人物とCGとの間に自然な一体感が生まれ、それまでになかった没入的な体験が可能になります。
このソフトウェアを使って、ミュージシャンの動きをカメラで捉え、それに特殊効果を加えて映像として流すといった演出のサポートをしていました。そうした現場での経験を重ねるうちに、「この技術や仕組みをもっと深く研究してみたら、学術的にも面白いのではないか」と感じるようになったのです。そのきっかけになったのは、ある音楽フェスティバルでの経験でした。
そのころ、「METAMORPHOSE」のような、今の言葉でいうEDM（Electronic Dance Music）系の音楽フェスティバルで、このソフトウェアをダンスフロアに設置して、お客さんの動きをカメラで捉え、それにリアルタイムで効果を加えてプロジェクターでスクリーンに投影するというやり方で、お客さんを楽しませるためのアトラクションに仕立てたんです。
観客の動きを面白い映像に変えて見せると、観客も喜んで、「みんな見て！」という感じで、どんどん新しい動きを見せてくれるのです。それが1人ではなく、周囲の人にも呼びかけて、次第にみんなで動き出すようになる。会場がどんどん盛り上がっていく中で、「俺のつくったソフトで、みんなが気持ちよく踊ってくれている！」と、悦に入っていたんですね。
ところがそのとき、7、8歳くらいの子どもがスクリーンとプロジェクターのあいだに入って、自分の影をスクリーンに映しながら、「おばけだぞ〜！」と声をあげて。それがもう大ウケで、完全に主役を持っていかれました（笑）。
— 思いもよらない展開ですね（笑）。
福地 「負けた～」と思ったのですが、「でも、どうして大人たちはこの子と同じようなことをやらないんだろう」とも考えたのです。多くの人は、大人になると、自分を表現したいという欲求を自ら殺してしまう。日本人は特に、その傾向が強いかもしれません。カメラや映像効果といったものの助けがないと、あえて自分を表現しようとはしない人も少なくない。だとしたらなおさら、自分がやろうとしていることには意義があるんじゃないか、と感じました。インタラクティブメディアを使うことで、そのままでは自分を抑えてしまう人のパフォーマンス、表現欲求を引き出すことができるのではないか、と。
いろいろ試した挙げ句にわかったのは、表現欲求を引き出すために大事なポイントは、映された人に「面白い表現ができた」と実感してもらうことだと気付きました。単に面白い映像が出ているだけではだめで、「自分が新たな表現を生み出した」と感じてもらうことが大事なんですね。
— インタラクティブメディアには作家性の強い作品も多く見られますが、先生の場合は、映される側が主体なのですね。
福地 私の場合は、舞台やコンサートなど、主役がすでにいる場に呼ばれるケースが多いので、黒子の役割が求められることがほとんどで、私の作品を求められてのことではない、ということもあると思います。クラブでのVJにしても、来ているお客さんはあくまで“踊りに来ている”わけです。楽しんでもらうことが第一で、「映像、すごいね」と思われること自体が目的ではありません。
同じことは芝居やコンサートにもいえます。舞台なら、観客の視線は役者に向けられるべきですし、ライブなら主役はミュージシャンです。芝居を観た人に、「このCGソフトをつくった人って、すごいな」と思われたとしたら、それはむしろ演出としては失敗。表現の本質を見せるための補助であるべきものが、前に出すぎてしまっているわけです。
— インタラクティブメディアを使って人々の表現欲求を引き出した成功例としては、どんなものがありますか。
福地 私たちの研究室で、東京都中野区で行われていた夏まつりに「自分撮りトランポリン」というシステムを出展したことがあります。一人用の小さなトランポリンに乗って跳ねると、ジャンプの間隔をセンサーが感知して「3、2、1」とカウントダウンしていき、最後のジャンプでタイミングよくパシャッと撮影する仕組みです。撮影された写真は、大きなスクリーンに並べて表示するようになっていました。
この仕掛けは会場で大人気に。展示時間はおよそ4時間ほどでしたが、その間に撮影された写真はなんと660枚。1枚撮るのに平均10回ほど跳ぶ必要があるため、みんなで合計6,600回もジャンプしてくれた計算になります。
「3、2、1、ジャンプ！」で撮影し、それをずらっと並べて見せるところまでつくり込めば、盛り上がるはずだという手応えは最初からありました。そこまで仕掛けておけば、あとは跳ぶ人たち自身が、「こんな面白い写真が撮れたよ！」と、自然に競い合ってくれる。こちらが細かく演出しなくても、自発的に盛り上がっていくんですね。これは音楽フェスの現場で学んだ感覚が活きた部分かもしれません。
特に印象的だったのは、あまり運動が得意ではなさそうな子どもたちも、積極的に撮影に参加してくれていたことです。誰もが内に秘めているけれど、普段は表に出しにくい表現欲求を、この仕掛けがうまく引き出してくれたと感じました。
伝統芸能とのコラボが生むシナジー
— 能をはじめ、多くの伝統芸能や舞台演劇とのコラボレーションでも注目されています。
福地 基本的には、先方から「何かアイデアを出してほしい」と声をかけていただき、そこからお手伝いするという形が多いです。能の舞台をサポートした際も、そんな経緯から始まりました。少し前のことになりますが、2016年10月に宮本亜門さんがシンガポールの野外フェスティバルで、「能×3D映像公演『幽玄 HIDDEN BEAUTY OF JAPAN』」という舞台を演出されたのです。その際に映像を手掛けていたのが、映像作家の奥秀太郎さんという方で、私のところへ相談に来られました。
このときは「3D映像を使いたい」というご希望があったので、舞台上に3Dで投影する仕組みを提案しました。そして、奥さんが次に演出を手掛けた、観世流能楽師・坂口貴信さんの舞台でこれを発展させたシステムを取り入れてみようという話になり、2017年8月に『スペクタクル3D能「平家物語」』として上演されました。
— 能の舞台でCGを使う試みをしたのには、どういった狙いがあったのでしょうか。
福地坂口さんは能についてさまざまな新しい挑戦をされている方で、3DやCGを使うことで新しいお客さんにもリーチしていこうという狙いがあったようです。能は伝統芸能で、若い人にはハードルが高いと思われがちですから。このときは平家物語をベースにした『船弁慶』という演目で、薙刀を振るシーンにCGを合成したいというリクエストがありまして、どのような映像がその場面にふさわしいか、試行錯誤を繰り返しました。
能というと、ゆったりとした所作の芸だと思われがちですが、実は場面によっては、激しい動きも含まれています。もともとはエンタテインメントとして発展してきた舞台芸術ですから、「観客を楽しませる」という視点が、きちんと組み込まれているんですね。
そうした能の面白さや迫力を、現代の観客にも伝えたいという思いは、能楽師の方々の間にも強くあります。印象的だったのは、「もし観阿弥や世阿弥が今の時代に生きていたら、きっとこうしたテクノロジーを積極的に取り入れていただろう」とおっしゃっていたことです。伝統を守るという姿勢と同時に、表現の幅を広げようという柔軟な発想に触れ、大きな刺激を受けました。
— 意外な気がしました。能というとどうしても、型を破るにもまず型を知らなくてはならず、観阿弥・世阿弥の思想を理解しないといけないというイメージがあります。
福地 世阿弥の言葉に「してみてよきにつくべし。せずば善悪定めがたし」というものがあります。これは、「演出案が2通りあって迷ったなら、両方試してみて、よかったほうを選べばよい」という意味で、まさに「迷ったらまずやってみろ」という考え方を示しています。
能というと伝統を重んじる世界に見えますが、経験をしっかり積まれた方々になると、そうした世阿弥の精神を体現されていて、驚くほど自由闊達なんです。
— 先生は2020年8月に上演された『VR能攻殻機動隊』の演出にも関わっておられます。
福地 『VR能攻殻機動隊』はVRゴーグルなしで仮想現実空間を構築した初めての能舞台です。19世紀に発明され、劇場などで使われていた「ペッパーズ・ゴースト」という舞台装置を発展させて、舞台上に能楽師の鏡像を登場させ、さらにそれを消失させるという演出を、東京大学の稲見昌彦先生たちと開発しました。伝統芸能と新技術は、気を付けないと、互いの長所を打ち消してしまうことがありますが、このときのVR技術「Ghostgram（ゴーストグラム）」は、『攻殻機動隊』という現代作品を能として成立させたと評価いただき、経済産業省のINNOVATION TECHNOLOGIES 2020を受賞しました。
— そういったお仕事の中で、心掛けていることはありますか？
福地 演出家とのやりとりの中で、相手の要望を100％そのまま実現するというのは、実際にはなかなか難しいものです。資金面で現実的ではない場合も多いですし、そもそも現代の技術では対応できない内容が含まれていることもあります。舞台というのは大抵、スケジュールも予算もタイトですから、そうした制約の中でどう工夫するかが問われます。
特に重要なのは、「演出家が本当に実現したいのは、どの部分なのか」を見極めること。最初の打ち合わせでは「あれもこれもやりたい」と、さまざまなアイデアが出てくることが多いのですが、すべてを実現するのは現実的ではありません。そこでこちらとしては、「これは少し難しいかもしれませんが、代わりにこういった表現なら可能です」と、代替案を提案していきます。アイデアをそのままでは実現できなくとも、少し違う形であれば予算・スケジュール内で実現できることも多いのです。現実に即した中で最大限の演出効果を出す。そのためには、相手の意図の核心をつかむ力が必要になってきます。
もっとも、演出家が本当に求めていることを見抜くには、舞台演出の現場をある程度経験していることや、舞台芸術そのものへの理解も求められます。そういう意味では、学生の頃からさまざまな舞台のお手伝いをしていた経験が今に活きていると感じます。
— 現在、さまざまな文化のデジタル保存が進んでいますが、福地先生が携わった事例はありますか。
福地 明治大学では、ポップカルチャーの研究が非常に盛んで、マンガやアニメの原画を保存・活用する取り組みも行われています。私もその一部をお手伝いしているのですが、原画を保存するだけでも相当な労力がかかりますし、それをどう整理して、一般の方々に還元していくかまで考える必要があります。
こうしたアーカイブと展示の取り組みは、インタラクティブメディアの分野でも、今後ますます重要になるのではないかと感じています。特に、収蔵作品をどのように活用していくかについては、舞台映像での経験も活かせるのではないかと考えており、機会があれば何かお手伝いできるよう、準備をしているところです。
伝統芸能の継承に関わる活動としては、2023年9月に小樽で開催された日本舞踊の舞台「和の幻想（デジタル）と現代を万代（よろづよ）に語りつがへと」に参加する機会がありました。小樽には「小樽市能楽堂」という本格的な能舞台があり、この公演ではその舞台を活用し、光やリアルタイム映像による演出の中で日本舞踊の舞い手が舞を披露するという試みが行われたのです。
この能楽堂は、大正時代の終わりに地元の名士が自宅に建てたものを、没後に市へ寄贈されたという由来があります。現在は地域の方々が中心となって、「せっかくの舞台を活用しよう」と、公演や活用方法の模索に取り組まれています。年に数回は東京や京都から能楽師を招いての公演が行われるほか、日本舞踊の舞台としても活用されており、敷地内には和風のカフェがオープンするなど、来訪者に楽しんでもらえる工夫もなされています。
私自身、このプロジェクトに関わることができて非常に刺激を受けましたし、こうした取り組みはもっと広く注目されるべきだと感じています。
「何を残すか」という視点
— 伝統芸能を維持しようというとき、大切になってくるのはどんなことでしょうか。
福地 何かを残そうとするとき、例えば能楽堂を保存するにしても、建物だけでなく、そこに関わる人々や風土も深く関わってきます。すべてを維持するのは難しいにしても、少なくとも記録・記憶にとどめていくことが大切だと思っています。また、踊りや芸能は、それだけで残っていけるものではありません。能でいえば、舞台に立つ人だけでなく、面や衣装を手掛ける職人など、裏方の存在も欠かせません。
私自身も自分は裏方だと思っていますから、この記事のように、裏方の仕事をアーカイブして、記録として残していただけるのは、すごくありがたいことだと感じています。放っておくと伝統芸能でも役者や踊り手のことしか残らないし、マンガの場合も有名な作家の作品は残りますが、そこでアシスタントをしていた人の証言まではなかなか記録に残りません。でも実際には、細かなマンガ制作のノウハウを握っているのがアシスタントさんだったりすることもあって、そこをちゃんと残していかないといけないというのが、関係者の皆さんが持つ共通の問題意識です。
— 伝統を支えている一部が欠けてしまったというとき、それをテクノロジーで補っていくという考え方がありますね。
福地 仮に、新しい能面や衣装がもうつくれないとなったとしたら、伝統を維持するために新しい技術を導入できないかと考えるわけですが、そこで浮かび上がるのが「伝統芸能の何を残すのか」という問題です。
例えば古い能面を再現しようとする場合、すべてを3Dプリンタで再現すればそれで十分、としてよいのかどうか。一方で、試作品を3Dプリンタでつくるとか、破損した一部分の補修に使うとか、一部のパーツのみを再現するといった形で、新しい技術の活用はさまざまに試みられてしかるべきだとは思います。その意味で、使いどころを見極める必要があります。「どこを残し、どこに新しい技術を入れるか」を的確に差配できる人材が、今求められていると感じます。
ここでもやはり、「本当にやりたいことは何なのか」という軸が重要になります。それが定まっていないと、どこにテクノロジーを活かすべきかという判断もできません。能面であれば、それを実際に身に着けて舞う方にとって、譲れない想いがあるはずです。そこは守らなければならない。
では、その「譲れないもの」とは何か——それを言葉にしていくことが必要ですし、テクノロジーを持つ側と、やりたいことを持つ側とをつなぐ共通言語をつくっていくことも大切です。それを提供するのが、私たち研究者の役割ではないかと、今回お話しする中で、改めて考えるようになりました。
— 「本当にやりたいこと」は人それぞれ違うと思いますが、どうやって引き出していけばいいでしょうか。
福地 モーションキャプチャを使って踊りの動作を記録するにしても、踊っている方が何より大切にしている部分をきちんと引き出して記録する必要があります。そのためには、「こういうことですか？」と、たとえ的外れでもこちらから問いを投げかけてみる姿勢が求められます。それに対して「いや、そうじゃない。ここはこうなんだ」と実際に見せてもらえるところまで行ければ、その問いには十分に意義があったということになります。
大抵の場合、技術者の提案は一歩も二歩も現実に及ばないのが普通なんですが、「いいところまで来ているけど、それじゃだめだよ」と言っていただくことで、相手の中にも「ああ、自分が本当に残したいのはここだったんだ」という自覚が生まれる。そうしたやりとりを通じて、「何が大事なのか」を少しずつ明確にしていくことこそ、伝統芸能の継承を志す方々に対して研究者が果たせる役割なのかもしれません。
— 継承が難しいとされている伝統文化は、どうすれば現代社会との接点を持つことができると思われますか。
福地 伝統芸能というのは、若い人にとっては接点を感じにくいものだと思います。でも、何かのきっかけでふと興味を持つことはある。何がそのきっかけになるかはわかりませんが、だからこそ接触の機会を少しでも増やすことが大切だと思っています。
私の教え子に、昨年JRA（日本中央競馬会）に就職した学生がいます。システムエンジニアとしての採用でしたが、彼女がJRAを志望した理由は意外なものでした。『ウマ娘プリティーダービー』というゲーム作品をきっかけに競馬に興味を持ち、馬が大好きになったんです。その後、実際に見学に行ったり乗馬を体験したりするような体験も重ねて、最終的にJRAに就職するに至りました。このように、思いがけない形で接点が生まれ、関心が深まっていくこともあります。
— 日本刀を題材にした『刀剣乱舞』というゲーム・アニメ作品もありますね。
福地 『刀剣乱舞』では、ゲームのメインシナリオを担当した芝村裕吏さんが刀剣に非常に詳しく、それぞれの刀の特徴を緻密に抽出し、キャラクターに反映させています。そこに気付いたファンたちが、自分でも刀剣のことを調べて考察を深めていくようになり、ゲームのみならず刀剣そのものに興味を持つ方も増え、大きなブームへとつながっていきました。おそらくは、「ここから先は自分で掘り下げてほしい。掘れば掘るほど面白い世界があるから」という確信があって、あえてそうした仕掛けを用意しているのでしょう。一度興味を持ってもらえれば、あとは自発的に深掘りしていけるだけの奥の深さがあり、それぞれが面白さを見つけていってくれる。だからこそ、その“最初の一歩”をどう設計するかが重要になるのだと思います。
どんな分野でも、掘り下げるのが好きな人というのは必ずいるんです。刀剣の面白さを知った人は、それを存分に楽しめばいい。問題は、その面白さに気付いてもらう仕組みを、どうつくるかということ。ただ宣伝すればいいという話ではないから、難しいのです。
— そこで何かテクノロジーが果たせる役割はありますか？
福地 インターネットのおかげで、「これは何だろう？」と思ったときに、すぐに知識に触れられるようになりました。だからこそ「これは何だろう？」と思ってもらえるような仕掛け（フック）を出すことが大事になってきます。
もっとも、そうしたフックを出しても、一度見ただけではわからないことが多いでしょう。その点、今はネットやDVDなどで、何度も繰り返し見ることができる。ゲームにしても何度もやり込むことで、裏にある仕掛けに気付けるということがあります。そういった意味では、テクノロジーによってうまくフックをかけやすくなってきていると思います。
他者と組むことで、解像度が上がる
— 先生の指導されている学生さんには、エンタテインメント業界を志望される方が多いと伺っています。
福地 私がいる学部は理工系ではありますが、メディアとの親和性が高い分野。卒業後は、ゲーム会社や映像制作会社などコンテンツを制作する側のエンジニアになるか、あるいは広告代理店などでそうした仕事を発注する側に進む学生がたくさんいます。
エンタテインメント分野を志す学生の場合、研究も「まずは面白いものをつくってみよう」というところからスタートします。私の研究室では大画面ディスプレイを使うものから遊園地のアトラクション的なものまで、さまざまな技術を使うのが特徴です。そうしたものの中から、学生ができるだけ自分で考えて題材を選ぶよう指導しています。自分の興味関心からスタートすると、のめり込み方が違いますから。
— エンタテインメント方面に進んだ人たちが、心掛けるべきことは何だと思われますか。
福地 エンジニアにとっては、相手の要望と自分たちの技術とをうまくすり合わせることが重要になります。幅広く関心を持ち、仕事で関わる相手の言葉が理解できるようになること。そして、自分が扱うテクノロジーを細かな要素に分解して把握しておかないと、相手の要望に合わせて柔軟に組み替えて提案することができません。
これは発注する側にも同じことがいえます。相手の技術を要素ごとに捉えていかないと、自分の希望をどう実現すればいいかが見えてこない。また、自分が実現したいことで「いちばん大事にしたい部分は何か」を考え抜くことも欠かせません。
以前、発泡性ミネラルウォーター「ペリエ」のインタラクティブ広告に、やはり映像技術アドバイザーとして関わったことがあるのですが、プロデューサーがペリエならではの特徴を丁寧に分解し、どこをどう見せるかを明確にされていて、私も大いに学びがありました。
「シュワッとしていて爽やか」といった漠然とした表現だと、それが当てはまる似たような商品はいくらでもあります。だからこそ、特徴をきちんと分解して明確にしていかないと、技術者も提案の出しようがないし、消費者にも響かない。このときは「ペリエというブランドには、こういうほかにはない特徴がある。それを表現できないか」とプロデューサーが具体的に示してくれたので、非常に仕事がしやすかったのを覚えています。
— 先生が学生を指導される上で、工夫されていることはありますか？
福地 結局のところ、「お客さんが楽しむことをお手伝いする」という点では、広告もエンタテインメントも同じなんです。卒業後にエンタテインメント業界に入る人が多いので、できればそういった作業を学生のうちからどんどん経験させて、現場の知見に触れられる機会を増やしてあげたいと思っています。
そのために、企業や自治体の方たちとコラボして何か一緒にやれたらいいなと考えています。学生とのコラボだとクオリティの面で不安に思われるかもしれませんが、うちの研究室の場合は私が監修しますので、ある程度のクオリティ保証はできます。インターンシップに代わる手段ともなり得るし、自社単独では出てこないような新しい発想が生まれる可能性があると思っています。
学生のアイデアが少しピント外れだったとしても、それによって発注側から「いや、うちの新商品って、そういうことじゃないんだよな」といった反応が出てくることがあります。すると学生が「そういうことじゃないって、具体的にはどういうことですか？」と問い返す。そのやりとりを通じて、発注側も改めて「今回、自分たちが本当に打ち出したい価値は何なのか」を考えるきっかけになると思うのです。
そうした対話は非常に重要なポイントの1つです。企業や自治体の皆さんには、ぜひその可能性も含めてご検討いただけたらと思っています。
—他者と組むことは、自分自身に対する解像度を上げる上で有効だともいわれますね。
福地 そういうふうに受け止めていただけるとありがたいなと思います。
私自身が試してみたいことでいえば、私は技術をどう使って舞台を盛り上げていくかについてのコンサルテーションを得意としています。実験段階の最先端技術を舞台上での表現に結び付け、かつ現場で使えるものに落とし込んでいくことについては経験を積んでいますので、「自分の最新研究を使ってほしいんだけど、どう舞台関係者にアピールしたらいいか」とお考えの研究者の方がおられたら、ぜひ相談していただけたらと思います。
— 福地先生ご自身は今後、テクノロジーを用いて一緒に取り組んでいきたい分野はありますか。
福地 実は最近、話芸の方とコラボレーションしてみたいと思っているんです。落語が好き、ということもあるんですが、落語って、いちばん映像を必要としない世界じゃないですか。どう考えても私の出る幕がない（笑）。
それでも関心があるのは、落語は決して視覚的表現を持たないわけではないからです。例えば顔の向きで誰が話しているのかを演じ分けたり、手ぬぐいや扇子を、手紙や煙管に見立てたりする。実は結構視覚的メディアでもあるんですね。そんな必要最小限の視覚的な演出が、観客に情景を想像させ、大きな効果を上げているのを、研究者としては見過ごせないわけです。聞き手が噺家の言葉や仕草をどう受け取り、何を思い浮かべているのか。そういったことに強い興味があります。もしかしたら、そこにちょっとした新しい演出を追加することを提案できるかもしれない。そうしたことを検証できる方と組んで、じっくり取り組んでみたいと考えています。
