「コロナ禍で生まれた「音」による空間体験拡張」

緊急事態宣言が解除されて3か月。収束にはまだまだ時間がかかりそうですが、経済活動や文化活動が再開し、観光名所やミュージアムでの鑑賞、イベントや展示会で新しいものに触れるなど、徐々にまたリアルな空間体験ができるようになってきました。同時に、非接触や三密の回避といったニューノーマルが、従来の体験を制限するのでなく、ここ数か月で一気に加速したデジタルリテラシーの高まりと相まって、新しい空間体験を生み出していく機会となるのではないかと思っています。
今回は、未来の都市「スーパーシティ」を見据えた未来のインフラづくりを目指すAR/MRスタートアップである株式会社GATARIと「デジタルイノベーション×場づくり」をテーマとするラボラトリーであるNOMLABとで制作した、「音」による空間体験拡張のプロトタイプについて、NOMLABマネージャーの立場からご紹介します（コロナ禍のなかで、初回からほぼ完成まで打合せはリモート、作業は在宅勤務で制作しました）。

リアル空間に音を配置し、展示体験を拡張

そんな期待をGATARIの代表竹下俊一さんからいただきディスカッションがスタート。昨今のオーディオデバイスの発達や普及、ウィズコロナにおいても非接触を保ちながらできる体験として、GATARIとNOMLABは「音」による展示体験の拡張に焦点を当てました。
NOMLABコンテンツディレクターの中村瞳からの「体験者の位置に合わせて音が制御され、空間内を歩くと曲がスムーズに繋がり、１曲を聞いたような体験がつくれないか」といった提案に加えて、展示体験のプランニング、サウンドインスタレーション、音響エンジニアリング、など両社からさまざまな観点でアイディアが融合。そのなかで、GATARIが開発・提供する、Mixed Reality音声ARプラットフォーム「Auris」を展示演出用に活用し、演出に特化した回遊型の音響体験サービスを目指してできたのが、「oto rea（オトリア）」です。

「oto rea」の特徴

今回開発した「oto rea」では、両社の特性を活かし、ストーリー性のある体験やリアルな空間体験の付加価値を高めるような演出の実現を目指しました。

■ストーリー性のある体験をつくれる

体験者の正確な位置を認識し、ヘッドフォンなどを通じて体験者のみに音が配信される仕組みです。「移動する」「立つ」「座る」「見る」「近づく」といった、体験者の動作に合わせた音も設定できるので、リアル空間と音の拡張が融合したゲームの世界に入りこんだような没入感のあるストーリー体験をつくることができます。また、音が混ざり合う心配がないため、プライベート性の高い体験もつくることも可能です。

■リアルな空間体験の付加価値を高める演出

上下前後左右から音が聞こえてきたり、音の距離を表現したり、複数の音を空間に配置することも可能なので、その空間にあった効果音やBGM、ナレーションなどを重ね合わせる演出もできます。反響音やこもったような音なども再現できるので、その現実空間ならではの特性を最大限に引き出す演出ができます。

乃村工藝社「RESET SPACE」にてデモンストレーションを実施

様々なシーンが演出できることを示すと同時に、密の回避やコロナ対策を自分たちの見える範囲で管理できることから、「仲間たちとのコミュニケーションから新たな創造性が生まれる空間」をコンセプトとして2018年に開設した乃村工藝社「RESET SPACE」にてデモンストレーションを行いました。RESET SPACEのコンセプトを拡張できる体験でありながら、さまざまな施設での導入を想定し、３つのプロトタイプ（１）イス展（２）らくがき展（３）生きるオフィス展、を制作。社内外約120名の方々に体験をしてもらいました。

コミュニケーションが活性化される工夫が融合しているRESET SPACE

体験者の方は、サングラス型オーディオデバイスをかけ、Bluetoothで接続したスマートフォンを持ったら、各展示の回遊をスタートです。

（１）    「展示物の背景やストーリーを感じる」イス展

イス展は社内にある個性ある4つのイスを使用。それぞれのイスに近づくと音が聞こえ始め、座ったとたんにその椅子の作り手の世界観やその時代を象徴する音が聞こえるという展示です。
展示室に置かれているだけの状態では分からない、その展示物が本来あった場所や時代を音によって体験し、展示物の背景やストーリーに思いを馳せる。そんなことをテーマに、演出しました。
たとえば、フィンランドの作家が作った洗練されたモダニズムのなかに木のぬくもりを感じるように作ったというイスの場合、イスに近づいていくと、鳥のさえずりが聞こえてきて、座った瞬間に北欧の森の空気や光が吹き込んでくるかのような音が流れます。動作と位置情報に音が連動できる技術をこの展示からわかりやすく体感してもらいました。

（２）「自分だけが特別な声に導かれているという体験を味わう」らくがき展

らくがき展は、REST SPACEの壁のところどころに描かれたイラストに近づくと、そのイラストの鳴き声が聞こえてきたり、しゃべりかけてくるのが聞こえたりする、という展示演出です。
展示室を回っていて、鳴き声や物音、人の声など、何だかかすかな音の気配がしてきたら……、そんな発想がヒントになっています。たとえば壁に描かれた猫のイラストの場合、どこからか猫の鳴き声が聞こえてきて、その音を頼りに猫のイラストに近づいていくと、「なに見てるんだニャ、お昼寝の邪魔だニャ」といった形で猫がしゃべりだします（デモンストレーションの声はGATARIとNOMLABの有志で演じました）。
自分だけが特別な声に導かれているという不思議な感覚になれる体験をつくっています。

（３）    「位置や動作によって音がシームレスに変化することを体験する」生きるオフィス展

生きるオフィス展は、RESET SPACE内全体を歩いて回ると、体験者の様々な行動によって、いろいろな音がシームレスに変化することを体験してもらう展示です。
不揃いで個性あふれる椅子と床材を天板に使ったユニークな仕上げのテーブルなどが配置されたオープンスペースでは、そこで繰り広げられる未来志向の会話や空間を追及する会話を思い起こすようなBGMが流れたり、集中したい時に使われるクローズドなスぺースでは、社員を見守るように大きく描かれたフクロウの鳴き声が聞こえてきたり、コーヒーサービスのあるカウンターからはイベントの時を思い起こすような食器や水が使われる音が流れてきたり……。「仲間たちとのコミュニケーションから新たな創造性が生まれる空間」であるREST SPACEのコンセプトを音で感じる演出になったのではないかと思います。

「oto rea」でできる展示の可能性

今回の展示のプランニングを手掛けたプランナーの堀井麻央は、こういった回遊型の音響体験サービスによる展示の可能性についてこう話します。

臨場感をもった物語の一場面として魅せることができる

「従来の展示でよくあるのは、個々の展示メディアから“断片的に情報を得る積み上げ式”の体験です。体験者は、展示物を見る・解説文を読む・映像を視聴するなどを経て、頭の中で情報を複合し物語を組み上げますが、そこに至らせるには難しいことも多いでしょう。そこへ、音響やナレーションがシームレスに繋がった「音」の体験を加えることで、ストーリーや情景を実空間上で感じられれば、展示を“臨場感をもった物語の一場面”として一発で魅せることができるのではないでしょうか」

体験者の心情に積極的に働きかけることができる

「既存の展示空間は無音、静寂、または全体的なBGMにとどまることが多く、音環境による体験者の心情への積極的な働きかけがあまりありません。展示に触れる時の心持ちは良くも悪くも体験者まかせですが、音環境を緻密に設計することによって、展示側の意図する方向へ体験者の気分を盛り上げることができます」

目には見えない空間の広がりを、音から感じ取っていくことで、空間体験の付加価値をさらに高める「oto rea」は、美術館や博物館、城などはじめとした歴史的建造物、また今回のようなワークプレイスや商業スペースでも新たな体験を作ることができるかと考えます。

今後の改良と「聞く」という体験への気づき

デモンストレーションを通じて、改良点や研究を続けていくヒントも見つかりました。中村は「リアル空間での動作に対するトリガーはまだ普及していない世の中だが、将来的に、物を見つめる、覗き込む、などの日常の動作が当たり前のようにトリガーとなる世の中がやって来る。その中で音をどのように扱い、演出していくのか、今後も研究を続けたい」と話しています。またGATARIで音響エンジニアリングおよびサウンドクリエイションを担当された増田義基さんは「デモではアテンドをしたり、体験順路を設計して装備も整えたりと、整備された環境での体験会だったが、理想の体験を実現していくにはまだ課題もある。また何回でも体験したくなるような良い体験というのは人によって違うと感じた。丁寧にその原因と対策を考えて、開発や表現について練り上げていけたらと思う」と今後に向けたコメントを寄せています。

個人的には、ある科学館の統括責任者の方が、このプロトタイプを考えるうえでヒントになるのではないかと、紹介してくださった一冊の本に関心を持ちました。『目が見えないひとは世界をどう見ているか』（伊藤亜紗著）は、視覚障がいのあるひとたちの、空間認識、感覚や体の使い方、コミュニケーション方法などを分析し、「見る」ということそのものを問い直しています。「見る」という行為イコール「視覚情報」ではないということを知ると同時に、普段視覚障がいのないひとたちはいかに視覚以外の機能を働かせていないかということに気づかされました。この気づきは、「聞く」という体験が何なのかを考えさせられ、この「音」の取り組みがもたらす空間体験の伸びしろにもなるのではないかと感じました。聴覚障がいのひとはどのように世界の音を聞いているのか、ご高齢の方は加齢で聴力が落ちていったときに、どのように世界を聞きとっているのか……。「聞く」という体験への思考を掘り下げると検討する視点は無数にありそうです。

今回はマネージャーという私の立場から紹介しましたが、サービスデザイン、空間演出、オーディオデバイス、サウンドインスタレーション、音響技術や音響心理学など様々な視点からディスカッションが重ねられています。空間体験の拡張に取り組むラボラトリーとして、様々なプロフェッショナル同士の化学反応を作りながら、今後も「音」の体験拡張を進めていきます。

「oto rea（オト リア）」

GATARI
プロジェクトマネジメント　竹下俊一
アプリケーション開発　伊藤匠　吉高弘俊
音響エンジニアリング　佐藤来　増田義基
サウンドクリエイション　佐藤来　増田義基

NOMLAB
プロジェクトマネジメント　津本祐一
プランニング　堀井麻央
コンテンツディレクション　中村瞳　林みのり
サウンドクリエイション　大樋真彦

プレスリリースはこちら

博物館や美術館、エンターテイメント施設、また地域観光の新しい形として。
ご興味のある方はぜひご連絡ください。