【起源_1】ようこそ、マスマティカル・ワンダーランドへ!
空間コンピューティングは、「究極のディスプレイ(The Ultimate Display)」という1965年に発表された一本のエッセイに端を発する──と、解釈することができます。著者は、コンピューターサイエンスの先駆者のひとりアイバン・サザランド*。彼は、同エッセイのなかでこう夢想しています。
サザランドが記したこの「数学の不思議の国(a mathematical wonderland)」の“解像度”が、空間 コンピューティングの実装によって、またさらに上がると考えられます。(稲見/以下同)
*アイバン・サザランド
1938年米国ネブラスカ州生まれ。今日のグラフィカル・ユーザー・インターフェイス(GUI)や仮想現実(VR)技術の発展に大きく貢献したコンピューターサイエンティスト。88年にチューリング賞を受賞。
【起源_2】華麗なる一族!?
アイバン・サザランドはマサチューセッツ工科大学(MIT)で博士号を取るのですが、そのときの指導教員が、今日のコンピューター理論の礎を築いた「情報理論の父」クロード・シャノン*です。
そのシャノンの師は、45年に発表されたエッセイ「As We May Think」(ハイパーテキストやパソコン、インターネットを予見)で知られるヴァネヴァー・ブッシュ*で、実際サザランドが63年に発表した「Sketchpad*」(GUI*を備えた世界初のコンピュータープログラム)は、ブッシュが「As We May Think」で言及した「Memex*」という概念の影響を受けています。
ちなみにブッシュとともに微分計算機(アナログコンピューター)の開発に携わっていたのが、のちに「サイバネティクス*」を提唱するノーバート・ウィーナーです。その後、サザランドはユタ大学大学院工学部で教壇に立ちますが、そこでアラン・ケイ──「ダイナブック構想*」で知られるパーソナルコンピューターの父──を指導しています(そしてアラン・ケイが、スティーブ・ジョブズに請われて84年から97年までアップルコンピューターのフェローを務めていたことはよく知られています)。ここで、バシッとつながるんです。
空間コンピューティングの起源をひもとくとき、「メインフレーム~パソコン~モバイル」というコンピューター史の側面もあると思いますし、「CUI* ~ GUI ~スペーシャル」というUIの発展史の側面もあると思いますが、人の系譜で捉えることで見えてくる本質もあるかもしれない……というのがわたしの科学史的認識です。
*クロード・シャノン
1916年米国ミシガン州生まれ。情報を数学的に定義し、情報量の単位としてビットを導入するなど、情報理論の創設者としてデジタル通信やデータ圧縮、信号処理、暗号、符号化といった今日の情報技術の基礎に多大なる影響を及ぼした。2001年没。
*ヴァネヴァー・ブッシュ
1890年米国マサチューセッツ州生まれ。技術者・科学技術管理者。1945年、『Atlantic Monthly』誌に「As We May Think」を寄稿。そのなかで、パソコンの源流ともいわれる情報検索マシン「Memex」などを提唱。74年没。
*Sketchpad
アイバン・サザランドが発明したインターフェイス。ブラウン管ディスプレイに図形を描けるライトペンや、ユーザーによるリアルタイムでの設計変更を可能にする対話機能など、今日のCAD(コンピューター支援設計)ソフトウェアやGUIの先駆けとなった。
*GUI
アイバン・サザランドがSketchpadを発表(1963年)した10年後、パロアルト研究所が、ウィンドウ、アイコン、メニュー、ポインター(WIMP)に基づくGUIを実装した最初のコンピューター「Alto」を発表。さらに11年後、世界初となる大規模市場向けGUI搭載パソコン「Macintosh」をアップルが発表。
*Memex
「As We May Think」で提案された理論上のマシン。ヴァネヴァー・ブッシュは、このMemexを通じて人間の知的活動の拡張や補助を目指したとされ、実際、ハイパーテキスト、パソコン、インターネットの基本的な概念をMemexからくみ取ることができる。
*サイバネティクス
数学者ノーバート・ウィーナー(1894~1964)が1948年に提唱した、フィードバックループや制御、通信、情報理論(情報のエントロピー)などを主要な概念とする新しい学問分野。生物、機械、社会などあらゆる種類の制御とコミュニケーションのシステムを学際的に扱い、今日ではロボット工学やコンピューターサイエンス、人工知能などの発展にも寄与している。
*ダイナブック構想
ポータブル(A4サイズ&軽量)で、マルチメディア(テキスト、画像、音声コンテンツを扱える)機能があり、(子どもたちが直感的に使える)インタラクティブな学習ツールにして、ネットワークに接続していることを前提とした「理想的なパソコン」のビジョン。1972年にアラン・ケイが提唱。
*CUI
Character User Interfaceの略。ユーザーはキーボードでコマンドを入力し、コンピューターはテキスト形式で応答するシステム。
【潜在性_1】AIのキラーインターフェイスに!?
Apple Vision Pro*のような空間コンピューティングのデバイスは、今後、生成AIを含む人工知能(AI)のキラーインターフェイスになりうる気がします。
ChatGPTやClaude、Stable Diffusionといった生成AIのUIは、現時点では「CUI」に当たります。その先に、(動画や音声といった異なるタイプのデータを横断的に処理する)「マルチモーダルAI」や、(ウィンドウやアイコンといった視覚的要素を通じてユーザーと対話する)「GUIベースのAI」があるなかで、自分の考えや思いなどを「その人の行動や生理データに基づいて生成」して空間にボカンと提示し、その生成された世界を各々がメディアとして使う、あるいは生成される世界をうまく自分用にチューニングし、それを体験するインターフェイスとして空間コンピューティングのデバイスを使う……といった話が出てくるかもしれません。
そこまで来てようやく、ウィリアム・ギブスンが『クローム襲撃』や『ニューロマンサー』といったSF作品で描写した電脳空間(サイバースペース)*に近づけるのではないかと思います。
*Apple Vision Pro
2023年6月5日に開催されたWorldwide Developers Conferenceで発表され、24年2月2日に米国で発売開始となったヘッドセット型XRコンピューター($3,499)。5つのセンサー、6つのマイク、12台のカメラが搭載されている。日本での発売は6月28日。
*電脳空間(サイバースペース)
ウィリアム・ギブスンは、『ニューロマンサー』〈黒丸 尚:翻訳/ハヤカワ文庫SF〉にて電脳空間についてこう記している。「電脳空間。日々さまざまな国の、何十億という正規の技師や、数学概念を学ぶ子供たちが経験している共感覚幻想 ─ 人間のコンピュータ・システムの全バンクから引き出したデータの視覚的再現。考えられない複雑さ。光箭が精神の、データの星群や星団の、非空間をさまよう。遠ざかる街の灯に似て ─」
【潜在性_2】それは「フィードバックループ」にほかならない
前述の「生成される世界をうまく自分用にチューニングし、それを体験するインターフェイスとして空間コンピューティングのデバイスを使う」のは、まさにサイバネティクスにおける「フィードバックループ*」にほかなりません。空間コンピューティングの出現によって、物理フィードバック以外にもさまざまなループを重ね合わせ、人に対して働きかけられる──つまりシステムが環境の変化に適応しながら、目標/目的に向けて制御される──ことは、とても重要な進歩だと思います。
これまでメタバースと呼ばれるいわゆるシミュレーテッド・リアリティ、あるいはデジタルツインやAR(拡張現実)といわれていたものは、空間そのものを介したフィードバックループがないという点においてまだサイバネティクス・スペースとは呼べませんでしたが、今後は、真の意味で「空間がサイバー化」していくことになるかもしれません。
*フィードバックループ
「システム」が自己の出力を再び入力として利用することで、自己調整するプロセス。フィードバックループは主に「正」と「負」の2種類があり、前者はシステムの変化を加速させ、後者はシステムの安定化に寄与する。フィードバックループは、生物学的システム、機械的システム、電子システムなど、あらゆる種類の自己調整システムに内在し、効率的な制御と自己管理の基盤となっている。
【潜在性_3】その人に合わせた「環世界」の創出
例えば「色弱の人にとって見やすい世界」など、その人その人に合わせた新しい環世界*をつくることができるかもしれません。いわゆるASD(自閉症スペクトラム)の傾向がある人にとって、VRChatはすごく心地いい環境だといわれることがありますが、「物理世界だと情報量が多過ぎて、どこを注視したらいいのかわかりにくい」というとき、人と物理空間の間にコンピューターのフィルターが入る空間コンピューティングであれば、例えば一部を抽象化することで認知負荷を軽減する……といった環境を生み出すことができるかもしれません。
*環世界
エストニア出身の生物学者・哲学者のヤーコプ・フォン・ユクスキュル(1864~1944)が提唱した概念。各生物種はそれぞれ、(身体的な構造等によって)感知可能かつ自身に意味のある範囲(=環世界)だけを「世界」として認識しており、同じ環境でも、別の生物はまったく異なる方法で認識しているという、生物の知覚と行動の主観性を指摘した。
【事例_1】究極のカスタマイゼーション
Apple Vision Proで特にビックリしたのが、最初にキャリブレーションをするときに「背景の明るさを三度変えながらターゲットを注視させられた」ことでした。あれ、瞳孔の大きさの変化を見ていますよね。驚いたり注視したときに、一瞬、瞳孔がパッと動く生体反応を、将来使おうとしているのだと思います。そうすることで、本人が気づいていないような好みを把握し、本当の意味でのアテンションエコノミー*を、より詳細に設計しやすくなるかもしれません。
かつては選ばせるためのアテンションでしたが、今後は、生成につながるためのアテンションというか、アテンションと生成のループを回すことで、究極のカスタマイゼーションにつながる可能性があります。
*アテンションエコノミー
1971年、心理学者・経済学者のハーバート・サイモンが、経済が消費経済から情報経済へ移行すると同時に「アテンション(注意)」が貴重な資源へと変容し、それが「通貨」のように扱われるようになると予測。その後97年に、社会学者のマイケル・ゴールドハーバーが「アテンションエコノミー」という言葉を提唱。
【事例_2】デジタルレーニン主義の温床に!?
UT-virtualという東京大学のインカレ・バーチャル・リアリティ・サークルがあるのですが、そこの卒業生が会社を立ち上げ、生成AIを使った「Love Infinity ∞」という恋愛シミュレーションゲームをリリースしました。チャットベースでなにげない会話をしていると、履歴に基づいて「理想の相手」が画像生成AIでバシッと出てるのですが、何て恐ろしいものをつくってしまったのかと(笑)。
それこそ、視線や瞳孔サイズ、無意識の表情変化などから推定された内部状態を基にどんどんフィードバックループをかけていくと、今後、よりすごいものが出てくるのではないかと思います。
そうなると、当然「人間よりそっちのほうがいい」ということになりかねないですし、さらに悪用すると、例えばカルトに洗脳したり、最近だとデジタルレーニン主義*といわれているような、いわゆる専制的/強権的な政治支配のためのツールに使われかねない、というディストピアも想定しておく必要があると思います。
*デジタルレーニン主義
政府や権力、あるいは企業等が、データ分析や監視、ネットワーク通信といったデジタル技術を駆使することで効率的に社会や個人を管理・コントロールする手法や思想。提唱者はドイツの政治学者セバスチャン・ハイルマン。
【事例_3】身体に刻まれた空間の記憶をコピペする
使い慣れたキッチンとか工房って、どこに何があるのか身体が覚えているじゃないですか。自分の家なら、真っ暗でもトイレに行けますし。そういう身体の記憶を、再構成しやすくなると思います。住み慣れた自分の家だと普通に生活できていた認知症*の方が、施設に引っ越してしまうと、途端に生活できなくなってしまうという話がありますが、それはおそらく、空間に埋め込まれていた自分の身体性が壊れてしまうからだと思います。
だとしたら、自分の家を空間として記録し、それを空間コンピューティングによって再現することで、物理的なケアが受けられる場所に移っても自然に生活できる手助けをできるかもしれません。
*認知症
現在、日本には約600万人の患者がいるとされ、今後も増加すると予測されている。
【事例_4】空間といえばスポーツ!
うちの研究室の博士課程学生・川崎仁史さんらの「けん玉できた!VR*」がまさにそうだったのですが、空間コンピューティングの世界を経由することで、学習やトレーニングのショートカットが可能になると思います。とりわけ、身体を使った技能の習得やリハビリに向いていると思いますし、低遅延のデバイスが広まれば、スポーツのトレーニングやARスポーツ*的なものにも向いてくると思います。スポーツこそ、空間を使う行為ですからね。
*けん玉できた!VR
VR空間において玉の速度を調整することで、現実では再現できない「スローモーションでの練習」を可能にしたけん玉練習ツール。開発はバーチャルテクノロジーで身体の動きをデータ化し、社会実装を進めるイマクリエイト。体験者1,128人のうち1,087人(96.4%)が、いままで成功したことがない難度の技を習得した。
*ARスポーツ
ARのみならず、人間の身体能力を補綴・拡張する人間拡張工学を自在に使いこなすことで、身体・道具・フィールドの拡張を起こし、「人機一体」の新たなスポーツを創造することを活動理念とする「超人スポーツ協会」の共同代表を、稲見は務めている。
【見解_1】実は「時空間コンピューター」ではないだろうか?
結局のところ、空間コンピューティングの本質は「空間と自分の間にコンピューターが入っている」ことだと思います。
コンピューターの世界は位置透過性(locationaltransparency)が高いので、そもそも「遠隔(テレ)」の感覚を発生しやすい。それに加え、空間コンピューティングの場合は「何かしらのインタラクション」を入れることができるので、時間方向や空間方向の伸縮をうまく使いながら、自分に最適化されたコンテンツの生成ループを重ねていく状態が進むと、そのうち「空き時間」や「暇つぶし」といった概念や言葉自体がなくなるかもしれません。
それが意味するのは、「人は主観時間(カイロス)を取り戻すことができるかもしれない」という点です。どうして人類は、ここ百数十年ずっと、がんばって同期しながら客観時間(クロノス)で生活していたんだろう……。これからは、「自分の時間」を取り戻すことができるんじゃないか……。そんな可能性を、空間コンピューティングは孕んでいるのかもしれません。空間をハックするのかと思っていたら、実は時空間をハックするものだったわけで、それを物理世界でできるのだとしたら、かなりおもしろいと思います。
【見解_2】探索すべきは「キラーライフスタイル」
「空間コンピューティング」と聞いて多くの人がイメージするのは、おそらく映画『マイノリティ・リポート』に出てきた「空中に投影された情報をジェスチャーで操作するアレ」ではないでしょうか。あの表現は、同作品のサイエンスアドバイザーを務めたジョン・アンダーコフラー*の発案で、すごくカッコいい──しかもトム・クルーズがやるのでよりいっそうカッコいい──のですが、よく指摘される通り、実際にやるとメチャクチャ腕が疲れてしまいます(笑)。
これまで、実世界において空間とインタラクションする方法*はレーザーポインター型かダイレクトマニピュレーションしかなかったわけですが、そこにようやく第三の方法が、しかも使いものになるレべルで出てきたという点がApple Vision Proが登場したひとつの意味だと思います。スマートフォンでは、ピンチやスワイプといったマルチタッチが登場したことで、ようやく物理ボタンを超えたインタラクションになりましたが、今後空間コンピューティングが使い込まれていくことで、「実空間より使いやすい」と感じる瞬間が、どこかで訪れるはずです。いまChatGPTに「そこらへんを掃除しておいて」と言ってもダメですが、身体性が入ることで「そこらへん」を指示できるようになる。インタラクションという意味では、そんな可能性が空間コンピューティングには備わっていると考えます。
最後に。本記事の冒頭で、「究極のディスプレイ」を提唱したアイバン・サザランドや彼を含む 「華麗なる一族」について触れましたが、ウェアラブルコンピューティングの草分けという観点から、サド・スターナー*の名前も挙げておきたいと思います。MITメディアラボ出身で、現在はジョージア工科大学で教授をしている人物です。ウェアラブルコンピューターの世界では、よく「キラーアプリケーションは?」といった訊かれ方をするのですが、それに対してスターナーは「そういう捉え方自体が適切ではなく、ウェアラブル技術を切り開くのはキラーライフスタイルなんだ」と語っています。つまり、「ある技術」が実装された新しいライフスタイル自体を想定し、そのビジョンに基づいて技術や概念を拡めていくべきだ──というわけです。
空間コンピューティングには、これからのライフスタイルをさまざまに変えていく力が秘められています。例えば、コ・エマージェンスやコ・クリエイションといった創発的・共創的アプローチを取る際の新たな「思考のスケッチツール」になりえると、わたしは思っています。かつてアラン・ケイがダイナブック構想で提示したように、情報や思考を増幅して(領域展開よろしく)空間展開できるツール、といったイメージです。
あるいは映画『マルコヴィッチの穴』*のように、ある人の主観的体験自体をコンテンツ化しやすくなる気がします。過去にはGOROmanさんの「オキュ旅」*みたいなプロジェクトもありましたが、例えばアイドル本人の解説付きでやったりすると、メチャクチャ課金化しやすくなるはずです。さらにAIによるサマライズまでやっていくと、複数人の生活を同時に体験、つまり映画『君の名は。』*的な生活を体験することも可能かもしれません。完全な視聴覚交換だけではなく、視聴覚シェアやお互いがサマライズできたりするという意味では、いわゆるテレプレゼンスとはちょっと違う、ジャックイン*的な話になってくる、という見方もできます。
今後、空間コンピューティングという技術や概念がわれわれの生活空間をどう変えていくのか、正確な予測はつきかねます。だからこそ、研究者や技術者に限らず、いろいろな立場の人たちがその可能性(≒キラーライフスタイル)を空想してみることが、技術面や文化面、ひいては経済面において新しい価値を生み出す、何よりの近道になるのではないかと思います。
*ジョン・アンダーコフラー
1967年米国ペンシルヴェニア州生まれ。99年、MITメディアラボにて博士号を取得。2006年に共同設立したOblong Industriesにおいて、「G-Speak」と名付けられたジェスチャーベースのインタラクティブなオペレーティングシステムを開発。
*空間とインタラクションする方法
空間インタラクションの草分けは、MITメディアラボの前身であるアーキテクチャーマシン・グループが1980年に発表した「Put-That-There」システムだとされる。同システムは、音声認識とジェスチャーを組み合わせることで、ユーザーがコンピューターに対して物理的なオブジェクトの配置を指示できるように設計されていた。
*サド・スターナー
1976年米国マサチューセッツ州生まれ。ヒューマン・コンピューター・インタラクション(HCI)の先駆者として知られ、Google Glassの開発において中心的な役割を果たした。
*『マルコヴィッチの穴』
「俳優ジョン・マルコヴィッチ」のアタマの中に15分間だけ潜入できる不思議な穴を発見した主人公(ジョン・キューザック)たちをめぐる悲喜劇。監督はスパイク・ジョーンズ。1999年公開。
*GOROmanさんの「オキュ旅」
コンシューマー向けVRヘッドセットの先駆けOculus Riftの伝道師を自任するGOROmanが2014年に企画したイべント。宮古島への二泊三日の旅を360度カメラ映像+バイノーラル録音で記録し、そのデータを配布することで、「他人の旅行をバーチャルに追体験する」可能性を模索した。
*『君の名は。』
ある朝、都心に暮らす男子高校生の瀧と、片田舎に暮らす女子高校生の三葉は、お互いの身体が入れ替わった状態で目覚める。その後も、週に何度か「入れ替わり」が起こるのだが……。監督は新海誠。2016年公開。
*ジャックイン
ウィリアム・ギブスンのサイバーパンク小説『ニューロマンサー』(1984年)において重要な役割を果たす、仮想現実世界やコンピューターネットワークに直接接続する行為。登場人物たちは、神経インターフェイスを通じて広大なサイバースペースに「ジャックイン」することで、物理的制約から解放された情報空間を探索する。
稲見昌彦|MASAHIKO INAMI
東京大学総長特任補佐・先端科学技術研究センター身体情報学分野教授。博士(工学)。JST ERATO 稲見自在化身体プロジェクト研究総括。自在化技術、人間拡張工学、エンタテインメント工学に興味をもつ。米『TIME』誌Coolest Invention of the Year、文部科学大臣表彰科学技術賞(研究部門)などを受賞。超人スポーツ協会代表理事、情報処理学会理事、日本バーチャルリアリティ学会理事、日本学術会議連携会員等を兼務。著書に『スーパーヒューマン誕生! 人間はSFを超える』〈NHK出版新書〉、『自在化身体論』〈NTS〉ほか。
※雑誌『WIRED』日本版 VOL.53 特集「空間コンピューティングの“可能性”」より転載。
雑誌『WIRED』日本版 VOL.53
「Spatial × Computing」
実空間とデジタル情報をシームレスに統合することで、情報をインタラクティブに制御できる「体験空間」を生み出す技術。または、あらゆるクリエイティビティに2次元(2D)から3次元(3D)へのパラダイムシフトを要請するトリガー。あるいは、ヒトと空間の間に“コンピューター”が介在することによって拡がる、すべての可能性──。それが『WIRED』日本版が考える「空間コンピューティング」の“フレーム”。情報や体験が「スクリーン(2D)」から「空間(3D)」へと拡がることで(つまり「新しいメディアの発生」によって)、個人や社会は、今後、いかなる変容と向き合うことになるのか。その可能性を、総力を挙げて探る!詳細はこちら。