現実はどこまで完璧にシミュレートできるのか？

昨年の秋のある暖かな日、ビデオゲーム会社Quixel（クイクセル）でテクニカルアーティストとして働くスティーヴン・キャロンがオークランド・ヒルズにあるセコイア林の端に立っていた。「目を寄せて、視界を少しぼやけさせて、ここに何があるのかを感じてください」。キャロンが説明した。輪を描いて並ぶ木々、数本の丸太、木製の柵、それから傾けた棒でつくった先住民のテントのようなものがふたつあった。Quixelはデジタルアセットを創造および販売している。デジタルアセットとは、ビデオゲーム、映画、テレビ番組などの背景や印象を構成するオブジェクトやテクスチャ、あるいはランドスケープのことだ。同社の控えめな使命は「世界をスキャンする」。

過去数年、キャロンらは全世界を旅し、20世紀前半に存在していた自然環境や人工環境のデジタルアーカイブを作成してきた。スウェーデンの氷の壁、パキスタンの低木林にある砂岩、日本の木造寺院の扉、ポーランドのボシュクフ宮殿の天井装飾などだ。その日の午後、キャロンはセコイアの木をスキャンするつもりだった。理想的なデジタルアセットは象徴的ではあっても、決して個性的ではない。理論上、それらはスタンプのように何度も繰り返して使う。つまり、1本のセコイアを再利用することで森全体を表現できる。「もっと普通の木を考えて」。キャロンはまわりを見回しながら言った。わたしたちは木立を低解像度で眺めた。

Quixelは、大人気マルチプレイヤーゲーム『Fortnite』で最もよく知られる巨大企業エピックゲームズの子会社だ。しかし同社にはもうひとつの主力製品がある。「Unreal Engine」と呼ばれる「ゲームエンジン」、つまり、ゲームをつくるために使われるソフトウェアのフレームワークだ。

ビデオゲームはこれまでずっとリアリズムを目指してきた。そして、過去30年を通じて、ゲームエンジンは高度に洗練され、いまでは現実と見間違うほどリアルなグラフィックと実世界同様の物理を模倣できるまでになった。動物は動物らしく動き、雲は影を落とし、雪は多かれ少なかれ、予想どおりの降り方をする。音は跳ね返り、光よりもゆっくりと移動する。ほとんどのゲーム開発者はUnrealやそのライバルのUnityなどといったサードパーティー製のエンジンを利用する。

ゲームエンジンはほかのタイプの空想世界の開発にも使われ始め、ある意味、目に見えないインフラストラクチャとしても利用されるようになった。『バービー』、『ザ・バットマン』、『トップガン・マーヴェリック』、『フェイブルマンズ』など、最近の映画はUnreal Engineを使用してバーチャル背景を作成している。2022年、エピックゲームズはセサミワークショップに対して『セサミストリート』用のセットをスキャンする許可を与えた。建築家はUnrealを使って建物のモデルを作成しているし、NASAは月の表面を描画するのに同エンジンを使っている。アマゾンの倉庫労働者の一部は、ゲームさながらのシミュレーションを通じて、トレーニングを受けている。

このように、仮想現実（VR）アプリケーションのほとんどで、ゲームエンジンが欠かせない存在になっているのだ。「本当にそういう時代になったのです」。エピックゲームズの創業者にして最高経営責任者（CEO）でもあるティム・スウィーニーは言う。「当時のわたしたちがちっぽけな『ゲームエンジン』と呼んでいたものが、現実をシミュレートするエンジンに成長しました」

実写版『ジャングル・ブック』から『マンダロリアン』シリーズまで

創業時、Quixelはデジタルモデル用のテクスチャ作成においてアーティストを支援することを使命としていた。これは、歴史的に見て手先の器用さが求められる作業だった（インターネット上では、「テクスチャ考古学」と呼ばれる小さなサブカルチャーが形成されていた。1996年にリリースされた『スーパーマリオ64』では、表面の光の反射を効率よくレンダリングすることが不可能だったため、マリオがかぶっていた金属の帽子のテクスチャとして、青空を背景に花を魚眼レンズで撮影した低解像度画像が利用されていた。その画像が光沢の錯覚を生み出した）。そうこうするうちに、高解像度の写真を使うことで、最高のグラフィックが得られることが明らかになった。

11年、Quixelは実世界のオブジェクトや風景の3Dイメージを撮影し始めた。同社はそれを「メガスキャン」と呼んだ。「そうやって、われわれは実世界のデジタル化という作業をマスターしました」。Quixelを共同創業したテディ・バーグスマン・リンドはそう語る。個人的には、アイスランドのデジタル化が楽しかったそうだ。「火山からなる広大な風景は、完全に不毛で、荒涼としていて、まるで異世界のようでした。そこでは、真っ黒な火山岩、ほかのどこでも見たことのないような鮮やかな赤、完全に苔で覆われた大地、そして氷河にいたるまで、ひとつの環境にすべてが共存しているのです」。そして、こう付け加えた。「スキャンすべきものが山ほどありました」

現実世界のデジタル化という作業には、現実世界ならではの退屈さが伴う。立体モデルの作成にはLiDARと写真測量法が用いられる。ひとつの対象物の写真を何百何千枚も撮影し、それをつなぎ合わせてデジタルのかたちで複製する。セコイア林で機材をセットしたキャロンはわたしに、先週末は「ゴミ収集ボックス」の上で、下で、そして中で長い時間を過ごしていたと話した。違法投棄を証明するためではない。あらゆる角度からそれを撮影するためだ。このプロセスでは、およそ9,000枚の写真をとった（「急ぐ必要がありました」と彼は言った。「人々が勝手にゴミを捨てていくからです」）。

植物や葉はもろく、揺らぎやすく、撮影に適した期間も短いため、専用の植物スキャナーが必要になる。もっと大きなもの、例えば崖の表面などは、ドローンを使ってスキャンする。剣など、反射する物体ではレーザーが欠かせない。リンドはテクスチャをアップで見るのが好きだそうだ。「スキャンしてみると、金属は実は真っ黒なんです」とリンドは言う。「色の情報は一切ありません。そのため、美しいキャンバスになります」

Quixelのデジタルアセットのほとんどは、旅を通じて制作される。それには撮影許可を得なければならないこともあり、何カ月も前からの周到な計画が欠かせないし、技術に精通するアーティストが、ウェアラブルデバイスやカメラ、ケーブルなどといったスキャン装備を携える必要もある。キャロンは2回アイオン・スワンプへ行った。サウスカロライナ州チャールストン郊外にある以前は水田だった場所で、水面から頭を出している石筍のような膝ほどの高さのヌマスギの株、通称「サイプレス・ニー」をスキャンするためだ。「気味の悪い見た目をしています」とキャロンは言う。「不気味な沼地を再現したいのなら、サイプレス・ニーがうってつけです」

現在、同社は巨大なオンラインマーケットプレイスを運営していて、そこではデジタルアーティストたちが、バナナ、こん棒、ハマカンザシの花、タイ沿岸のサンゴ、馬のフンの破片などといった小道具や環境要素などのスキャンデータを共有およびダウンロードできる。そうした素材のうち、サビや歪みのあるキャビネット、鎖、木箱、27種の血痕（血だまり、血の模様、「高速飛沫」）などを含む厳選されたものには「食肉処理場」のラベルがつけられている。「中世の晩餐会」とラベルづけされたセットには、さまざまな雑貨に加えて、焦げたカブ、ラム肉、木製の器、さまざまな大きさの食べかけのポークパイなどが含まれる。スキャンデータはとても詳細で、子豚の丸焼きを見たとき、皮膚は熱で焼かれ、肘のあたりで裂けていて、わたしは本当に吐き気がした。

そうしたアセットはビデオゲーム、建築のレンダリング、テレビ番組、映画などに利用される。Quixelのスキャンは2016年の実写版『ジャングル・ブック』で生き生きとした豊かな背景を構成していたし、もっと最近では、『マンダロリアン』シリーズを観ていたときに、キャロンはモアブで自分がスキャンした岩場が使われていることに気づいた。個性的なアセットは、目立ちすぎるリスクがある。例えば、Quixelがスキャンした葉を失った樹木の画像はいわばミームのような存在になり、新しいゲームでそれが見つかるたびに、ゲーマーがわざわざツイートするほどになった。オークランドで、キャロンは木製の柵をスキャンしようとしたが、「DAN」とグラフィティが施された部分は除外することにした。あまりに個性的だと思えたからだ。

それからしばらくして、キャロンは条件に合うセコイアを探し始めた。視覚効果の仕事を続けるうちに、彼は世界を見る目が変わっていった。「物事を違った見方で眺めるように訓練されていくのです」とキャロンは説明する。「曇り空を20回もスキャンしたら、雲を見ずにはいられなくなります。完璧な雲を探してしまうのです」。キャロンは木の下の地面をよく見るために身をかがめ、目立つ緑色をした針葉を払いのけた。キャロンの同僚たちはすっきりとしたイメージを得るために、芝生を整えたり、木の枝を折ったりすることもある。しかし、30代後半でサウスカロライナ州の森を探索して育ったキャロンは、人間が手をつけないアプローチを好む。

スキャン用の装備を背負い、それを固定するために腰のベルトに引っかけ、大きなデジタルカメラを手に取った。カラーキャリブレーション、スケール、撮影距離などをセットしたのち、目当てのセコイアの木のまわりをゆっくりと回りながら、メトロノームのようにリズミカルにシャッターを押す。1時間が経ち、光の条件が理想的ではなくなった。自宅へクルマで向かう道中、わたしは誰からも気づかれない場所でそれほどまでに労力をかけてセットが作成されているという事実に思いを馳せた。誰があのポークパイを焼いたのだろうか？

「これをレンダリングできるはずだ」

エピックゲームズCEOのスウィーニーは、テック企業の創業者に典型的な背景──大学中退、両親の家の地下で創業、体を壊してもおかしくないほど過酷な労働──をもちながら、世間的には引きこもりのクイズ番組出演者ほど地味な存在だ。53歳で、とてもプライベートな生活を送っている。70年代風のアビエーター眼鏡をかけ、まるでインターンのように会社ロゴ入りの服を着ている。言葉遣いは優しく、頻繁に「awesome（すばらしい）」と言い、そのツイートを読むと、彼にはコミュニケーションのアドバイザーがいないか、あるいは自分の聴衆に関する深い理解が欠けていると思える（「イーロン・マスクは火星に行くのに、わたしはここでシングルスレッドのJavaScriptコードでレースコンディションをデバッグしている」）。速いクルマとレストランチェーン「ボージャングルズ」のチキンが好きだ。去年は独占禁止法違反でグーグル相手に勝訴した。エピックゲームズは非公開企業で、時価総額は現在のところ220億ドル（約3兆4,600億円）と見積もられていて、スウィーニーが支配株主と報じられている。

今年の春の初め、わたしが取材したとき、スウィーニーはノースカロライナ州ローリーの自宅で、Unreal EngineロゴのTシャツを着て、ポパイズのソーダを飲んでいた。彼の後ろには、ヤマハの最高級キーボードが2台並んでいた。わたしたちはビデオチャットをしていたのだが、彼の部屋の照明はひどいものだった。話しているあいだ、彼は細かく震えていた。貧乏揺すりをしていたのだろう。ソーダの影響かもしれない。「たぶん、わたしたちが生きているあいだにも、コンピューターが現実とまったく区別できないイメージをリアルタイムで生成するようになるでしょう」と、スウィーニーはわたしに語った。この主張に関しては、同社がまだ生まれたばかりのころに、業界で盛んに論じられていた。「当時からそう予測できました」と彼は言う。「そしていま、それが始まりつつあります」

スウィーニーはメリーランド州のポトマックで育ち、9歳の頃にちょっとしたコンピューターゲームを書き始めた。高校を卒業後、メリーランド大学に入学し、機械工学を学ぶ。ずっと学生寮に住み続けたが、週末はコンピューターのある実家で過ごすことが多かった。1991年、『ZZT』というテキストベースのアドベンチャーゲームを創作した。プレイヤーは独自のパズルをつくることも、代金を払ってアドオンを手に入れることもできた。アドオンはスウィーニーがフロッピーディスクの形で発送した。このゲームは予想外のヒット作になった。そこで、彼はポトマック・コンピューター・システムズという名の会社を立ち上げた（じつはコンサルティング会社を始めるつもりで、すでに会社の備品も買っていたのだが、その会社につける予定だった名前を使った）。拠点は両親の暮らす実家だ。国防総省に地図を提供していた父親が、同社の財政を管理した。

その後、スウィーニーは社名をエピック・メガゲームズに変える。彼の耳にはそのほうが威厳あるように聞こえたからだ。そして、数人の従業員を雇い入れた。そこには、当時まだ10代だったゲームデザイナーのクリフ・ブレジンスキーも含まれていた。「多くの点で、わたしにとってティム・スウィーニーが父親のような存在でした」とブレジンスキーがわたしに語った。「彼がわたしに道を示してくれたのです」

スウィーニーの手本はイド・ソフトウェアという名の会社だった。93年イド社は『Doom』をリリースした。たくましいスペースマリーンが火星の月や地獄で戦う一人称視点のシューティングゲームだ。『Doom』はグロくて、細部までつくり込まれていて、そして何より高速だった。このゲームの開発者は軍事研究を大いに参考にした。しかも、イド社は普通ではありえないような行動に出た。『Doom』の「エンジン」、つまり同作品の根幹をなすコードをリリースしたのだ。それまでは、ゲームというものはその都度ゼロから開発するのが普通で、開発会社はコードを独占的に保持していた。キャラクターをかがませたり、ジャンプさせたりする方法を知っているだけで、他社に対して優位に立てた。

インターネットでは『Doom』の「MOD」が急増し、多くのゲームスタジオが『Doom』のアーキテクチャを利用して新しいゲームを開発した。そうした作品は、構造上はどれも大差なかった。『Heretic』はアンデッドを相手に戦うファンタジー系一人称シューティングゲーム、『Strife』はロボットを相手に戦うファンタジー系一人称シューティングゲームだった。しかし、そうした作品はゲーム開発において、新たなメソッドと哲学が受け入れられたことの証明だった。スタンフォード大学でビデオゲームの歴史を研究するヘンリー・ローウッドがわたしに指摘したように、「ゲームエンジンという考え方は、『ぼくたちがつくっているのは、この技術だ。さあ、使ってくれ』」だった。

スウィーニーは、自分なら同じことがもっとうまくできると思った。そこでまもなく、独自の一人称シューティングゲーム（FPS）を開発し、それを『Unreal』と名付けた。彼は、影と光の関係を深く理解するために、参考書や写真をよく眺めていたと回想し、こう説明する。コンピューターグラフィックス（CG）について何時間も考え続けていると、それが「人生にとって避けられないテーマになってしまう。夜、暗くなった外を歩いていて、雨も降っている。路面に反射する街灯の明かりが目に入り、そこにはさまざまな色のグラデーションがあることに気づくと、これをレンダリングできるはずだ、と考えてしまう」そうだ。『Unreal』はすばらしい出来栄えだった。水は透明で、炎は本当にランダムに揺らめいているように見えた。同ゲームのスクリーンショットが公開されてから実際にリリースされるまでの期間ですでに、外部のゲーム開発者がスウィーニーに、彼のゲームエンジンを使わせてくれと問い合わせてきた。

99年、同社はノースカロライナ州に移転した。まもなく、ハリー・ポッターのPCゲーム、あるいは米軍が徴兵目的で開発したマルチプレイヤーゲームの『America’s Army』でUnreal Engineが使用された。「計画は、誰に対してもエンジンをライセンスすることだった」と、のちにブレジンスキーが回顧録に書いている。「これでエピックに無制限の新しい収益源が生まれるだろう……ボロ儲けだ！」。その後、同社はレンダリング時間とライティング性能を改善した。キャラクターが影を落とすようになった。滝を再現する新たなシステムでは、滝つぼから跳ね上がる霧状のしずくまで表現できるようになった。泡ははじけるとすぐに消えるのではなく、小さな破片として飛び散った（同じ仕組みがキャラクターと武器の衝突にも応用され、致命傷を受けたキャラクターは消えることなく、倒れたり、飛散したりするようになり、ゴア描写がより過激になった）。

ゲーム開発者にとって、ポリゴンはとても重要だ。通常は三角形のポリゴンが、ほぼありとあらゆる3Dグラフィックで構成要素として用いられる。レンダリングに用いられるポリゴンの数が多ければ多いほど、グラフィックは詳細になる。エンジンの進化により、テクスチャやキャラクターに組み込めるポリゴンの数が飛躍的に増えた。「それが可能だと知っている人間は地球上で自分だけかもしれない、というのは本当に信じられない感覚です」。スウィーニーはブレークスルーについてそう語った。「そしていま、自分はそれをコンピュータースクリーンに映し出して、実際に作業している。数年後には、誰もがこれを知り、使っているだろう。最後には教科書に載って、子どもたちに教えられることになる」。現在のUnreal Engineのユーザーインターフェイスは、写真や映像の編集ソフトウェアに似ていて、「三人称シューティングゲーム」「横スクロールゲーム」などといったテンプレートも提供している。

昨年、サンフランシスコで開催された毎年恒例のゲーム開発者会議「Game Developers Conference（GDC）」で、エピックゲームズはUnreal Engineのアップデートを発表した。黒のラルフ ローレンに『Fortnite』のパーカを合わせたスウィーニーが発表会冒頭の挨拶を述べた。続けて同社幹部が、緑豊かな森の道なき道をEVトラックで走るインタラクティブなシーンを使いながら、エンジンの新機能──ほぼ写実的な木の葉や改善された流水シミュレーションなど──を披露した。鳥がさえずる渓谷をトラックが轟音を立てて突き進むと、クルマのエンジンがうなった。トラックのサスペンションの動きに合わせてタイヤが弾む。払い落とされた木の葉が後ろへ流れていく。岩が横へ弾けた。ひらひらと舞う木の葉を見て、人々が拍手した。トラックが水たまりを進むと、タイヤが水を噴き上げた。わたしの横に座っていた男性が思わず声を漏らした。

エピックゲームズのデモはシステム要件が高いため、平均的なノートパソコン上では動作が遅く、カクツキが生じるだろう。『Fortnite』を含め、ほとんどのゲームは依然として様式化されたままだ。「最終的な目標は、不気味の谷を越えること。つまり、これはフェイクだと言えないほどのクオリティのCGで人間を再現することです」。ブレジンスキーがわたしに説明した。「ある意味、ティム・スウィーニーと彼のチームは神を演じているのです。わたしはアーティストですが、もし神が存在するなら、創造することこそが、神を称える方法だと確信しています。神こそが最初の創造主だとされているのですから」。そしてブレジンスキーはミュージカル『レント』から歌詞の一節を引用した。「戦争の反対は平和ではない、創造だ」

「もしかすると、ティム・スウィーニーは神さまコンプレックスを患っているのかもしれません」。ブレジンスキーはそう言ったが、スウィーニーには並外れた集中力があるだけなのかもしれないとも付け加えた。「たぶん、彼は結婚したことがないと思います。彼にとってはエピックが家族、エピックが旅なのでしょう」。さらにこう続けた。「彼はゲーマーですらありません。確かに、『Fortnite』は大ヒットしていますが、彼の最終目的はゲームエンジンだと思います」

もはやゲームではなくシミュレーション

ノースカロライナ州ケーリーにあるエピック本社は、補給ラマ（『Fortnite』に登場するメキシコのピニャータのような紫色のキャラクター）が飾られているだけでなく、ロビーには大きな金属の滑り台があって、それを滑ると、ベレー帽と未来的なアーマーを身につけた『Unreal』シリーズ登場人物の像（ほぼ2階分の高さ）の足元に出る（昨年、同社は従業員の16％を解雇した。スウィーニーは、会社が得る収益よりも支出が多いパターンを指摘した）。

現在でも、『Call of Duty』シリーズを開発しているアクティビジョン・ブリザードなど、いくつかの主要ゲームスタジオが独自のゲームエンジンを使っている。だが、ほとんどのスタジオはUnityやUnrealなどのエンジンを利用している。最近では、『Halo』、『Tomb Raider』、『Final Fantasy』など、一連の大型予算タイトルが独自のエンジンをUnreal Engineで置き換えた。「これはゼロサムゲームです」と語るのは、『Tomb Raider』を開発するクリスタル・ダイナミクス社のエグゼクティブプロデューサーであるベン・アーヴィングだ。「エンジン会社になりたいか？ それとも、ゲーム開発会社になりたいか？」

多くのゲームエンジンでは、物理エンジンが最重要要素となる。わたしたちが物理世界について知っているあらゆることを数学的にモデル化した産物のことだ。強い風は、速度を利用してシミュレートできる。泡のアニメーションには表面張力を応用する。昨年、エピックゲームズは『Lego Fortnite』をリリースした。プレイヤーが自らレゴを組み立てられる──そしてダイナマイトで爆破もできる──家族向けのゲームモードだ。ゲームの見た目はマンガっぽくなっているが、そのメカニズムは現実に基づいている。「建物が崩壊するとき、それがどんな様子であるかは、誰もが知っています」。エピックゲームズの幹部のひとりであるサックス・パーソンがわたしに説明した。「とてもそれらしく見えます。質量が正確だからです。衝突規模が正確だからです。重力が正確だからです。これは本当に難しいのですが、摩擦も加味されています。風も、地形も、それらすべてが完璧でなければなりません」。それどころか、このゲームではレゴのブロックを分解するときの抵抗力、いわば誰もがもつ筋肉記憶でさえ、シミュレートされている。「すべては数学です」と、パーソンは言う。

しかし、いまだにシミュレーションが困難な対象もある。例えば、海のシミュレーションは川やスイミングプールのシミュレーションとは大きく異なるため、水のレンダリングに関してはさまざまな方法が提案されているが、いずれにしても、浮力や波、あるいは流れを扱うのはとても難しい。「流体をシミュレートするナビエ・ストークス方程式は、数学の世界で知られるミレニアム懸賞問題の未解決の6つの問題のひとつです」と、エピックゲームズのデジタル・ヒューマン・テクノロジー副社長のウラジミール・マスティロヴィッチが、これまで多大な努力にもかかわらず人間にはまだ解決できていない数学問題を引き合いに出した。

雲も扱いがたい。布も、伸縮性があり、予測不可能な形で柔らかく曲がったり、しわをつくったり、大きくうねったりするため、正しく再現するのが難しいことが知られている。連鎖反応もシミュレーションに向いていない。「森の木を切り倒したら、それがほかの木にぶつかって跳ね返り、さらにほかの木に当たり、折れたり粉々になったりする可能性があります」。同社で最高技術責任者を務めるキム・リブレリは説明する。「このレベルのシミュレーションを実現するのは、現状ではとても困難です」。ほんのちっぽけなしぐさでさえ、頭痛の種になることがある。「手で髪をかき上げるしぐさも、解決するのが極めて難しい問題です」と、リブレリは言う。「わたしたちは髪を揺らしたり、伸ばしたりするのに物理シミュレーションを使っていますが、これはほぼ分子レベルの話です」（ゲームのなかには、髪に似たテクスチャの布シートを使って頭髪をシミュレートしているものもある）。

この例からもわかるように、人間を写実的にシミュレートするのは信じられないほど難しい。「流れの動きや炎の揺らめき、そのほか実世界で見られる多くの現象を解決するためには、数学を総動員するしかないのです」とスウィーニーは言う。「方程式を解けるだけの演算能力さえあれば、それらを解くことはできます」。しかし、わたしたち人間は、これまでの進化と認知能力から、ほかの物事がどう見え、聞こえ、動くべきかという点を直感的に理解している。「人間をシミュレートするためにどんな方程式を解けばいいのかさえ、いまだにわかっていないのです」とスウィーニーは言う。「まだ、誰もその方程式を発明していません」

エピックゲームズの「MetaHuman Creator」はフォトリアリスティックなアニメーションアバター（メタヒューマン）を作成するためのツールで、それを使えば「高度に詳細なデジタルヒューマンを簡単に作成できる」そうだ。「すべてのデータを得るために、かなりの苦労を積み重ねました」と、マスティロヴィッチは言う。モデルを作成するために、同社はある俳優の全身をMRIにかけて骨と筋肉をスキャンしたのち、その俳優に数百台のカメラで取り囲んだステージに立ってもらった。皮膚組織をキャプチャーするためだ。表情の変化をシミュレートする目的では、研究者が俳優の舌と歯にセンサーを設置し、頭には電磁場を置き、彼が話しているときの口の動きに関連するデータを集めた。

MetaHuman Creatorはスキャンした人間のデータベース、いわば人間の素を利用して、極めて詳細なバーチャル人間モデルを生み出す。それらはゲームのサブキャラクターとして利用されることが多い。いまのところ、そうしたアバターの動きはまだ完璧にはほど遠い。滑らかすぎるしメリハリがない。口の動きはぎこちないし、アイコンタクトが不得手で、落ち着きがない。最近、MetaHuman Creatorを起動したとき、デフォルトのメタヒューマンであるローズマリーがスクリーンに現れて、まばたきをしながら、頭をゆっくりと前後に動かした。ローズマリーは色白で、目が青く、目の下が少し黄色がかっている。最近あまり日光を浴びていないように見える。わたしは彼女に少し赤みを足した。スライダーを使って、目の色、瞳の大きさ、角膜輪部の濃さを調節し、歯を少し長くしてプラークを増やし、そばかすを足す。感情のリストから「幸せ」を選ぶと、ローズマリーは微笑み、頭をさまざまな方向へ傾けた。まるで、戴冠式の行列にいる王族のようだ。髪型を「ペニーワイズ」にする。そのとき、夫が部屋に入ってきて言った。「何だそれ？」

Unreal Engineでつくられた『Fortnite』は月間プレイヤー数1億人を誇り、もはや文化現象だ。最も人気なゲームモードはバトルロイヤルで、そこではプレイヤーが武器で互いを攻撃する。しかし、もっと社会的なモードもある。いまや『Fortnite』内ではライブコンサートが開催され、数百万もの人々が参加している。店では、実在する人々が実際のお金で、自分のバーチャルアバターのためのバーチャルグッズを買うことができる（昨年エピックゲームズは、未成年者のプライバシーを侵害し、望まない購買に誘導したという理由で訴えられ、連邦取引委員会を相手に5億ドルを支払って和解した）。トレバー・ノアが主催するコメディクラブも、ホロコースト博物館もある。

2月、ディズニーが15億ドルを投じて、エピックの株式の9％を取得した。ディズニーのCEOであるボブ・アイガーは、『Fortnite』内にディズニー・ユニバースを立ち上げる構想を発表した。そこではプレイヤーがディズニーの知的財産と交流できる。エピックは『Fortnite』を「プラットフォーム」と解釈し、プレイヤーに独自のデジタルアセットを創造、構築、そして販売するよう勧めている。写真測量アプリを使えば、椅子、ブラウス、どんぶりなど、日常のアイテムをアセットにすることができる。理屈では、自分が使っている歯の矯正用固定具のデジタルアセットをつくり、それをほかの「クリエイター」に売って、その人の仮想のベッドサイドテーブルに置き、後のことは知らぬ存ぜぬで過ごすことも可能だ。

マスティロヴィッチは、将来的には自律的なキャラクターの作成にもメタヒューマンが利用される日が来ると示唆する。「つまり、事前に記録された一連のアニメーションではなく、誰か特定の個人をシミュレーションしたキャラクターになるでしょう」。そして、ザ・ロックことドウェイン・ジョンソンのシミュレーションはおもしろいだろうし、人々は自分のデジタルコピーをつくって、それの使用ライセンスを売ることで、収入を得るようになるかもしれないと語った。

マスティロヴィッチのチームは頻繁に「マジックミラー」というアイデアを話題にする。自分自身をバーチャルな形で視覚化し、変化させ、探索する方法のことだ。「もし自分がいまよりも10キログラム太っていたら、あるいはやせていたらどうだろう？」マスティロヴィッチは言った。「もっと自信がもてたら？ もっと年をとっていたら、あるいは若かったら？ 自分はどう見える？」。そしてこう付け加えた。「もし、物事が本当にリアルになれば、つまりフォトリアルかつ真にインタラクティブになれば、わたしたちがいま使っているメディアよりもはるかに多くのことができるようになります。それはもはやゲームではありません。代替現実のシミュレーションです」

「バーチャルプロダクション」の普及

ビデオゲーム業界とハリウッドはすでにずいぶん前から協調関係にあったが、最近では境界線があいまいになってきた。00年代半ばに映画『アバター』の制作を始めたころ、監督のジェームズ・キャメロンは従来のグリーンスクリーンを「バーチャルカメラ」と呼ばれる新技術で置き換えると発表した。センサーを仕込んだボディスーツを着た俳優がモーションキャプチャー・サウンドステージ上で演技を行ない、俳優の顔と身体のビデオをゲームエンジンに似た独自開発のソフトウェアに入力する。特殊なカメラを使うことで、キャメロンはリアルタイムで、コンピューターが生成した緑豊かな惑星パンドラを背景に俳優が演技している様子を見ることができた。

「宇宙空間を飛ぶのも、視点を変えるのも、思い通りにできる」と、キャメロンが07年の『ニューヨーク・タイムズ』で述べている。「シーン全体を生き生きしたミニチュアに変えて、50分の1のスケールにすることも」。クルーはこの技術を「バーチャルプロダクション」と名付けた。撮影風景の記録映像のなかで、顔にセンサーをつけた俳優たちが明るく照らされたステージ上で弓矢を構えている。キャメロンの見るスクリーンでは、俳優たちはしなやかな青い体をしていて、尻尾をゆっくりと揺らしていた。

当時、映画制作にバーチャルリアリティを使うのは法外と呼べるほど高価だった。しかしここ10年ほどでLEDスクリーンの価格が下がり、販売されているゲームエンジンの質も向上したことなどが重なって、バーチャルリアリティが広く利用されるようになった。さまざまな映画制作技術に、「バーチャルプロダクション」という用語が使われ始めている。

最も一般的なのは、グリーンスクリーンの代替としての使用だろう。俳優は「ヴォリューム」と呼ばれるサウンドステージ上で演技することになる。このサウンドステージは背景の壁が湾曲していて、何千ものLEDパネルが組み込まれている。天井も同様だ。これらパネルに、山頂、砂漠、異質な惑星などの背景が表示されるのだが、それらはゲームエンジンで創作されていて、リアルタイムで調節が可能だ（このやり方は、20世紀の前半に普及していた俳優の背後に映像を投影する方法のアップデート版と言える）。グリーンスクリーンと違って、このやり方なら、俳優は自分が映画のなかでいる場所を見ながら演技できる。背景の世界がLEDパネルに表示されるため、グリーンスクリーンに特徴的な色合いも発生しない。カメラとエンジンは接続しているため、カメラが動くと背景の世界もそれに合わせて動く。まさにビデオゲームだ（『マンダロリアン』で撮影監督を務めたバズ・イドワーヌはパララックスと呼ばれるこの効果を「ゲームチェンジャー」と呼んだ）。

現在のところ、数百のバーチャル・プロダクション用ステージが存在している。イタリアの有名な映画スタジオであるチネチッタもそのひとつだ。イリノイ大学アーバナ・シャンペーン校で映画を研究しているジュリー・ターノック教授は、そうしたバーチャルな撮影方法が今後は「主流になる」と予想する。今年、ニューヨーク大学はジョージ・ルーカスが資金を投じ、マーティン・スコセッシにちなんで名付けられた新しい施設で、バーチャルプロダクションの修士課程を新設する予定だ。エピックゲームズとユニティはそれぞれのゲームエンジンに対して、エミー賞を受賞した。

21年、エピックゲームズはカリフォルニア州エル・セグンドにある大型の倉庫でショップを開いた。そこにはふたつのLEDヴォリュームがある。わたしが昨年訪問したとき、同社は映画カメラマン向けにワークショップを開催していた。人々はVRゴーグルをつけて、仮想環境を探索していた。ひとつのヴォリューム上では、夜明けを迎えるヒマラヤ山脈の180度パノラマ映像が映し出されていた。光は澄んでいて、冷たいとさえ感じた。バーチャルな山々に囲まれてステージの中央に立ったわたしは、目に見えるふたつのバーチャルなテントについて考えた。いったい、誰のものだろうか？

そう考えたということが、わたしがその体験に没入していたことを証明している。だが、この風景は実在したのだろうか？ それとも、ヒマラヤ風のコラージュなのか？ 雲は頭上を通り過ぎ、カラフルな旗が風にはためいている。だが、風を感じることはできない。数メートル離れた場所で技術者がいくつかのコマンドをコンピューターに入力すると、雲とステージがサンゴ色に変わった。夕暮れがやってきたのだ。「山をいくつか動かしてみせましょう」。技術者はそう言うと、雪に覆われた大地がセット上に浮かび上がった。

多くの場合、セット上でのバーチャルプロダクションのほうが、キャストを実際のへき地へ送り出すよりも安上がりで、安全でもある。「広大な地形をスキャンするためだけに、アイスランドやブラジルなど、実在する土地へ旅してきました」。ソニー・ピクチャーズ エンタテインメントが所有するバーチャルプロダクションおよびビジュアルエフェクト会社のPixomondo（ピクソモンド）で幹部を務めるアサド・マンゾールは説明する。「そのスキャンデータをUnrealに入力して、形を変えて、つなぎ合わせて、異世界の惑星をつくるのです」。その際、目指すのは「写真のようにリアルだが、見たことがない」何かである。

『スタートレック：ストレンジ・ニュー・ワールド』のようなシーズンもののドラマでは、セットをつくって格納庫に保管するよりも、クラウドに保管するほうが安上がりだ。いまでは、メタヒューマンのようなバーチャルキャラクターが群衆シーンで使えるほどになった。これは、昨年の映画スタジオと米国映画俳優協会のあいだで繰り広げられた交渉で、大きな問題となった点だ。わたしが話した何人かは、天気を心配しなくて済む点を利点として挙げた。結局のところ、バービーランドでは太陽がいつも輝いているのだから。この映画の場合、少女たちの一団が砂漠で派手な水着を着た巨大な人形に遭遇する『2001年宇宙の旅』のパロディ場面が、LEDヴォリュームで撮影された。背景のオリジナルが撮影されたのはモニュメントバレーなのだが、そこまで子役たちを実際に連れていくのは困難だったからだ。

立体的にモデル化したセットをバーチャルな形で視察することも含めて、事前映像化（プリビジュアライゼーション）にもゲームエンジンを利用できる。実際にセットを組む前に、仮想のモデルをつくることも増えてきた。「バービーランドで起こることのすべてに関して、わたしたちは視察目的でリアルタイムバージョンを技術的に制作しました」と、同映画でバーチャルプロダクション監督を務めたカヤ・ジャバーは説明する。エフェクト部門が小型のLEDヴォリューム上でモデル環境を再現し、監督のグレタ・ガーウィグと撮影監督のロドリゴ・プリエトが確認する。「彼女たちがファインダーや適切なレンズなどを持って歩き回り、本物っぽく見えるか？ ヤシの木は高すぎないだろうか？ などと感覚を掴むのです」とジャバーは言った。

モデルが現実に存在する場所であることもある。『デューン　砂の惑星PART2』の撮影前、撮影監督はワディ・ラム砂漠のモデルにメタヒューマンを散りばめ、そこで撮影手順を計画してから、のちにヨルダンで実際の撮影に挑んだ。わたしと話をしたとき、スウィーニーはスキャンデータがどれほど広く使われているか、しばらく考え込んだ。「どれも、それぞれ個別のプロジェクトに使われて、特定の企業の金庫に保管されています」と指摘したうえで、こう続けた。「でも、すべての3D地形データ、3Dオブジェクトデータを集めて組み合わせれば、現時点で全世界の10％はカバーしているはずです」

それにもかかわらず、バーチャルプロダクションには困難が伴う。ヴォリュームの大きさは限られているので、俳優同士の距離を保つのは難しい。一部の監督は「デジダブル」を利用している。俳優をスキャンしてつくったアニメーションのことだ。また、デジタルセットを実在するステージに組み合わせるのも簡単ではない。「スタジオでわたしたちは、ゲーム感覚で『シーム（継ぎ目）を探せ』と言っています」とマンゾールは説明した。「シームは絶対に見えてはならないものです」

だが、逆の問題も存在する。例えばマンゾールによると、『スタートレック：ディスカバリー』の第4シーズンでは、「あまりにもシームレスだったので、俳優のひとりが、実際のセットが続いていると考えて壁にぶつかりそうになった」ことがあるそうだ。イドワーヌはわたしに「ヴォリュームは特定の目的のために適したツールであって、すべての目的に適したツールではありません」と語った。

照明、風景、視覚効果に関する決断は、撮影後ではなく、撮影前に下されなければならない。19年、映画監督のフランシス・フォード・コッポラが79年からアイディアを温めてきた『メガロポリス』の制作を発表し、その際バーチャルプロダクションを利用すると宣言した。同映画は、大災害に見舞われたあとのニューヨークを再建しようとするアダム・ドライバー扮する建築家をめぐるSF叙事詩的作品だ。あるシーンのために、チームはクライスラー・ビルの頂点のレプリカを物理的に組み立て、そこから見下ろす都市景観をUnrealでつくった。視覚効果の監督を務めたマーク・ラッセルはドライバーについてこう語る。「彼は床から数フィートの高さしかないこのプラットフォームに立っているだけなのに、ニューヨークの景観に囲まれているんだ。本当に美しかった。彼がその景観内で活動するのを見るだけで、かなりの壮観だった」

しかし昨年、コッポラは視覚効果部門を解雇し、ヴォリュームに見切りをつけてグリーンスクリーンへ逆戻りした。「フランシスは、メガロポリスとはどういったものかを、いまだに定義できていなかった」とラッセルは言う。「このアイデアを40年以上温めてきたけど、未来がどうあるべきかという点で、まだ方向が定まっていないんだ」

視聴者が見たことのないファンタジー世界こそ、バーチャル・プロダクションが最も得意とする分野だ。「わたしたちは誰もが、実際の世界の物事がどう動くかを直感的に理解しています。そして、この種の現実感を創造するのはとても難しいことです」。視覚効果制作会社DNEGの代表であるポール・フランクリンは説明する。映画を研究するターノック教授は、視覚的なリアリズムは必ずしも「目が実世界で見ているもの」の模倣を意味しているわけではないと指摘する。彼女は、手ブレするカメラワークや、ほこりの微粒子できらめく光の筋などといった映画でおなじみの視覚効果を引き合いに出した。それらはリアリズムを追及するために用いられているが、多くの場合で余計だし、時には論理に反する場合もある（同じことがビデオゲームにも言え、ビデオゲーム内にはカメラはないのに、レンズフレアは存在する）。

ターノックは、そのような工夫は『スター・ウォーズ』シリーズを砂っぽく自然に見せようとした70年代から80年代にまでさかのぼると指摘する。「物事をリアルに見せるための一連の手順が生まれ、育てられてきました」。わたしには、リアルに見せようとする試みの一部が、あまりにもリアルなために、逆にフェイクでしかありえないと思えることがある。

エル・セグンドのエピック本社にあるステージのひとつに、大型のロフトのようなエリアが設置されている。わたしが訪れたとき、その空間はまるでドロップダウンメニューを使って家具を配置したような雰囲気だった。ふたつのグレーのソファ、前世紀半ばから飛び出してきたかのような革張りの椅子、ディズニーアニメーションの歴史を綴った『ディズニーアニメーション　生命を吹き込む魔法』やバーバラ・クルーガーの『Thinking of You. I Mean Me. I Mean You』（未邦訳）などといった書籍に加え、トロフィーや小物が置かれた本棚があった。本棚の横には、プラスチック製のゴムノキとプラスチック製の苔の鉢が並んでいる。「次第にデジタルファーストになってきました」。『ザ・バットマン』と『ライオン・キング』の実写版でプロダクションデザイナーを務めたジェームズ・チンランドがロフトに座ってわたしに言った。そして壁にあるポスターを指さした。映画『マトリックス』シリーズをモチーフに、エピックが制作したゲームから切り取った夜の街の風景だ。レンダリングは極めて詳細で、オフィスビルの窓を通して灰色の天井タイルが見えるほどだった。「もしこの情景を実際につくるとなると、大変な作業になるでしょう」

だがチンランドは、デジタル化が進むにつれて、「怠慢な映画制作」が行なわれるようになるかもしれないと危惧している。「観客は甘やかされて、そのうち飽きてしまうでしょう」と指摘する。そして、場合によっては業界の技術的進歩に対する反発が起こるかもしれないと指摘した。「パンクロック的な美学へ流れが戻るかもしれないと想像してしまうのです」。最近、よりアナログな技術が強調されることが増えてきた。映画監督のクリストファー・ノーランは新作の『オッペンハイマー』ではCGIを使っていないと宣伝した（例えば原子爆弾の爆発シーンは爆薬と燃料の入ったドラム缶を使って撮影した）。

関連記事：「AIは原子爆弾ではない」：クリストファー・ノーランが語る映画『オッペンハイマー』

チンランドはこの問題をクリエイティブなストーリーテリングと結びつける。「ドラゴンが飛び交い、火山が溶岩を噴き出す情景を実際に撮影することができないのなら、火口に立つナイトが見ている情景をどうやって観客に伝えればいいのでしょう？」とチンランドは問いかける。「そして、現実問題として、いまではそれをとても正確に、写実的に再現することが可能なのです。ですが、そのやり方がほかの何よりも優れているのでしょうか？ 必ずしも、そうではないのです」

ゲームとエクスペリエンスが結びつく巨大なプラットフォーム

いまでは、どこを見てもポリゴンが使われている。テスラはゲームエンジンを使って、路上の車両を上空から俯瞰するリアルタイム映像を車内ディスプレイに表示する。BMWはバーチャルな環境内のバーチャルな車両間でシミュレートしたシナリオから得たデータを使って自動運転ソフトウェアをトレーニングしている。バンクーバー空港当局はUnityを用いてつくった「デジタルツイン」に、実際の空港から集めたリアルタイムデータを組み合わせて安全性や運営シナリオを検証している。ディズニーランドの「スター・ウォーズ」ライドでは、訪問客が宇宙空間でミレニアム・ファルコンを操縦できるのだが、そこではUnreal Engineが使われているため、宇宙船はリアルタイムで反応する。

カントリーミュージシャンのブレイク・シェルトンは、昨年開催した「Back to the Honky Tonk」ツアーで、Unreal Engineでつくったホンキートンク・バーを想起させるバーチャルな背景、例えばシミュレートしたネオンサインやハイウェイ標識の前でパフォーマンスを披露した。韓国のあるエンターテインメント会社は最近、メタヒューマンで構成されるKポップ・グループ「MAVE」の結成を発表した。ミュージックビデオのなか、MAVEの4人のメンバー──胴長、光沢のある髪、ひとつの染みもない肌が特徴的な少女たち──がバーチャルな都市を背景に、息の合ったダンスを披露している。4人の動きは少しぎこちなく、「正しい振り付けで踊ることに意識を向けすぎている」、そんな印象だ。そうは言っても、人間ももっとひどいダンスを披露してきた。

デジタルアーティストは、いまではさまざまなマーケットプレイスでアセットを買えるようになった。エピック傘下のArtStationというマーケットプレイスでは、角張った革ジャケット（「ストリートウェア」）やミュータント・スキンのテンプレートが30含まれるパッケージ、あるいは「910+ Female Casual Morning Poses Reference Pictures」という名の女性の朝の日常を想起させるイメージのコレクションなどが売られている。この女性のコレクションには、裸でストレッチ運動をする女の人や、「感情的知性」というタイトルの本を読む女性、あるいは、枕相手にシャドーボクシングをする女性が含まれている。それが朝の風景、というわけだ。

自動車メーカーやプロダクトデザイナーはゲームエンジンを使ってモックアップを創作するようになった。そのほうが、実際のプロトタイプを製造するよりも安上がりだからだ。昨年の秋、ラスベガスにできたLEDをふんだんに使った巨大な娯楽アリーナの「スフィア」がコカ・コーラの波に飲み込まれたように見えた。「人間と人工知能が協力」して生み出した新しい味「コークY3000」の宣伝の一環だった。この広告のアイデアを売り込むため、プロモーションを担当していたPHNTM社はUnrealを使ってスフィアと周辺の建物をモデル化した。同広告代理店の創業者であるゲイブ・フラボニによると、そうすることで「ウィンダム・ゴルフコースや、ここやあそこからどう見えるかを知るのが簡単になった」そうだ。去年の夏、同社は社内にLEDヴォリュームを設置した。

2020年、ザハ・ハディド・アーキテクツ社が、ホンジュラスに属するある島に位置する、物議を醸した私有都市「プロスペラ」──暗号通貨トレーダーの聖域と宣伝される経済特区──に築く予定の高級都市のモデルを、Unrealで制作した（地元住民は、強制退去、監視、自由主義的な政治プロジェクトへのインフラ依存を恐れて反対している）。将来そこに住居を構える人は、土地区画を自分で探し、曲線を描くかやぶき屋根や丸みを帯びたテラスで家屋をカスタマイズできる。「バルコニーからの眺めを見てみませんか？」と、マーケティング資料が誘惑する。昨年、エピックゲームズはサフディ・アーキテクツ社と協力して、建築家モシェ・サフディがモントリオールで手がけ、未完のままで終わっているユートピア開発計画で建てたアビタ67団地の完成形の詳細なモデルを制作した。未完なのはサフディの構想を実現するための許可が当局から得られなかったからだ。このブルータリズム様式の建築物はバーチャルな光のなかで美しく輝く。同社のパートナーであるクリス・マルヴェイの話では、それを見たときのサフディの反応はほろ苦かったそうだ。「彼は『もし当時これがあったら、プロジェクト全体を建設するよう、人々を説得できただろうに』と言いたそうでした」

同じツールが、実世界で失われつつある側面の記録にも利用されている。22年にロシアがウクライナに侵攻を始めた直後、ヴァーチュー・ワールドワイドという広告代理店が、ユネスコならびに写真測量会社のポリキャムのために「Backup Ukraine」という広告キャンペーンを開始した。このキャンペーンは人々に対して、ボランティアとして、遺跡、記念碑、あるいは存続が脅かされている日常的な物品、例えば彫刻作品、古い胸像、墓石などのデジタルアセットを作成するよう呼びかけた（同キャンペーンは「どうすれば物質的に守れないものを保存できる？」と問いかける）。当初のアイデアは、将来もし再建が必要になった場合、デジタルアセットを青写真として利用することだった。そのためにスキャン専門家のチームがキエフとリヴィウにある教会の詳細なモデルも作成した。だが、それだけでなく、人々が自分の生活と関係する日常的な物品のスキャンデータもアップロードするようになった。大破した戦車、炎上したクルマ、崩壊したアパートメントなどのモデルだけでなく、ヨーダのおもちゃ、履き古したチャック・テイラー・モデルのバスケットボールシューズなどのアセットが集まってきた。

スウィーニーはわたしに対して、10年以内でほとんどのスマートフォンが高詳細なスキャンを行なえる性能を得るだろうと予言した。「人類の誰もが、世界のあらゆる事柄のデータベース化に参加できるようになります」と語り、こう続けた。「いずれ、忠実度のかなり高い全世界の3Dマップが完成するでしょう。そして、自分の好きな場所へ行って、仮想世界と実世界のミックスを眺めたり、現実とシミュレーションのコンビネーションを体験したりできるようになるのです」

数年前から、スウィーニーはメタバースについても語るようになった。メタバースとは、アイデンティティとアセットをもつ人々が友人とともにバーチャル空間をシームレスに動き回れる未来のビジョンだ。21年、世間がメタバースの話題でもちきりだったころ、リモートワークをする事務系労働者のオフィスの代わりとしてメタバースを利用するというアイデアが盛んに議論された。同じ年、フェイスブックは社名をメタ・プラットフォームズに改め、独自のメタバースのデモを発表した。そこは不気味なほど清潔なオフィス空間で、脚のないアバターが仮想の会議テーブルのまわりを浮遊していた。

一方、スウィーニーにとっては、メタバースはむしろ娯楽と社会交流の場で、ゲームとエクスペリエンスが結びつく巨大なプラットフォームだ。理論的には、そこで人は友人とともに映画館へ行くことも、映画俳優のメタヒューマン・アバターと交流することも、エミネムのコンサートを堪能することも、あるいはプロスペラでの環境破壊に対してテロ行為で抵抗することもできる。そのために、いちいちミュータント・スキンを交換する必要もない。

メタバースについて話しているときのスウィーニーは貧乏揺すりもせず、とてもリラックスしているように見えた。彼はメタバースを「enhancer」と表現する。対面での交流の代わりとなるものではないが、ひとりぼっちでいるよりもまし、という意味だ。「そこでの時間にまつわる記憶、あるいは夢は、現実世界にいた場合に得られるものと同じです」とスウィーニーは言う。「でも、そこにいるときは、現実世界は手の届かない場所にあるのです」。そして冗談めかして、「屋外世界の光源」である太陽は、1日の半分しか光をもたらさないと指摘した。

しかし、メタバースはつねにオンの状態だ。スウィーニーは、ほとんどがそれぞれ別々の都市に住むゲーム業界の友人たちと『Fortnite』のスクワッドを組み、夜になるとゲーム内を一緒に徘徊したり、ビジネスについて話し合ったりしているそうだ。わたしは『Fortnite』をつくっている人たちがそこに集まっているとは、想像もしていなかった。彼はもしかすると、従業員の誰かをうっかり狙撃してしまったことさえあるのかもしれない。

軍事娯楽複合体

秋、ガザ地区から発信されたとされる軍事衝突のビデオが、ソーシャルメディア上で拡散した。「新映像：ハマス戦闘員がイスラエル軍ヘリコプターをガザ地区で撃墜」。あるツイートに書かれていた言葉だ。しかし、よく似たビデオは数カ月前にも出回っていて、その際はウクライナからの映像という名目だった。実際には、それは『Arma 3』というビデオゲームから切り取った映像だった。同ゲームを開発したボヘミア・インタラクティヴ社は偽情報に関する説明文を発表したが、その文章には宣伝の意図が垣間見えた。「Arma 3が極めてリアルに現代の軍事紛争をシミュレートできているのはうれしいことではあるが、実世界における戦闘の記録映像と誤解されるのは喜ばしいことではない」（04年には、防衛関連の請負業者がArmaシリーズのゲームをもとに、米軍の訓練用シミュレーションを作成していた）。

軍は70年代からゲームを訓練に用いる実験を行ない、CGや戦術シミュレーターの開発にかかわってきた。ゲームエンジンの性能が上がるにつれ、警察や軍が使うシミュレーターも進化した。ニューヨーク市警は、血を流す人々が地面でうずくまる高校やワン・ワールド・トレード・センター前の広場で、銃乱射事件に対処するための訓練を行なっている。もちろんゲームエンジンがシミュレートする現場だ。軍需品メーカーのレイセオン社は、自律ドローン集団や無人地上車両などを、人口の多い都市部を対象にした新たな軍事技術の展開を、ゲームエンジンを使ってシミュレートしている。ボーイングはUnrealを使って、新型B-52爆撃機の仮想モデルをつくった（このモデルはUnreal Engineのマーケットプレイスでも提供されている）。

多くのケースでシミュレーターは見た目のリアルさよりも、物理的、機械的、あるいは音響的なリアルさに重点を置いている。調節が可能で、シミュレーターが生み出すデータを使って、トレーニングを個人用にカスタマイズすることもできる。防衛関連の請負業者であるブーズ・アレン・ハミルトン社で没入型技術に取り組むムンジート・シンはわたしに、同社は脳波計を使って、Unityで制作したフライトシミュレーターでエンジンがストップしたり、飛行機が撃墜されたりしたときのパイロットの感情的反応をモニターしていると説明した。「脳のアルファ波やベータ波が活性かどうかを見れば、それを、集中しているか、意識がそれたか、あるいはどんな感情状態にあるかなどといったことに結びつけることが可能なのです」。実際の紛争（その紛争に出兵するためにバーチャルリアリティ内でトレーニングを受けた人もいるだろう）で心的外傷後ストレス障害（PTSD）を患った軍人たちは現在、バーチャルリアリティ内でPTSDの治療を受けている。

テキサス州の小さな半島にコーパス・クリスティ海軍航空基地がある。その基地とメキシコ湾のあいだにあるマスタング島は、手ごろなコンドミニアム、イルカとの出合い、深海フィッシングツアー、大きな容器からすくった大量のアイスクリームを目当てに「テキサスのリビエラ」を旅の目的地に選んだ家族連れに人気の観光地だ。メインストリートには、切妻屋根とイオニア風の柱を備えた建物、城塞風の塔や筒瓦屋根が特徴的な私邸など、さまざまな建築様式が並んでいる。米国内の多くの沿岸地域と同じで、クルマはトラックが多く、芝生にモーターボートが置かれている。

「Weapons at Hand」という総合格闘技ジムもある。わたしはそこを真夏の時期に訪れた。気象パターン的には、「熱波」が訪れていたそうだ。だが、それを熱波と呼ぶのは人類史上最大の過小評価だったかもしれない。海軍航空基地を訪問する予定だった朝、わたしはベストウェスタンホテルのロビーに立って、タクシーを待ちながらテレビを見ていた。ウェザーチャンネルでは、Unreal Engineで制作したバーチャルセットの中に立つアナウンサーが、炎天下で車両内に閉じ込められることの危険さについて話していた。アナウンサーの横に、実物大のセダンのデジタルアセットが表示され、その内部は燃えているように見えた。「車内の灼熱度」と書かれたダイアルでは、針が右へ4分3傾いていた。

主に航空訓練に使われている同基地内では、フライトスーツを着た姿勢の正しい人々が静かに歩いていた。トレーニング用のビルにはいくつものシミュレーターが設置されている。全国でパイロットが不足していることもあり、わたしと話した人々の多くが、海軍の使っている技術に注目が集まるのはうれしいことだと話した。デジタルに精通する新しい世代の若者が軍用航空に興味をもつことを期待しているのだ（軍はすでにビデオゲームのコンベンションでの広報も始めている）。

海軍司令官のジョシュア・カルフーンが、2シーター・プロペラ機の狭いコックピットを模してデザインされたバーチャルなそりにわたしを導いた（建物の外には実際のプロペラ機もあった）。わたしはコックピットに入り、VRヘッドセットを着用した。自分の膝のあたりに目を向けると、両脚はそこになかった。Unityでつくられたそのシミュレーション環境は基地の外にある滑走路をモデル化していた。「兵士がいままさに現役勤務として活動しているのは、ここ、コーパス・クリスティです」とカルフーンは説明した。「やろうと思えば、イラクやアフガニスタンでの任務シナリオを作成できるのでしょうが、そんな訓練にどれほどの価値があるのでしょうか？」。バーチャルな風、視界、あるいは天気は細かく調整できるのだが、わたしがその日体験させてもらったのは快晴、つまりイージーモードだ。

「湾の上空に連れていってあげましょう」。カルフーンはそう言って、シミュレーターを前に進めた。「ちょっと目を閉じてください」。数秒後、わたしはひとりでニュエセス湾の上空にいた。眼下では、コンピューティングされた交通の流れが見事に再現されていた。数隻のボートが水を切っている。その日、基地内ではテキサス州に住むことの特典は砂浜をドライブすることが合法である点だと何度も指摘された。この土地を興味深いものにしているのは、地域産業の発展史と気候変動、ツーリストとオイルとガスと軍事インフラの共存、基地のまわりに並ぶマッサージパーラーなどといった文脈であるのに、それを度外視してコーパス・クリスティがアセットに分解されているのを見るのは奇妙な感覚だった。「わたしは地上の細部にはあまり興味がありません」とカルフーンは言った。

シットゴー石油会社の工場の上空を通過しながら、わたしはビデオゲーム業界と軍隊の関連について考えた。この結びつきは軍事娯楽複合体と呼ばれることもある。ゲームが軍事訓練目的で再利用され、軍事訓練のツールがゲームとして流用されている。後者に需要があったのにはまっとうな理由がある。ゲーム業界がリアルさを追い求めてきたからだ。90年代に『Doom』をもとに数多くの派生作品がつくられたが、そのなかのひとつである軍事シミュレーター『Marine Doom』は、海兵隊の戦術的な意思決定をトレーニングするために制作された。『Doom』の別バージョンはイスラエル国防軍が使う新型戦車に搭載されたAIシステムのトレーニングに利用されている。カルフーンが高度のコントロールがどうこうと話す声が聞こえていたが、わたしは特に注意を払わなかった。わたしは木を見ていたので森が見えなかった。あまりにも強く、ポリゴンに気をとられていた。

「このままでは着水します」。カルフーンは言った。

自然はどこまでシミュレート可能なのか

スウィーニーと話した数週間後、わたしは友人とともにオークランド・ヒルズをハイキングした。夜通し雨が降ったあとだったので、空気はひんやりとしていて苔くさく、道はぬかるんでいて滑りやすかった。その前の数日、わたしはこの年の「Game Developers Conference」で、コンベンションセンターの地下を歩き、VRグーグルを着用した人々が歩き回るのを眺め、エピック社の2階建てのパビリオンが配る大きなチョコチップクッキーを食べて過ごしていた。そのため、地上を歩けて少しほっとしていた。わたしたちは泥がスニーカーにまとわりつくのを感じながら、山道に沿ってゆっくりと歩いた。

これまでの10年で、スウィーニーはノースカロライナ州最大の民間土地所有者になり、保全目的で何千エーカーもの土地を買った。没入型のインドア・エンターテインメントを提供する会社の経営者が土地を保全する──わたしには興味深く感じられた。あまりにも矛盾していて、逆に感動を覚えるほどだ（07年のMTVのドキュメンタリー番組で、スウィーニーはeBayなども通じて集めたザクロ石のコレクションと、庭にある「木登りのための木」を披露している）。

前回話したとき、わたしはスウィーニーに、ゲームを開発するようになってから自然に対する見方が変わったかどうか尋ねてみた。「自然の情景はシミュレートがとても難しい」と彼は指摘した。「ある山頂に立って遠くを眺めると、実質的には木々の何兆もの葉を俯瞰していることになります。それらが集まっても、普通の固体になるわけではありません。一定の距離を超えると、木々はいわば目に見えなくなります。現実世界を眺めていて、コンピューターグラフィックが現実にはおよばないエリアを見つけると、わたしたちにはまだやるべきことがたくさんあると気づくのです」。スウィーニーは、効果的にリアルな森林をシミュレートするには、それぞれとても複雑なルールで構成される「地質シミュレーター」と「生態シミュレーター」の両方が必要になるだろうと想像している。

わたしは丘を歩きながら、いまわたしたちが歩いている風景のデジタル版をつくるには何が必要になるだろうかと考えてみた。ぬかるんでいて、黄色い葉や折れた小枝を飲み込んだ小道、日光を弱く反射する濁った水たまり、小川の岩に引っかかった堆積物、セコイアの樹皮を照らす格子状の光のパターン、この環境さえも人間の手が加わっていることを示す森の切れ間の端にある排水パイプなどだ（わたしたちは食べ物を分け合うことにした）。自然世界にとことんまで注目しなければ、バーチャル世界の創造など無理だと思えた。エピックゲームズの物理エンジニアのリーダーであるマイケル・レンティンに高潮をシミュレートするのに何が必要かと尋ねたところ、オイラー物理学とラグランジュ力学の概要を話し始めた。ゲームの世界には「イマージョン・ブレーキング（没入の破壊）」と呼ばれる考え方がある。例えば歩いて通り抜けられる壁や歩くのではなく浮遊するキャラクターなど、何かがプレイヤーを物語の流れから引き離すことを指す。枝葉が重要なのだ。

友人とわたしは、カリフォルニア州で最も長寿なセコイアがあるビッグ・ベイスン州立公園の話をした。数年前、そこでひどい山火事が発生した。わたしは山火事の直後に公園を視察したが、状況は壊滅的だった。しかし、セコイアの木々はいまも立ち並んでいる。スキャンして保存するという考えに、わたしは魅力を感じるとともに、どことなく不安のようなものも覚えた。わたしたち人類が自然の破壊を引き起こしておきながら、その自然界のバーチャルな複製をつくろうとする考えに、何か後ろめたいものを感じるのだろうか？ Quixelの共同創業者であるリンドは、18年にマリブで行なったスキャン旅行の話をしてくれた。チームは1週間をかけてサンタモニカ山脈をスキャンし、風景のテクスチャをキャプチャーした。2週間後、ウールジー山火事が発生し、同領域のほぼ10万エーカーを焼き尽くした。「本当に感情的になりました」とリンドは言う。「スキャン旅行をするたびに、その場所に対してある種のつながりが生じます」。だが、スキャンデータは残っている。そのイメージを、実在していたものの寄せ集めとして、さまざまなゲームや映画にちりばめることが可能だ。

わたしたちはシダ植物がうっそうと茂る小川にたどり着いた。水のなかに泡のリボンが揺らめいている。友人がまだ温かい野球帽を貸してくれた。わたしたちは山を下った。雨が降り始めていた。

（Originally published on The New Yorker, translated by Kei Hasegawa/LIBER, edited by Michiaki Matsushima)

※『WIRED』によるメタバースの関連記事はこちら。

世界の数理モデル化はどこまで可能か？

選挙から経済、気候、コロナウイルスまで、世界のあらゆる事象はモデル化されてきた。いまや人工知能のエンジンとしても、あるいは空間コンピューティングや世界のデジタルツインのためにもますます重要となる統計的モデリングの可能性と限界を考える。

アカデミー賞常連のVFXスタジオ・DNEGが考える、イマーシブ体験の本質

アカデミー賞視覚効果部門の常連、DNEGが新たにイマーシブ体験専門の部門を立ち上げた。描写のリアルさが強みのVFXスタジオだが、イマーシブの本質を考えるならば、その強みすらも再考する必要があるのだと、同部門を率いるジョシュ・マンデルは語る。

日本でも発売、「Apple Vision Pro」について知っておくべきこと

アップルの複合現実（MR）デバイス「Apple Vision Pro」が日本でも発売されることが決まり、6月14日午前10時から予約注文が始まった。空間コンピューティングの時代を“予見”させるこのデバイスについて、いま知っておくべきことを解説していこう。