Thermo AI Hardwareチップのプロトタイプ。超伝導のアルミ製基板上にジョセフソン接合が配置されている。Image: Extropic AI
毎年当たり前のようにスペックが上がってきているスマートフォンやパソコン。
しかし、これらのデジタル機器を支えている根幹技術は、もはやこれ以上効率化できない、限界に近づいてきているとも言われています。
ならばチャンス！とばかりに、これまでとは根本的に構造の異なるコンピュータシステムを開発しているスタートアップ企業がいると聞いて、衝撃を受けました。その名はExtropic AI（エクストロピックAI）。
彼らが開発している熱力学ベースのコンピュータシステム｢Thermo AI Hardware｣について、話をうかがいました。
＜目次＞
｢じゃ、パラダイムシフト起こそうか｣と考えたのがExtropic AI
古典物理でも量子論でもなく、｢熱力学｣をベースとしたコンピュータを開発中
前提：コンピュータはもう進化が難しい
まずは少しだけ背景を。
既存のコンピュータはもうこれ以上効率化できないと言われている背景のひとつに、CPU・GPUなどの集積回路に搭載されている微細なトランジスタ（半導体素子）をこれ以上微細化できないという物理的限界があります。
CPUを初めて世に送り出したIntel社の共同創始者ゴードン・ムーア氏は、半世紀前に｢集積回路に搭載される部品点数は2年ごとに2倍になる｣と予測しました。そして、その経験則は長きにわたって半導体の微細化・高集積化・低コスト化をけん引してきました。
実際に集積回路に搭載されているトランジスタの数は増え続け、今ではひとつのチップに700億個以上のトランジスタが搭載されるまでとなっています。しかし、原子の大きさに近づきつつあるトランジスタをこれ以上小さくすることは技術的に困難。｢ムーアの法則の終焉｣とも言われるゆえんです。
今後実用化が期待される量子コンピュータにもコンピュータの進化の限界を克服できる技術という側面があるのですが、絶対零度の動作環境が必要とされている以上、スケーラビリティが大きな課題となっています。
また一方で、生成AI（人工知能）の興隆により、デジタルコンピュータに対する計算負荷は確実に上がってきています。生成AIモデルがどんどん大きくなり、パラメータの数も増えていくに従って莫大なエネルギーを必要とするため、環境負荷も上がってきています。電力だけで賄うのには限界があるので、核融合施設を備えたスパコンをつくったら？なんて言われているほど。
｢じゃ、パラダイムシフト起こそうか｣と考えたのがExtropic AI
生成AIのような既存のデジタルコンピュータには支えきれないほどの技術革新が起きている今、まったく新しい仕組みのコンピュータを作ろうとしているのがExtropic AIです。2022年にGuillaume Verdon氏とTrevor McCourt氏によって設立された、生成AIに特化したコンピュータを開発しているスタートアップ企業です。
Extropicメンバーの多くは、かつて量子コンピューティング分野の第一線で活躍し、注目を浴びた面々。
彼らが将来的に量産化を目指している、自然界からインスピレーションを得た物理ベースのコンピュータとは一体どんなものなのか？
バードン氏本人を直撃しました。
Guillaume Verdon（ギヨーム・バードン）
Extropic AI 共同創立者兼CEO。
需要が高まる生成AIのパワーと計算要件に対応するため、2022年にAIハードウェア企業であるExtropic AIを設立。Extropic社は｢サーモダイナミックコンピューティング｣という熱力学をベースにした新しいアプローチによりエネルギー効率にも性能にも優れたAIのためのプロセッサーを実現し、商業化を行なっている。
アルファベットXで物理学とAIの研究開発を指揮し、NASAとグーグルと共同でTensorFlow Quantum（TFQ）を開発した経験を持つ。ウォータールー大学の量子コンピューティング研究所とペリメーター研究所で数学の修士号を取得。
ネット上ではGillという筆名で知られており、｢e/acc｣というテクノプログレッシブ・ムーブメントの先頭に立ち、文明の進歩やテクノロジーが社会に与える影響についても語っている。
古典物理でも量子論でもなく、｢熱力学｣をベースとしたコンピュータを開発中
───社名の"Extropic"とはどういう意味なんですか？
Guillaume Verdon（以下ギル）："Entropy（エントロピー）”の語源はギリシャ語で、システム内における乱数度の尺度を表している。"Extropy"（エクストロピー）は、システムの外にどれだけエントロピーが放出されているかの尺度を表しているんだ。
実は、エントロピーの放出、つまりはエクストロピーがあったからこそ、生命の誕生につながったと考えられている。また、生命体の知能を熱力学的に見た場合に、まだ何も学習していない状態だと粘土のかたまりみたいだけど、学習を重ねていくにしたがって輪郭がはっきりとしてくるんだ。エントロピーの高い状態から低い状態へと移ったというわけだね。
エントロピーの放出とは熱の放出。つまり、エクストロピーはある種の冷却プロセスだ。そして機械学習も冷却プロセスだと言える。
ぼくらが作っているコンピュータチップもこのようなプロセスによって動いていて、文字通り冷却によって学習している。だから、Extropic AI（エクストロピー的なAI）。わりと深みのある社名なんだ。
───冷却で学習するなんて初めて聞きました。詳しく教えてください。
ギル：ぼくたちが作っている｢Thermo AI Hardware｣は、放熱によって確率的な推論を行っている。物理学をベースに確率的な機械学習を行っているとも言える。
ベースにしている物理学は、熱力学理論。非平衡熱力学（out-of-equilibrium thermodynamics）、または確率論的物理学（stochastic physics）ともいうんだけど、これらはすべて分子のゆらぎに関わる物理学の領域なんだ。
量子力学のレベルでは量子の重ね合わせが起こるし、もっと大きなスケールでの物質は決定論的でON、またはOFFのどちらかでしかない。熱力学はその中間にある領域で、"システムの状態に関しての不確定さ"を利用できる（詳しくは後述）。だから、ものすごく低パワーで高速に動くんだ。システムのエントロピーがゼロじゃないから、電子が信号空間をより高速に動けるし、エネルギー効率が高い。
Thermo AI Hardwareのエネルギー効率が高いわけ
───省エネかつ高速なプロセッサを実現できたのはどうしてですか？
ギル：｢マクスウェルの悪魔｣っていう思考実験を知ってるかな？箱があって、中には赤か青のボールが混ざった状態でたくさん入っていて、それぞれが動き回っている。その箱の真ん中に仕切りを入れたとするよね。そして、その仕切りには小さな扉がついていて、その扉を意識するだけで開閉できる悪魔がいるとする。
悪魔は赤いボールが右から左、青いボールが左から右へ移動する時だけ扉を開けるから、そのうち赤いボールはほぼ箱の左側に、青いボールは箱の右側に集まることになる。でも、それだと悪魔はボールに直接触っていないし、ボールを動かすためにエネルギーを消費していないのにも関わらず、熱力学の第二法則に反してエントロピーが減少したことになってしまうよね？
実のところは悪魔がボールの状態について情報を得ることと、その情報をメモリから削除すること自体がエネルギーを必要としているんだ。これと同じことがコンピュータでも起きている。コンピュータは、常に把握できる決定的な状態にいることに、クロック周期（CPUが命令を処理する際に基準となる時間）ごとにエネルギーを必要としているんだ。だから、そこを変えればいい。コンピュータに自己適応してもらって、自己プログラムしてもらうようにすればいいんだ。
ぼくたちが完全にコントロールしなくても、自然に任せてもっと計算してもらえるようにすればいい。だから、マクスウェルの悪魔を手放したこと、そして物質が決定論的にふるまうスケールでもなく、量子の重ね合わせが起きるのでもない、中間領域である熱力学をベースにしたことで、ぼくたちはよりエネルギー効率の高いコンピュータを作れる機会を手に入れたんだ。
生成AIとは｢確率分布の学習｣である
───省エネだから生成AIに向いているということだけではないんですね。
ギル：生成AIは、プログラムすることによって確率分布をデータの分布に重ね合わせていくプロセス。そのためにはシステムを学習させ、パラメータを設定して、平衡分布とデータの分布とをマッチングさせていく必要がある。伝統的なプログラミングとはまったく違った方法なんだ。
伝統的なプログラミングは "if" "then" "else"などを使っていて命令法的だったけど、今ではパラメータを設定したシステムを構築して、その中で勾配法を使って最適化する。これが商品化されるとニューラルネットワークになるわけだ。
このような新しいタイプのソフトウェアが既存のコンピュータの計算負荷を食い尽くしている現状があるからこそ、ハードウェアにもそのパラダイムシフトを模倣する機会が出てきた。ぼくたちが今作っているのは、生成AIのプロセスそのものに適合している、もっとも効率の良いハードウェアなんだ。
───なぜ生成AIアルゴリズムが確率的であるのか、ちょっとよくわからないんですけど…。
ギル：そうだな…基本的に、機械学習の一番基本的なところでは｢ベイズ確率論（Bayesian probability theory）｣というものがベースになっているんだ。
既存の決定論的コンピュータシステム上で生成AIを走らせることばかりに集中してしまっていて見失いがちなんだけど、機械学習の考え方のルーツについて今一度考えてみれば、推論を可能にしているのはすべて確率分布を学習することからきていると、もとの文献には書いてある。データセットというのはサンプルにすぎず、雲のように密集した点の中から得られたいくつかの点にすぎず、それらの点から補間し、推定することでもとの雲のかたちを推論しているようなものだ。
そして、分類子が主流だったこれまでのプログラミング言語とは異なり、今の時代の生成AIにはこの確率的な要素がより色濃く出ている。生成AIモデルはトークンやテキストによる｢条件付き確率分布（conditional probability theory）｣というものを学習しているんだ。プロンプトが入力されたら、その続きに当てはまるであろうもっとも確率の高い、もっともありそうな文章ってなんだろう？と推論する。生成AIモデルっていうのはおおよそこんな風に、分布を学習して動作している。
このように、すべての生成AIモデルは基本的に分布を学習しているので、僕らにとってそれは確率的なアルゴリズムをやっているということになる。そして、それならば既存の決定論的なコンピュータに走らせるよりも、同じように確率的な動作をするハードウェアに走らせるほうがいいことは明白なんだ。
だからコンピュータも確率的になったほうがいい
───確率的な動作というのは、実際どのようなプロセスなのでしょうか。
ギル：流体動力学にたとえるとすると、伝統的なコンピュータにはパイプがあって、その中を高圧の水流が通っていて、トランジスタはバルブみたいなものだ。対して、ぼくたちが作っているコンピュータには、水のかわりにすごくよく弾むボールを回路に投入しているかんじなんだ。
ギル：ぼくらの第一号機となるパッシブな熱力学的コンピュータがどう動くのかというと、まずプログラムで制御できる2次元の表面がある。その表面があり、パラメータを操作することで、その表面のかたちを自在に変えることができる。その上に、ボールをばらまくんだ。
ボールはある程度のエネルギーを持っているから、跳ね回って散らばるよね？それらを少し間を置いてからランダムに拾い出して、どこにあったのかを確認していけば、その表面のかたち特有の分布が明らかになる。このように、プログラム可能なエネルギー関数から、平衡分布の標本を得ることができるんだ。
ギル：または、こんな機械的なたとえ方もある。
ブラウン運動は聞いたことがあるかな？たとえば粒子がたくさんあるとするよね。その中には物質がバネの先に固定されていて、そのバネのかたさは調整できて、パラメータの役割を果たしている。
時間が経つにつれ粒子が平衡な状態になると、分布がわかってくる。そこで、時間の間隔をおいてその分布のスナップショットを撮ることで、平衡分布の標本を得られるというわけ。平衡分布の標本を得るためにこれまで生成AIなどで使われていたモンテカルロアルゴリズムの必要がなくなったということだ。
ソフトウェアとハードウェアの共進化
───なるほど、だからこそExtropic AIではソフトとハードの両方を開発しているんですね。
ギル：市場にはたくさんの参入企業がいて、いろいろな会社が同じアイデアを違うかたちで提供していたり、異なるアーキテクチャのアプリを提供していたりするし、それこそハードウェアプロバイダも多彩でその両者が共進化してきている。今AIのトランスフォーマーモデルがなぜこんなにも人気なのかというと、NVIDIA社のGPUと相性がいいからだよね。
でも、ぼくたちが市場に提供する新しい基板をもってなら、今後のアルゴリズムとハードウェア市場の共進化を新しい方向へと導いていけると感じている。
あと数年もすれば、確率的なハードウェアを開発することは正しかったと誰の目にも明らかになる日が来る。現状ではまだまだ既存のハードウェアパラダイムを放棄するには高いリスクが伴うとされているけど、ぼくにとっては必然的なことなので、未踏の道を突っ走るのみだ。たとえこの道を確立できるのがぼくらではなかったとしても、遅かれ早かれ誰かが僕らの過ちから学習して、成功すると思うよ。
民生用シリコンチップも開発中
───今後の展望を伺いたいです。量子コンピュータは低温でないと動作しませんが、常温で動作する、日常的に使えるような熱力学デバイスも開発される予定ですか？
ギル：室温でも動作できるシリコンチップを開発中だよ。Thermo AI Hardwareを室温で実現するのはとてもハードルが高かったね。
でも、幸いうちのチームには非常に優秀な物理学者たちが揃っているし、多くは量子コンピューティングとAI関連の技術のバックグラウンドも持っている。だから、それらふたつの分野を融合して、AI技術を物理学の限界まで追求していきたいんだ。
───そのシリコンチップを量産化できたら、民生用機器として一番最初に実現したいものは？
ギル：まずはコプロセッサ（CPUの処理を補助するプロセッサ。GPUやNPUなども含む）として始めるかな。特殊化した回路の一部として、日常的に使うエッジデバイスに搭載されると思う。カメラとか、スマートフォンとかもありだね。消費電力が極端に少ないので、常に稼働させられるのは大きなメリットになる。
すでにApple社がやっているように、ゆくゆくはすべてのノートパソコンやスマートフォンにニューラルプロセッサが搭載されるようになると思うんだけど、そのチップに組み込まれるか、あるいは独立したチップとして搭載されるかになるかな。そしてそのうちクラウドにもThermo AI Hardwareが採用されるようになると思う。
あと、個人的には将来AIを使って自分自身の認知機能を拡張できるようになるんじゃないかと期待している。埋込型でも非侵略型でも、自分の感覚を拡張するコンピュータを身につけることで、自意識を広げていけるんじゃないかと。
そのためにはAIの分散化が必要だ。現状では限られた者にしか制御権がないスパコンを持った巨大なラボしかないけど、それらがみんなの自意識を拡張していけるようなスケーラブルな方法だとは思えないし、個性の損失にも繋がる。
高密度でエネルギー効率の高い、今のスパコンよりももっとパワフルなパーソナルコンピューティングデバイスが手に入れば、コンピューティングとAIを分散化していけると思っている。
コンピューティング革命が起きれば世界はより豊かになる
───Extropic社のThermo AI Hardwareは世界をどのように変えていくのでしょうか？
ギル：過去数十年間、ムーアの法則に従ってビットの世界では巨額の富が築かれてきたよね。でも、原子でできている物理的な世界においては発展の速度がそこまでではなくて、インフラはそこまで早く変化していないし、建設されてもいない。
今後はビットとシリコンの世界にもたらされてきたイノベーションも閾値に達し、そこから先はAI技術とロボティクスが融合して原子の世界にも変化がもたらされる時代に入っていくと思うんだ。
高密度なコンピューティングがエッジに搭載されるようになれば、ロボットやエージェントを容易に操作できるようになって、なにかを建設することが今よりもずっと簡便で安価になる。そして、そのようにして現実に手にすることのできる富を築くことができるようになる。
感覚運動的な知能って、実はホワイトカラー知能より10倍も100倍も制御することが難しく、多くの計算力を必要とするんだ。でももちろんすべてのロボットをスパコンに繋げてクラウドから操作するわけにもいかない。
その点で、新しいコンピューティングは世界を豊かにしていけると思っている。人々は裕福になり、快適な暮らしを楽しめるようになる。そんな世界が努力さえすれば手に入ると思っているから、今が正念場なんだ。
AIのデフレ効果がもたらすもの
───いずれはExtropic社の技術をオープンソース化すると伺っていますが。
ギル：そう、アルゴリズムスタックとコンセプト、またそれがどのように超伝導体で動作するかの一連の技術はオープンソース化する予定だ。研究機関や政府系のラボなどでThermo AI Hardwareを大いに活用できると思うし、民生用に開発しているシリコンチップに関してもいずれはオープンソースソフトウェアとして提供するつもりだ。
そうすることでデベロッパに興味を持ってもらえるし、たくさんの人にプログラムを書くことを試してほしい。そこからコンピューティングに新しいムーブメントが始まればいいなと思っている。
AIを含む技術革新が広まっていけば、大きなデフレ効果を生み出す。そして、デフレーションは社会的平等を生み出す。
ぼくは小さい頃からインターネットにアクセスできたことで多くを学んだし、今ではネット接続は民主化され、日用品化されて世界中の人々に開かれている。これからの時代は、AIもすべての人にアクセスできるようにしたいんだ。
AIを活用して自身の認知能力を拡張していく権利は普遍的であるし、それをできる人が自ずと限られてしまうような未来には問題がある。AIのコストを下げて、ネットにアクセスできる人すべてがパワフルなAIにもアクセスできるようにする。そうすれば、みんなが科学の進展に寄与できるようになるし、社会的平等を実現できると思う。
ぼく自身、Googleでの職を辞して実家へ帰り、地下室にこもってExtropic AIの構想を練ったのが始まりだった。プラットフォームさえあれば、誰にでもアイデアをかたちにすることができると信じている。
Source: Extropic AI
Reference: Telescope Magazine, Wikipedia (1, 2, 3), Medium, NVIDIA, 水谷淳・小幡彩貴著『科学用語図鑑』（河出書房新社 2019）
Images: Extropic AI
0 件のコメント:
コメントを投稿