中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと。2024年6月21日 https://www.mag2.com/p/news/602019 ~ QUIZ. 9○9○9○9＝10.◯に＋ー/Xのいずれかを入れ、必要なら（）を使用して計算結果を10にして下さい。ANSER.（9X9＋9）/ 9＝10

2024年6月23日日曜日

中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと。2024年6月21日 https://www.mag2.com/p/news/602019

ビジネス

エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。
※本記事のタイトル・見出しはMAG2NEWS編集部によるものです

プロフィール：中島聡（なかじま・さとし）
ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。

1ビットの高速推論AIチップ　米国より先に中国が開発する可能性も

読者からの質問

先日のWWDC2024の同日、カリフォルニア大学の研究者から“Scalable MatMul-free Language Model”という論文が発表されたと聞きました。行列計算が不要になればNVIDIAのGPUの優位性が揺らぐきっかけにもなるかと思いますが、中島様はどう思われますか？

中島聡氏の回答

私もこの論文（Scalable MatMul-free Language Modeling）には心を惹かれ、ざっと目を通しました。

この研究のベースになっているのは、2023年10月にMicrosoft Researchの研究者らによって発表されたBitNet: Scaling 1-bit Transformers for Large Language Modelsという論文で、ニューラルネットのパラメータをfloat16(16bitの浮動小数点)から1ビット（正確には1.58ビット）に減らすことにより、コストの高い乗算をなくし、推論に必要な計算能力を減らそう、という試みです（今年の2月にはThe Era of 1-bit LLMs: All Large Language Models are in 1.58 Bitsという論文も発表されています）。

この研究者は、GPUの代わりにFPGAを使って、より効率の良い推論が可能になることを証明しましたが、専用のハードウェアを作れば、さらに性能が上がります。

ベンチャー企業のgroqは、float16のままでも専用のチップを作ることにより、大幅な高速化を行いましたが、1.58ビットのニューラルネット専用のハードウェアを作れば、さらに大幅の高速化が可能になると予想できます。

一つ気がかりなのは、これらの論文に名前を連ねる研究者が、ことごとく、中国人であることです。以下が、上に挙げた３つの論文の執筆者の名前です。

Hongyu Wang, Shuming Ma, Li Dong, Shaohan Huang, Huaijie Wang, Lingxiao Ma, Fan Yang, Ruiping Wang, Yi Wu, Furu Wei
Shuming Ma, Hongyu Wang, Lingxiao Ma, Lei Wang, Wenhui Wang, Shaohan Huang, Li Dong, Ruiping Wang, Jilong Xue, Furu Wei
Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou, Jason K. Eshraghian

米国政府は、中国が人工知能の技術で米国に追いつき、追い越すことを阻止するために、最新のGPUの中国への輸出を禁止していますが、それが進化圧となり、1.58ビットで高速に推論を行う専用チップは、中国で先に開発されてしまう可能性があると私は考えています。

ちなみに、1.58ビットのニューラルネットとは、それぞれのパラメータが[1, 0, -1]の３つの値を持つニューラルネットのことです。3を2を底とした対数で表すと、1.58になるため、そう呼ばれています。私は、マイクロソフトで働いていた頃、天秤を使って偽物の金貨を見つけ出す「金貨問題」をエンジニアのインタビューに使っていましたが、その際に、「天秤を一回使うことによって得られる情報量は何ビットか」という質問をしました。1.58だと答えられるエンジニアが、意外に少なかったことを覚えています。

ちなみに、私がエンジニアに与えた問題は以下のようなものです。

８個の金貨のうち、一つだけ僅かに軽い偽物であることが分かっている場合、天秤を何回使えば、どれが偽物か判定できるでしょう？
天秤を３回使って偽物を見つけ出すことが出来る金貨の数はいくつ？
天秤を一回使うことによって得られる情報量は何ビットか？

有名な問題なので、今さらインタビューには使えませんが、頭の体操には良い問題です。ちなみに、GPT-4oにこの問題を与えたところ、2と3には正しく答えられたのに、1は失敗しました（複数回行うと、毎回結果は異なります）。

メルマガ2024/6/18号その他の読者Q&A

『週刊 Life is beautiful』の人気コンテンツ「質問コーナー」6/18号のラインナップは下記のとおり。中島聡氏の回答は初月無料のお試し購読ですぐに読めます。

スマホの次は何か、という話がありますが、色んなウェアラブルデバイスが開発されているとはいえ、個人的には手のひらサイズの画面はやはり便利で、スマホはまだまだ主要デバイス（他のデバイスは補完的役割）であり続ける気がしております。もしスマホがまだデバイスの中心であり続ける場合、引き続きApple vs Androidとなるかと思いますが、より良いAIを開発したほうが勝者で、 ChatGPT vs Geminiの性能が決め手ということになりそうでしょうか？それとも第三者がそこに入り込む余地はあるのでしょうか？漠然とした質問で恐縮ですが、デバイス絡めたAI対決について、ご意見いただければ幸いです。

現在、公務員として働いています。民間企業に我々の業務で使用するソフトウェアの開発を委託することがありますが、使いにくいシステムになってしまうことが多々あります。いっそのこと自分たちで開発できればと思うのですが将来、人工知能の発展によりそんなに知識がなくても公務員自らソフトウェアの開発ができるような環境になる見込みは今後あるでしょうか。

手塚治虫の火の鳥の未来編に人類は急速に発展していったがある時から退化をしはじめ、あえて昔のモノを使う人が増えていったというシーンがあります。私はこのシーンがすごい好きで今後世界が急速に発展していくなかでこういう未来になる可能性もあるように感じました。例えばテスラのような全てが効率化されたデジタル的な車か、エンジンやオイルの匂い、音などが感じられるアナログ的な車のどちらを人類は選択するのか。進化か退化か、中島さんはどちらを今後人類は選択すると思われますか？

アメリカを含む海外在住期間が長いと思いますが、日本とお笑いの文化の違いを感じることはありますか？やはり、宗教、政治、差別の自虐、などを中心としたスタンドアップコメディが、メディアや劇場では主流でしょうか？

ニコニコのサーバー攻撃について想像やわかる範囲で解説欲しいです！

WWDC24 Apple Intelligence 素晴らしいと思いました。私はスマホ依存防止アプリを製作運営している個人開発者です。日本ではそれなりに使われていて個人でやっていくぐらいには収益化できています。iPhoneにApple Intelligence搭載後もこのアプリを存続させていくためにはどういう方向でアップデートさせていくのがいいのか迷っています。このアプリの構成はメインのシステム・UI、アニメーションはUnity、iPhone固有のシステムに関わる部分はSwift(コードの量の比率としては Unity : Swift = 8 : 2くらい)と今となっては非常にメンテナンスしにくい作りになっています。Appleの今回の発表を見て、もうSwiftのみで作り直すしかないのではと思いました。システムとUIは完全にSwiftに置き換えてiOS側で処理しやすいように作り、イラストアニメーションはRiveという軽量なアニメーションソフトで作り直そうと考えています。そして以降は自分のオリジナリティを出せるイラストアニメーションの部分の充実に注力する。iOS18以降への対応についてアドバイスやユーザ数増加のアイデアがあれば伺えるとありがたいです。

私は医療関係者です。近年、カルテからのレポート自動作成や、検査画像の診断サポートといった使ってみたい様々なAIサービスが(例えばFDAなどの)公的な認証を取得し提供されるようになりました。しかし、そのほとんどがオンプレミスではなくクラウドでのサービス提供であるがゆえ、法的なレギュレーションではなく病院管理者の個人レベルのポリシーによって使用できません。なぜ、電子カルテや検査データ管理は院内サーバーのオンプレミスで稼働し各ベンダーからサービス提供されているのに、AIのオプション機能はほとんどクラウドを介する提供になってしまうのでしょうか？これは、ビジネスプラン的な理由なのか技術的な理由なのか分かりません。その辺りのベンダー側の事情を推察していただきたいです。

AI革命による株式市場の活況は、いま何合目くらいだと感じますか？

『週刊 Life is beautiful』6/18号では、読者Q&A以外にも、メインコンテンツとして「WWDC 2024」「OpenAI誕生物語」「Teslaの株主総会」「なぜNode.jsがもっと使われないのか？（なぜ未だにエンタープライズ系でJavaが強いか？）」「生物が得たマクロ言語」などのトピックを2万字超のボリュームで掲載。また最新号は6/25に配信予定です。初月無料のお試し購読をすると、6月分バックナンバーを含むすべてを読めます。

この記事の著者・中島聡さんのメルマガ

初月無料で読む

※ワンクリックで簡単にお試し登録できます↑
￥880/月（税込）初月無料　毎週火曜日(年末年始を除く)
月の途中でも全ての号が届きます

初月無料購読ですぐ読める！ 6月配信済みバックナンバー

2024年6月配信分

週刊Life is beautiful ２０２４年６月１８日号： WWDC 2024、OpenAI誕生物語、Teslaの株主総会、なぜNode.jsがもっと使われないのか？、生物が得たマクロ言語(6/18)
週刊Life is beautiful ２０２４年６月１１日号：オープンソース・エコシステムがうまく回る一番の理由、河野太郎大臣との対談、書籍のビデオ講座化(6/11)
週刊Life is beautiful ２０２４年６月４日号： NvidiaのCUDAが今の地位を築いた経緯、分散型AIマイニング・サービス、データフロー・プログラミング(6/4)

いますぐ初月無料購読！

image by: FilipArtLab / Shutterstock.com

中島聡この著者の記事一覧

マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。IT業界から日本の原発問題まで、感情論を排した冷静な筆致で綴られるメルマガは必読。

有料メルマガ好評配信中

初月無料で読んでみる

この記事が気に入ったら登録！しよう『週刊 Life is beautiful 』

【著者】中島聡【月額】初月無料！月額880円（税込）【発行周期】毎週火曜日(年末年始を除く) 発行予定

いま読まれてます