エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。
※本記事のタイトル・見出しはMAG2NEWS編集部によるものです
プロフィール：中島聡（なかじま・さとし）
ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。
1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も
読者からの質問
先日のWWDC2024の同日、カリフォルニア大学の研究者から“Scalable MatMul-free Language Model”という論文が発表されたと聞きました。 行列計算が不要になればNVIDIAのGPUの優位性が揺らぐきっかけにもなるかと思いますが、中島様はどう思われますか？
中島聡氏の回答
私もこの論文（Scalable MatMul-free Language Modeling）には心を惹かれ、ざっと目を通しました。
この研究のベースになっているのは、2023年10月にMicrosoft Researchの研究者らによって発表されたBitNet: Scaling 1-bit Transformers for Large Language Modelsという論文で、ニューラルネットのパラメータをfloat16(16bitの浮動小数点)から1ビット（正確には1.58ビット）に減らすことにより、コストの高い乗算をなくし、推論に必要な計算能力を減らそう、という試みです（今年の2月にはThe Era of 1-bit LLMs: All Large Language Models are in 1.58 Bitsという論文も発表されています）。
この研究者は、GPUの代わりにFPGAを使って、より効率の良い推論が可能になることを証明しましたが、専用のハードウェアを作れば、さらに性能が上がります。
ベンチャー企業のgroqは、float16のままでも専用のチップを作ることにより、大幅な高速化を行いましたが、1.58ビットのニューラルネット専用のハードウェアを作れば、さらに大幅の高速化が可能になると予想できます。
一つ気がかりなのは、これらの論文に名前を連ねる研究者が、ことごとく、中国人であることです。以下が、上に挙げた３つの論文の執筆者の名前です。
- Hongyu Wang, Shuming Ma, Li Dong, Shaohan Huang, Huaijie Wang, Lingxiao Ma, Fan Yang, Ruiping Wang, Yi Wu, Furu Wei
- Shuming Ma, Hongyu Wang, Lingxiao Ma, Lei Wang, Wenhui Wang, Shaohan Huang, Li Dong, Ruiping Wang, Jilong Xue, Furu Wei
- Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou, Jason K. Eshraghian
米国政府は、中国が人工知能の技術で米国に追いつき、追い越すことを阻止するために、最新のGPUの中国への輸出を禁止していますが、それが進化圧となり、1.58ビットで高速に推論を行う専用チップは、中国で先に開発されてしまう可能性があると私は考えています。
ちなみに、1.58ビットのニューラルネットとは、それぞれのパラメータが[1, 0, -1]の３つの値を持つニューラルネットのことです。3を2を底とした対数で表すと、1.58になるため、そう呼ばれています。私は、マイクロソフトで働いていた頃、天秤を使って偽物の金貨を見つけ出す「金貨問題」をエンジニアのインタビューに使っていましたが、その際に、「天秤を一回使うことによって得られる情報量は何ビットか」という質問をしました。1.58だと答えられるエンジニアが、意外に少なかったことを覚えています。
ちなみに、私がエンジニアに与えた問題は以下のようなものです。
８個の金貨のうち、一つだけ僅かに軽い偽物であることが分かっている場合、天秤を何回使えば、どれが偽物か判定できるでしょう？
天秤を３回使って偽物を見つけ出すことが出来る金貨の数はいくつ？
天秤を一回使うことによって得られる情報量は何ビットか？
有名な問題なので、今さらインタビューには使えませんが、頭の体操には良い問題です。ちなみに、GPT-4oにこの問題を与えたところ、2と3には正しく答えられたのに、1は失敗しました（複数回行うと、毎回結果は異なります）。
メルマガ2024/6/18号 その他の読者Q&A
『週刊 Life is beautiful』の人気コンテンツ「質問コーナー」6/18号のラインナップは下記のとおり。中島聡氏の回答は初月無料のお試し購読ですぐに読めます。
スマホの次は何か、という話がありますが、色んなウェアラブルデバイスが開発されているとはいえ、個人的には手のひらサイズの画面はやはり便利で、スマホはまだまだ主要デバイス（他のデバイスは補完的役割）であり続ける気がしております。もしスマホがまだデバイスの中心であり続ける場合、引き続きApple vs Androidとなるかと思いますが、より良いAIを開発したほうが勝者で、 ChatGPT vs Geminiの性能が決め手ということになりそうでしょうか？それとも第三者がそこに入り込む余地はあるのでしょうか？漠然とした質問で恐縮ですが、デバイス絡めたAI対決について、ご意見いただければ幸いです。
現在、公務員として働いています。民間企業に我々の業務で使用するソフトウェアの開発を委託することがありますが、使いにくいシステムになってしまうことが多々あります。いっそのこと自分たちで開発できればと思うのですが将来、人工知能の発展によりそんなに知識がなくても公務員自らソフトウェアの開発ができるような環境になる見込みは今後あるでしょうか。
手塚治虫の火の鳥の未来編に人類は急速に発展していったがある時から退化をしはじめ、あえて昔のモノを使う人が増えていったというシーンがあります。私はこのシーンがすごい好きで今後世界が急速に発展していくなかでこういう未来になる可能性もあるように感じました。例えばテスラのような全てが効率化されたデジタル的な車か、エンジンやオイルの匂い、音などが感じられるアナログ的な車のどちらを人類は選択するのか。進化か退化か、中島さんはどちらを今後人類は選択すると思われますか？
アメリカを含む海外在住期間が長いと思いますが、日本とお笑いの文化の違いを感じることはありますか？やはり、宗教、政治、差別の自虐、などを中心としたスタンドアップコメディが、メディアや劇場では主流でしょうか？
ニコニコのサーバー攻撃について想像やわかる範囲で解説欲しいです！
WWDC24 Apple Intelligence 素晴らしいと思いました。私はスマホ依存防止アプリを製作運営している個人開発者です。日本ではそれなりに使われていて個人でやっていくぐらいには収益化できています。iPhoneにApple Intelligence搭載後もこのアプリを存続させていくためにはどういう方向でアップデートさせていくのがいいのか迷っています。このアプリの構成はメインのシステム・UI、アニメーションはUnity、iPhone固有のシステムに関わる部分はSwift(コードの量の比率としては Unity : Swift = 8 : 2くらい)と今となっては非常にメンテナンスしにくい作りになっています。Appleの今回の発表を見て、もうSwiftのみで作り直すしかないのではと思いました。システムとUIは完全にSwiftに置き換えてiOS側で処理しやすいように作り、イラストアニメーションはRiveという軽量なアニメーションソフトで作り直そうと考えています。そして以降は自分のオリジナリティを出せるイラストアニメーションの部分の充実に注力する。iOS18以降への対応についてアドバイスやユーザ数増加のアイデアがあれば伺えるとありがたいです。
私は医療関係者です。近年、カルテからのレポート自動作成や、検査画像の診断サポートといった使ってみたい様々なAIサービスが(例えばFDAなどの)公的な認証を取得し提供されるようになりました。しかし、そのほとんどがオンプレミスではなくクラウドでのサービス提供であるがゆえ、法的なレギュレーションではなく病院管理者の個人レベルのポリシーによって使用できません。なぜ、電子カルテや検査データ管理は院内サーバーのオンプレミスで稼働し各ベンダーからサービス提供されているのに、AIのオプション機能はほとんどクラウドを介する提供になってしまうのでしょうか？これは、ビジネスプラン的な理由なのか技術的な理由なのか分かりません。その辺りのベンダー側の事情を推察していただきたいです。
AI革命による株式市場の活況は、いま何合目くらいだと感じますか？
『週刊 Life is beautiful』6/18号では、読者Q&A以外にも、メインコンテンツとして「WWDC 2024」「OpenAI誕生物語」「Teslaの株主総会」「なぜNode.jsがもっと使われないのか？（なぜ未だにエンタープライズ系でJavaが強いか？）」「生物が得たマクロ言語」などのトピックを2万字超のボリュームで掲載。また最新号は6/25に配信予定です。初月無料のお試し購読をすると、6月分バックナンバーを含むすべてを読めます。
この記事の著者・中島聡さんのメルマガ
※ワンクリックで簡単にお試し登録できます↑
￥880/月（税込）初月無料 毎週 火曜日(年末年始を除く)
月の途中でも全ての号が届きます
【関連】AIを飛躍的に賢くする「世界モデル」とは何か？天才エンジニアが語るAGI(汎用人工知能)革命の“恐るべきワクワク感”
【関連】AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説
初月無料購読ですぐ読める！ 6月配信済みバックナンバー
- 週刊Life is beautiful ２０２４年６月１８日号： WWDC 2024、OpenAI誕生物語、Teslaの株主総会、なぜNode.jsがもっと使われないのか？、生物が得たマクロ言語(6/18)
- 週刊Life is beautiful ２０２４年６月１１日号： オープンソース・エコシステムがうまく回る一番の理由、河野太郎大臣との対談、書籍のビデオ講座化(6/11)
- 週刊Life is beautiful ２０２４年６月４日号： NvidiaのCUDAが今の地位を築いた経緯、分散型AIマイニング・サービス、データフロー・プログラミング(6/4)
image by: FilipArtLab / Shutterstock.com
シェアランキング
都議会に響く「嘘つき！」の声。小池百合子氏「出馬宣言」文字起こしで判明、あまりにも多い安倍元首相との“類似点” ★ 145
トヨタという“日本の病巣”を国税OBが告発! 株価以外すべて破壊「日本人の給料を下げ続けたトヨタ」失われた30年の真実 ★ 129
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと ★ 123
京大教授が激しく落胆。“売国政治屋”の岸田首相「骨太の方針2024」が日本の“三流国転落”を決定づけた ★ 76
石丸伸二はなぜ都民のロマンをかき立てるのか？小池vs蓮舫の“古い都知事選”に挑戦する｢ #東京を動かそう ｣石丸現象の正体 ★ 76
裏目に出た小池百合子氏の都知事選「後出しジャンケン」出馬表明に区市町村長も巻き込む“自作自演”疑惑。蓮舫氏「電撃出馬」で狂い始めた歯車 ★ 68
「政治には金がかかる」麻生太郎氏にチョッと足りない３つ。無能の自覚･犯罪の反省･メタボ自民保守政治に対する恥の意識 ★ 60
辛坊治郎氏が語る「親ガチャ」より怖い「才能ガチャ」の話。不細工で頭が悪い人生ハードモードに日本はどう向き合うのか ★ 50
安倍政権で起きた“悪夢”の元凶。立憲民主党を歪めた「野田佳彦率いる保守反動派」と“共存不可能”な議員たちが今すべきこと ★ 42
批判の多い年金だけれど「障害年金」の手厚さを知っていますか？ ★ 40
転職、倒産、離婚…ケンタッキーの彼が「カーネルおじさん」になるまでの苦難 ★ 40
Nステの元お天気お姉さんが解説。今年の「梅雨の遅れ」と「豪雨」の関係 ★ 39
“報じないこと”でジャニー喜多川に加担。自浄能力を無くし隠蔽体質の強化で性被害者の増加に手を貸した大マスコミの重罪 ★ 35
森保Jが目を背けるアジアサッカーの闇。日本サッカー協会がミャンマー市民虐殺に“加担”!?「親日利権」に群がる面々 ★ 32
プーチンは戦争が続く限り権力を維持できる「核兵器」を本当に使うのか？独裁者に見当たらぬ停戦の理由 ★ 32
米倉涼子48歳 壮絶闘病を押し「私、失敗しないので」…ドクターX劇場版は杖をつき完成も「本当に大丈夫か」芸能記者が不安を隠せぬ理由 ★ 30
人口、経済力、軍事力は世界一に。それでもインドが「世界の覇権国家」になることができない理由 ★ 29
「それって個人の感想ですよね？」という“落とし穴”を避けるための一冊 ★ 29
小澤征爾さんも天国でお手上げ？征悦vs征良氏の30億円“遺産争続”で「滝川クリステル事件」を記者が思い出すワケ ★ 26
小澤征爾から教えられた「向き合え」ということ。いまも成功者たちの胸に残る言葉たち ★ 25
いいね！しよう
0 コメント:
コメントを投稿