複数の回答から最適解を選ぶ「best-of-N」
Databricksの手法は、試行を何度も繰り返すことで、性能の低いモデルであっても、特定のタスクやベンチマークでよい結果を出せるという特性を活かしている。研究者たちはこのようにモデルの性能を向上させる手法を「best-of-N」（N回の出力のなかから最良の結果を選ぶという意味）と呼んでいる。Databricksは、例題に基づいて、複数の出力のなかから人間の評価者が最も高く評価するものを予測できるようにモデルを訓練した。このDatabricks Reward Model（DBRM）は、追加のラベル付きデータを使わずに、ほかのモデルの性能を高めるために活用できる。
DBRMは、対象モデルの出力のなかから最適なものを選び出す。これにより、モデルをさらにファインチューニングするための合成データが生成され、モデルは初回からより優れた回答を出力できるようになるというわけだ。Databricksはこの新手法を「Test-time Adaptive Optimization（TAO）」と名付けている。「この手法では比較的軽度の強化学習を用いて、best-of-Nの利点をモデル自体に組み込んでいます」とフランクルは説明する。
TAOの手法はより大規模で高性能なモデルに適用することで、より高い効果を発揮することがDatabricksの研究により明らかになったとフランクルは付け加える。強化学習と合成データはすでに広く利用されているが、それらを組み合わせて言語モデルを改良する手法は比較的新しく、技術的にも難しい。
Databricksは、AIの開発手法についてほかに類を見ないほどオープンな姿勢をとっている。これはDatabricksが顧客のために強力なカスタムモデルを構築する技術力があることを示すためだ。同社は以前『WIRED』に対し、最先端のオープンソース型大規模言語モデル（LLM）「DBX」をどのようにゼロから開発したかを説明してくれたこともある。
特定用途向けAIモデルの精度向上
LLMを特定業務に最適化するには、適切にラベル付けされた質の高いデータが不可欠だ。このようなデータがなければ、財務報告書のパターン分析や医療記録からの問題発見といったタスクに対応できるよう、ファインチューニングするのは難しい。
現在、多くの企業はいわゆる「エージェント」と呼ばれる仕組みを使って、こうしたタスクの自動化を目指している。
金融業界であれば企業の業績を分析し、レポートを作成して複数のアナリストに自動送信するといった処理をエージェントで自動化しようとするケースが考えられる。健康保険業界では、顧客に対して関連する薬や症状に関する情報を案内するために、エージェントを活用しようとするかもしれない。
Databricksは、言語モデルが財務関連の質問にどれだけ正確に回答できるかを測るベンチマーク「FinanceBench」において、TAOの手法の効果を検証している。メタ・プラットフォームズが無料で提供しているAIモデルのなかで最小の「Llama 3.1B」は、このベンチマークで68.4％のスコアを記録した。OpenAIの独自モデル「GPT-4o」および「o3-mini」のスコアは82.1％だった。DatabricksがLlama 3.1BにTAOの手法を適用したところ、スコアは82.8％にまで向上し、OpenAIのモデルを上回る結果となった。
「非常に有望」な訓練手法
「かなり期待できる方向性です」。こう語るのは、ノースイースタン大学で強化学習を研究する計算機科学者のクリストファー・アマートだ。「良質な訓練データの不足が大きな課題という点には完全に同意します」
現在多くの企業が、合成データと強化学習を用いてAIモデルを訓練する方法を模索しているとアマートは指摘する。また、TAOの手法について「非常に有望です。というのも、ラベル付けの規模を大幅に拡大できるだけでなく、時間の経過とともにモデルがより強力になり、ラベルの質も高まることで、さらに性能を高められる可能性があるからです」と語る。
ただし、強化学習はときに予測不能な方向に進むことがあるので、慎重に扱う必要があるとアマートは付け加える。
フランクルは、DatabricksがTAOの手法を用いて顧客のAIモデルの性能を向上させ、顧客にとって初となるエージェントの構築を支援していると話す。Databricksの顧客である健康管理アプリの開発企業は、それまで十分とは言えなかったAIモデルの信頼性を、TAOの手法によって実用可能なレベルにまで高めることができたという。「アプリでは、医学的な正確性が求められていました」とフランクルは語る。「それを実現するのは非常に難しい課題なのです」
（Originally published on wired.com, translated by Nozomi Okuma, edited by Mamiko Nakano)
※『WIRED』による人工知能（AI）の関連記事はこちら。
.jpg)
雑誌『WIRED』日本版 VOL.56
「Quantumpedia：その先の量子コンピューター」
従来の古典コンピューターが、「人間が設計した論理と回路」によって【計算を定義する】ものだとすれば、量子コンピューターは、「自然そのものがもつ情報処理のリズム」──複数の可能性がゆらぐように共存し、それらが干渉し、もつれ合いながら、最適な解へと収束していく流れ──に乗ることで、【計算を引き出す】アプローチと捉えることができる。言い換えるなら、自然の深層に刻まれた無数の可能態と、われら人類との“結び目”になりうる存在。それが、量子コンピューターだ。そんな量子コンピューターは、これからの社会に、文化に、産業に、いかなる変革をもたらすのだろうか？ 来たるべき「2030年代（クオンタム・エイジ）」に向けた必読の「量子技術百科（クオンタムペディア）」！詳細はこちら。
0 コメント:
コメントを投稿