Evolutionary Model Merge — 進化的探索でモデル合成レシピを自動発見する

Evolutionary Model Merge（エボリューショナリー・モデルマージ、以下 EvoMerge）は、Sakana AI が 2024 年 3 月に発表した手法である。既存の学習済みモデルをどう組み合わせれば最も強くなるかを、進化的アルゴリズム（evolutionary algorithm ＝生物の進化を模した最適化手法。候補をたくさん作り、成績の良いものを残して次の候補を作る）で自動探索する。追加の学習データも勾配更新（gradient update ＝学習によるパラメータの書き換え）も不要でありながら、ファインチューニング（fine-tuning ＝追加学習による専門化）の到達点を上回る 7B クラスのモデルを作り出した。

1. 背景 — モデルマージは「職人芸」だった

モデルマージ（model merging）とは、複数の学習済みモデルの重み（weight ＝モデル内部の数値パラメータ）を混ぜ合わせて 1 つのモデルにする手法を指す。学習を回さずに能力を足し合わせられるため、オープンウェイト（重みが公開されたモデル）コミュニティで急速に広まった。

SLERP（球面線形補間）・TIES・DARE といったマージ手法が知られているが、いずれも「どの層をどの比率で混ぜるか」を人間が手で決める必要がある。
探索空間は層数 × モデル数 × 比率の組み合わせで爆発する。人間の勘に頼る以上、試せるのはごく一部にすぎない。
結果として、うまくいったレシピは「なぜ効くのか説明できないが経験的に良い」という職人芸の集積になっていた。

2. 手法 — CMA-ES で 2 種類の探索空間を回す

EvoMerge は人間の勘を CMA-ES（Covariance Matrix Adaptation Evolution Strategy ＝共分散行列適応進化戦略。連続値の最適化に強い、実績のある進化的探索アルゴリズム）に置き換える。探索空間は 2 つある。

パラメータ空間（Parameter Space, PS）

層ごとに「どのモデルの重みをどれだけ混ぜるか」の係数を探索する。
従来手法と同じ土俵だが、比率を人間ではなく進化的探索が決める点が違う。

データフロー空間（Data Flow Space, DFS）

重みは混ぜず、推論時にトークン（入力を分割した処理単位）がどのモデルのどの層を通るかという経路そのものを探索する。
層を積み直す発想なので、7B（70 億パラメータ）級の部品から 21B 相当の構成を合成できる。異なるサイズ・系統のモデルも組み合わせられる。

適合度（fitness ＝候補の良し悪しを表すスコア）は、候補モデルを目的タスクのベンチマークで実際に走らせた精度で測る。これを世代ごとに繰り返し、収束するまで回す。PS と DFS を組み合わせたハイブリッド探索が最も高い性能を出した。

3. 成果 — 公開されたモデルとベンチマーク

EvoLLM-JP-v1-7B

合成元：shisa-gamma-7b-v1（日本語 LLM）＋ WizardMath-7B ＋ Abel-7B-002（いずれも英語の数学特化モデル）。
MGSM-JA（Multilingual Grade School Math の日本語版＝小学校レベルの文章題を日本語で解かせるベンチマーク）で 52.0% を記録。
比較：合成元の各モデル単体はおよそ 30%。同じ素材をファインチューニングした場合の上限は 43.2% だった。学習を一切していない合成モデルが、学習した専門モデルを上回った。
さらに、はるかに大きい 70B クラスの日本語モデルをこのタスクで上回った。

EvoLLM-JP-A-v1-7B

数学側を Arithmo2-Mistral-7B に差し替えた Apache 2.0 ライセンス（商用利用可）のバリアント。実務で使えるよう権利面を整理した版。

EvoVLM-JP

VLM（Vision-Language Model ＝画像と言葉を同時に扱うモデル）を同じ手法で合成。日本語の文化固有コンテンツ（例：信号機の「青」、日本の風景や食べ物）を正しく説明できるかを問うベンチマークで当時の最高水準を達成した。
「日本語 LLM ＋英語 VLM」という、人間なら試さない組み合わせから生まれている。

4. なぜ重要か

計算コストが桁で違う。 勾配更新をしないので、必要なのは進化的探索と推論による評価だけ。ゼロから学習する場合の数分の一のコストで同等以上のモデルが手に入る。
人間が思いつかない組み合わせを見つける。「日本語の汎用モデル＋英語の数学モデル 2 本」から「日本語の数学モデル」が生まれる。言語と能力が別々に転移するという事実自体が、探索の副産物として示された。
民主化。 生成された重みは HuggingFace（機械学習モデルの共有プラットフォーム）で公開されており、中規模の GPU があればどの組織でも再現・利用できる。
査読を通っている。 2024 年に Nature Machine Intelligence に掲載（doi: 10.1038/s42256-024-00975-8）。プレプリントは arXiv:2403.13187（2024 年 3 月 19 日）。

5. 限界と注意点

合成元に無い能力は生まれない。 EvoMerge は既存モデルの能力の再配置であって、新しい知識の獲得ではない。
探索は目的タスクに依存する。 MGSM-JA を適合度に使えば MGSM-JA に最適化される。汎用性能が同時に上がる保証はない。
評価コストが本体。 学習は不要でも、世代 × 個体数ぶんの推論評価が要る。ベンチマークが重いほど探索も重くなる。
ライセンスの継承。 合成元のライセンスがそのまま制約になる。商用利用を狙うなら素材選定の段階で権利を見る必要がある（Apache 2.0 版が別途用意されたのはこのため）。

6. Sakana AI — 沿革

2023 年：東京で設立。共同創業者は David Ha（デイヴィッド・ハ）——元 Google Brain Japan 責任者で、ニューロエボリューション（神経回路の構造そのものを進化させる研究）で知られる——と Llion Jones（ライオン・ジョーンズ）——Transformer の原論文「Attention Is All You Need」の共著者。Google 系のスピンオフではなく独立会社である。
社名の「Sakana」は魚。1 匹の巨大なモデルではなく、小さなモデルの群れ（school of fish）で知能を作るという設計思想を表している。
2024 年 3 月：Evolutionary Optimization of Model Merging Recipes を発表。EvoLLM-JP / EvoVLM-JP を同時公開。
2024 年 8 月：The AI Scientist を発表。研究アイデアの立案 → 実験コードの実行 → 論文執筆 → 査読までを自動で回すシステム。AI による科学的発見の自動化という次の主題へ移った。
研究哲学：進化・自己組織化・創発（emergence ＝個々の単純な要素の相互作用から、全体として複雑な性質が現れること）という自然界の原理を、現代のディープラーニングに持ち込む。

7. まとめ

EvoMerge は問いを立て直した手法である。「どうすれば強いモデルを学習できるか」ではなく、「すでに存在する強いモデルを、どう組み合わせれば良いか」。この転換により、計算資源とデータの壁が大幅に下がり、ドメイン特化 AI の構築が大企業以外にも開かれた。オープンウェイトのモデルが増え続けるかぎり、探索対象は自動的に広がっていく——素材が増えるほど強くなる、という性質を持つ手法だといえる。

参考文献

Related notes

148 notestil