Scaling Laws for Neural Language Models

Decrypt history, Encrypt future™

Scaling Laws for Neural Language Models

Scaling Laws for Neural Language Models(arXiv:2001.08361)は、2020年1月にOpenAIおよびジョンズ・ホプキンズ大学の研究チーム(Jared Kaplan、Sam McCandlishら)が発表した論文である。自己回帰型言語モデルの性能が、モデルサイズ・データ量・計算量とどのような定量的関係にあるかを示し、その後の大規模言語モデルとAIエージェントへ至る開発競争に、予測可能な根拠を与えた。

この記事の要点

  1. 損失は3つの規模に対してべき乗則で減る。モデルサイズ、データ量、計算量は、他の2つがボトルネックにならない限り、滑らかなべき乗則に従って交差エントロピー損失を下げる。
  2. 支配要因は総パラメータ数である。層数と幅の比やアテンションヘッド数は、合理的な範囲では損失にほとんど影響しない。
  3. 過学習を避ける比率はおよそ N の 0.74 乗。モデルだけ、またはデータだけを増やすと性能は頭打ちになる。データ量はモデルサイズの約 0.74 乗に比例して増やす。
  4. 予算は大きなモデルを早く止める配分に向ける。小さなモデルを収束まで長く訓練するより、大きなモデルを収束の手前で打ち切るほうが計算効率がよい。
  5. 後続研究で比率は更新された。実験範囲は WebText2 上の自己回帰 Transformer(103〜109 パラメータ)であり、その後の Chinchilla 則でデータとパラメータの比率はより均等な方向へ精緻化された。

1. 計算機科学史における位置づけ

人工知能研究は1956年のダートマス会議に端を発し、2006年以降の深層学習によって、多層ニューラルネットワークによる特徴抽出が可能になった。2017年に提案された Transformer は、系列内の要素どうしの関連を並列に計算する仕組みを導入し、大量のテキストから次のトークンを予測する言語モデルの基盤を確立した。

ただし2017年時点では、層数や幅の微調整と、モデル規模・データ量・計算資源の拡大のどちらが性能を決めるのかを示す統一的な式はなかった。本論文は、テストセットの交差エントロピー損失 \(L\) を指標に、これらの要因を最大7〜8桁の範囲で変え、性能が予測できることを示した。

2. 主要な知見:べき乗則

Transformer ベースの自己回帰型言語モデルでは、他の2つの要因がボトルネックにならない限り、損失 \(L\) は次の3つの規模それぞれに対して滑らかなべき乗則で減少する。

モデルサイズ(非埋め込みパラメータ数 N)

データと計算が十分にあるとき、損失はパラメータ数 \(N\) で近似される。

\[L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha_N}\]

WebText2 での実験値は \(\alpha_N \approx 0.076\)、\(N_c \approx 8.8 \times 10^{13}\) である。パラメータ数を2倍にすると、損失は約 \(2^{-0.076} \approx 0.95\) 倍、つまり約5%減る。

データセットサイズ(トークン数 D)

十分に大きなモデルを早期終了で訓練すると、損失はデータ量 \(D\) に従う。

\[L(D) \approx \left(\frac{D_c}{D}\right)^{\alpha_D}\]

実験値は \(\alpha_D \approx 0.095\)、\(D_c \approx 5.4 \times 10^{13}\) である。

計算量(Cmin)

限られた計算予算 \(C_{\min}\)(PF-days)を、最適なモデルサイズとバッチサイズに割り当てたときの損失は次の式になる。

\[L(C_{\min}) \approx \left(\frac{C_c^{\min}}{C_{\min}}\right)^{\alpha_C^{\min}}\]

実験値は \(\alpha_C^{\min} \approx 0.050\)、\(C_c^{\min} \approx 3.1 \times 10^{8}\) である。

制約要因 べき指数 定数(実験値) 読み方
モデルサイズ \(N\) \(\alpha_N \approx 0.076\) \(N_c \approx 8.8 \times 10^{13}\) 2倍で損失は約5%減
データ量 \(D\) \(\alpha_D \approx 0.095\) \(D_c \approx 5.4 \times 10^{13}\) 早期終了した大規模モデル
計算量 \(C_{\min}\) \(\alpha_C^{\min} \approx 0.050\) \(C_c^{\min} \approx 3.1 \times 10^{8}\) 最適配分時(PF-days)

定数 \(N_c\)、\(D_c\)、\(C_c^{\min}\) は語彙サイズやトークン化に依存する。べき指数 \(\alpha\) は広いスケールで安定している。

3. アーキテクチャの形状と過学習

深さ(層数)と幅(隠れ層の次元)の比、セルフアテンションのヘッド数は、合理的な範囲では損失をほとんど変えない。性能を決めるのは局所的な形ではなく、総パラメータ数 \(N\) である。

一方で、\(N\) と \(D\) の片方だけを増やし、もう片方を固定すると、性能は頭打ちになり過学習が起きる。両者を同時に見た損失は次の式で表される。

\[L(N, D) = \left[ \left(\frac{N_c}{N}\right)^{\frac{\alpha_N}{\alpha_D}} + \frac{D_c}{D} \right]^{\alpha_D}\]

過学習のペナルティを避けて性能を上げ続けるには、\(D \propto N^{\alpha_N / \alpha_D} \approx N^{0.74}\) の比率で両方を増やす必要がある。モデルサイズを8倍にするなら、データ量は約 \(8^{0.74} \approx 5\) 倍で均衡する。

4. 計算予算の最適配分

大規模モデルは小規模モデルよりサンプル効率が高く、同じ損失に到達するまでの更新回数とトークン数が少ない。

一定の計算予算のもとで損失を最も効率よく下げる戦略は、小さなモデルを収束まで長く訓練することではない。非常に大きなモデルを用意し、収束の手前で訓練を打ち切ることである。最適配分の増加率は次の通り。

変数 計算予算に対する増加率
最適モデルサイズ \(N\) \(N \propto C_{\min}^{0.73}\)
最適バッチサイズ \(B\) \(B \propto C_{\min}^{0.24}\)
最適ステップ数 \(S\) \(S \propto C_{\min}^{0.03}\)
必要データ量 \(D = B \cdot S\) \(D \propto C_{\min}^{0.27}\)

計算予算 \(C_{\min}\) を増やしたときの、損失を最小にする配分。

計算資源が10億倍(\(10^{9}\) 倍)になっても、増分の大部分はモデルサイズ(100万倍以上)に向ける。逐次的な更新回数の増加は10倍未満にとどまる。データ量の増加も、その多くをバッチサイズの拡大、つまりデータ並列で吸収できる。

5. システム設計とその後の展開

本論文は、AI研究をアルゴリズムの探索から、大規模計算基盤への投資と実装を伴う実用段階へ移す契機になった。

  • 性能を事前に予測できる。小規模な学習曲線から、数桁大きい計算を投入したときの到達損失を外挿できる。クラスタ構築の判断に、定量的な根拠を与えた。
  • 資源配分の基準が数式になった。限られた GPU / TPU の時間を、データ収集とパラメータ拡大のどちらに使うかを、経験則ではなく式で比較できる。
  • エージェント化の前提を支えた。計算量・データ量・モデルサイズを増やすと損失が単調に減る、という事実は、次単語予測の精度にとどまらない。世界についての知識や推論が積み上がり、のちに外部の道具で手順を実行するAIエージェントへつながる基盤になった。

6. 制約と後続研究

実験の対象は WebText2 上の自己回帰型 Transformer で、パラメータ数は \(10^{3}\) から \(10^{9}\) の範囲である。損失がエントロピーの下限に近づく領域、別のモダリティやタスクでの係数、推論コストを入れた最適比率は、この実験だけでは決まらない。

これらの点は後続研究で精緻化された。代表例が、パラメータ数とデータ量をより均等に増やす DeepMind の Chinchilla スケーリング則である。

出典:Scaling Laws for Neural Language Models(arXiv:2001.08361)