FLOPs Floating Point Operations：浮動小数点演算数
FLOPs（Floating Point Operations／浮動小数点演算数）とは、積和演算（A × B + C）をはじめとする浮動小数点計算の総数である。本記事での焦点は、AGI/ASI 議論でスケール派が実際に積み上げようとしている物理量としての共通言語である。
問いは次である。「回路効率や送電損失が悪くても、資本とインフラの物量で知能の領域へ到達できるか。」答えの骨格は、総FLOPsを桁で押し上げることで性能曲線を上へ動かす、という力技である。
FLOPs と FLOPS
- FLOPs（演算総数）：モデルを1回学習完了させるまでに消費した計算の総作業量
- FLOPS（1秒あたり）：GPUやデータセンターの処理速度
AIの文脈で知能のスケールを語るとき中心になるのは、どれだけ巨大な演算総数（FLOPs）をモデルに流し込んだか、である。
標準的な Transformer（Dense型）の学習では、必要な計算量 \(C\)（FLOPs）は、パラメータ数 \(N\) とトークン数 \(D\) で次のように近似される。
\[C \approx 6ND\]これは forward / backward のコストをまとめた経験的な近似である。「知能の規模は、パラメータとデータの積（＝総FLOPs）で大きく規定される」という見方の出発点になる。
スケーリング法則と物量
ビッグテックが巨額インフラ投資を断行する根拠のひとつが、スケーリング法則（Scaling Laws）である。予測誤差（Loss）は総FLOPsの増加に伴い、対数スケール上で滑らかに下がる傾向（Power Law）を示す。
重要なのは、FLOPsを10倍、100倍、1000倍と拡大しても、性能曲線がすぐには途切れず、改善が続く局面が観察されてきた点である。
- Kaplan から Chinchilla へ：初期はパラメータ拡大が重視された（Kaplan et al.）。Hoffmann et al. の Chinchilla では、固定FLOPs予算のもとではパラメータ数とトークン数を同程度にスケールする方が効率的だと示された。
- 過剰学習（Over-training）：Llama 3 以降では、推論効率のため、Chinchilla 最適付近を超えるトークン量を学習段階で投入する手法が広がっている。
FLOPsを投入し続けると、特定の計算量付近（例：\(10^{24}\)〜\(10^{26}\) FLOPs）で、言語補完を超えた論理推論・プログラミング・数学・多段計画などが急に目立つ、という報告がある（創発的能力、Emergent Abilities）。相転移のように見える場合もあるが、指標と評価設計に依存し、厳密な物理的相転移と同定できるわけではない。それでも現場仮説としては、「回路が非効率でも、計算量を十分に高めれば高度な振る舞いが現れる」という読みが、スケール投資を支えている。
非効率を物量で補填する
脳と、シリコン＋電力インフラの効率差は極めて大きい。脳はおよそ20Wで自律思考する。AIデータセンターは施設単位で数百MW〜数GW級を消費する。
| 比較項目 | 脳 | ビッグテックインフラ |
|---|---|---|
| エネルギー効率 | 極めて高い（〜20W） | 極めて低い（数百MW〜GW） |
| 演算速度（FLOPS） | 遅い（シナプスはミリ秒） | 速い（ペタ／エクサFLOPS） |
| 知能創出の論理 | 最適化されたバイオ構造 | 計算量（FLOPs）の累積 |
| 拡張性 | 容積・生体限界で固定 | 資本と電力で拡張可能 |
「効率的な脳を待つ」より、「非効率でも巨大な計算機を街ひとつ分建てる」方が AGI/ASI への物理的近道になりうる——それがスケール派の論理である。
Training FLOPs と Inference FLOPs
物量で知能を賄う議論の近年の変化は、計算量をどのタイミングで投入するか、である。
Training FLOPsは、パラメータ最適化に使う計算量である。GPT-2（2019年）はおおよそ \(10^{21}\) FLOPs 規模、GPT-4クラス（2023年）は Epoch AI 推定で約 \(2\times10^{25}\) FLOPs 前後とされる。次世代では \(10^{26}\)〜\(10^{27}\) FLOPs 超が視野に入る。一方、事前学習FLOPsを増やすだけでは、未知の難問に対する思考力の伸びが鈍化する局面も指摘されている。
Inference FLOPs（Test-Time Compute）は、回答時に思考チェーン（Chain of Thought）や検索・検証へ費やす計算量である。事前学習が比較的小さなモデル（例：7B〜70B）でも、推論時に大量のFLOPsを投入すると、事前学習だけで押した巨大モデルを上回る場合がある。ASI的な思考力は、学習時と運用時の二重でFLOPs物量に依存しうる。
物理的壁と自己ループ
高品質な人間由来テキストは、すでに \(10^{25}\) FLOPs 前後で逼迫しつつある。次のスケール（\(10^{26}\) FLOPs〜）には、AIが合成データ（Synthetic Data）を生成し、別のAIがそれを学ぶ自給サイクルが重要になる。
単一データセンターでGW級を消費しようとすると、送電網の周波数変動や負荷スパイクが系統リスクになる。専用原発、次世代地熱、独立電源の確保にビッグテックが動く直接の理由である。
物量戦略を段階で読むと、次のようになる。
- 力押し：効率が悪くても原発・送電・GPUを投入し、準ASIを強引に生成する
- 自己革新：準ASIに半導体・冷却・アーキテクチャ・電源設計を担当させる
- 効率の爆発：ASI自らが回路と熱効率を原理から改善し、次世代のFLOPs生成効率を引き上げる
結論
「いまの回路と発電効率のままでも、物量でおおよそのスーパーインテリジェンス性を賄えるか」への実務的答えは、イエスに近く、それが現在進行形で試されている最も現実的な接近のひとつである、となる。
スケール派にとって効率の悪さは決定的欠点ではなく、資本とインフラ投資で吸収可能な過渡期の摩擦である。累積FLOPsの前では、多くの非効率は計算可能なコストへ還元される。
ただし物量は探索空間を拡張する手段であって、停止条件そのものではない。誰が目的関数、Hard clause、許容誤差、探索上限、タイムアウトを固定し、有限時間で打ち切るか、という決定の問題は残る。
参考文献
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361
- Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556
- Meta AI (2024). The Llama 3 Herd of Models. arXiv:2407.21783
- Epoch AI. GPT-4 training compute estimates（約 \(2.1\times10^{25}\) FLOP）
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682
- OpenAI (2024). Learning to Reason with LLMs（test-time compute）
『P vs NP経営』の詳細はこちら
https://link.amazon/B04IEdYsn