Part 1/3: 百万トークンのコンテキストでLLMを訓練する：Ulyssesシーケンス並列化の仕組みと可能性

 近年、LLM（大規模言語モデル）の長文コンテキスト対応は急速に進んでいる。Claude 3.5やGemini 1.5 Proが100万トークンを超えるコンテキストをサポートする中、その訓練をどう効率化するかは研究者・エンジニアにとって喫緊の課題だ。本記事では、シーケンス並列化の代表的手法である**Ulyssesシーケンス並列化（Ulysses SP）**を深く掘り下げ、百万トークン規模のLLM訓練を現実化する仕組みと可能性を解説する。

本記事は3部構成シリーズ「Efficient LLM Training: Reinforcement Learning, Long Contexts, and Small-Model Breakthroughs」のPart 1として、長コンテキスト訓練の技術的基盤を扱う。Part 2では強化学習（RL）を活用した訓練効率化、Part 3では小型モデルの革新的アーキテクチャを取り上げる予定だ。

なぜ長コンテキスト訓練は難しいのか

Transformerのself-attentionは、シーケンス長 $L$ に対して $O(L^2)$ の計算量とメモリを要する。1万トークンが10万トークンになれば、メモリ要求は理論上100倍に膨れ上がる。テンソル並列化やパイプライン並列化は主にモデルの重みを分散する手法であり、シーケンス長の爆発的な増大には根本的な解決策にならない。このギャップを埋めるのが、**シーケンス次元に沿った並列化（Sequence Parallelism）**という考え方だ。

Ulyssesシーケンス並列化の核心：All-to-All通信

DeepSpeed Ulyssesは、Microsoftが提案したシーケンス並列化手法であり、その核心はAll-to-All集合通信を用いたAttentionの次元変換にある [Source: https://huggingface.co/blog/ulysses-sp]。

通常のシーケンス並列化では、入力シーケンスをN台のGPUにN等分する。各GPUはシーケンスの一部を保持するが、self-attentionは全トークン間の相互作用を計算するため、そのままでは他GPUの情報が必要になる。Ulyssesはこの問題を以下の手順で解決する：

1. 各GPUが担当するシーケンス断片のQuery / Key / Valueを計算する
2. All-to-All通信により、シーケンス次元の分割をヘッド次元の分割に「転置」する（各GPUが全シーケンス分のある特定ヘッド群を担当する形に変換）
3. 各GPUが担当ヘッドについて、完全なシーケンスを対象にAttentionを計算する
4. 再度All-to-Allで、Attention出力を元のシーケンス分割に戻す

このアプローチにより、各GPUは自分が担当するAttentionヘッドの全シーケンスを保持して計算できるため、通信と計算を効率的に分離できる。NVLinkなどの高速インターコネクトを備えた環境では特に威力を発揮する [Source: https://huggingface.co/blog/ulysses-sp]。

Ring AttentionとUlyssesの設計上の違い

シーケンス並列化の主要な競合手法としてRing Attention（Liu et al., 2023）がある。Ring AttentionはGPUをリング状に接続し、K/Vをリング上で順番に回覧しながらAttentionを計算することで、通信と計算のオーバーラップを実現する。通信量はシーケンス長に比例するため、超長シーケンスでは通信コストが増大する。

一方Ulyssesは、通信量がアテンションヘッド数に依存する設計だ。そのため、Grouped Query Attention（GQA）を採用する最新モデル（LLaMA 3やMistralなど）では、並列度がQuery Group数に制限される点に注意が必要だ。HuggingFaceの公式ブログでは、UlyssesとRing Attentionを組み合わせたハイブリッド戦略が推奨されており、モデルのアーキテクチャ特性と利用可能な並列度に応じて使い分けることが最善とされている [Source: https://huggingface.co/blog/ulysses-sp]。

HuggingFaceエコシステムでの実装

HuggingFaceはTRLやAccelerateと連携する形でUlysses SPのサポートを統合している。GRPOやPPOをはじめとする強化学習ベースの訓練パイプラインでも、長コンテキストの必要性が高まりつつあり、シーケンス並列化はその技術基盤として不可欠になってきた [Source: https://huggingface.co/blog/async-rl-training-landscape]。

実装時の主なポイントは以下の通りだ：

• プロセスグループの明示的定義：シーケンス並列グループとデータ並列グループを個別に設定する
• Flash Attention 2との組み合わせ：カーネルレベルのメモリ最適化と組み合わせることで効果が倍増する
• Gradient Checkpointingの併用：アクティベーションメモリの削減に必須に近い手段

ベンチマーク結果として、8台のA100（80GB）を用いたUlysses SP構成では、単一GPUでは到達不可能な100万トークン超のシーケンスを同等のスループットで訓練できることが報告されている。

まとめと次回予告

Ulyssesシーケンス並列化は、All-to-All通信の巧妙な活用によりAttention計算をヘッド次元に転置することで、百万トークン規模のLLM訓練を現実のものとする技術だ。Ring Attentionとの使い分けやGQAモデルでの制約を理解した上で適切に活用することが、実務での成功の鍵となる。

次回のPart 2では、強化学習を用いたLLM訓練の最前線として、16の主要なオープンソースRLライブラリから得られた教訓と、非同期RL訓練の実装パターンを詳しく解説する予定だ。