📖 推定読了時間：約6分
大規模言語モデル（LLM）の進化を語る上で、近年最も劇的なブレイクスルーの1つが「コンテキスト長（一度に読み込めるテキストの長さ）の超長大化」です。初期のChatGPT（GPT-3.5）がわずか4,000トークン（日本語で数ページ分）しか読めなかったのに対し、最新のLlama 3、Qwen 2.5、Mistralなどは、128,000トークンから100万トークン以上という、分厚い専門書数十冊分を丸ごと記憶して対話できるようになりました。
この長文処理能力の爆発的進化を水面下で支えているのが、中国のAI研究者Jianlin Su（蘇剣林）氏が提唱した位置符号化技術「RoPE（Rotary Position Embedding: 回転位置埋め込み）」です。従来のTransformerが抱えていた「文章が長くなると位置関係を見失って破綻する」という宿命を、複素平面上の「回転」という極めて美しい数学によって解決しました。なぜ、単にベクトルを回転させるだけで、AIは無限の文脈を理解できるようになったのでしょうか？
この記事のポイント
- 単語を「足し算」で位置付けする旧方式を捨て、QueryとKeyを「複素数の角度」で回転
- 内積（アテンションスコア）を計算すると、自動的に「単語同士の相対的な距離」だけが綺麗に残る数学的マジック
- 周波数を引き延ばす「YaRN（Yet another RoPE extensioN）」により、短文で学習したモデルを数倍〜数十倍に拡張可能
従来のTransformerが直面した「位置情報の壁」
そもそもTransformerの心臓部であるSelf-Attention機構は、単語の「並び順」を理解することができません。「吾輩は猫である」という文をバラバラにして「猫である吾輩は」と並べ替えても、Attentionの計算結果は全く同じになってしまいます（順序不変性）。
そこでオリジナルのTransformer（Attention Is All You Need論文）では、単語ベクトルに対して「先頭から何番目か」を示す波（正弦波・余弦波）の数値を直接足し合わせる「絶対位置埋め込み（Absolute Positional Encoding: APE）」を採用していました。
しかし、この方式には致命的な欠陥がありました。たとえば4,000トークンまでしか学習していないモデルに、5,000トークン目の文章を入力すると、モデルは「5,000番目の位置ベクトル」を見たことがないため、単語の埋め込みが完全に未定義の領域へと吹っ飛んでしまい、支離滅裂な文章を出力して崩壊してしまったのです。
深層学習やTransformerの基礎数式、Attention機構の根本原理を体系的に学び直したい方には、初心者からエンジニアまで分かりやすく解説した AI・生成AI入門書籍 が最適です。モデル内部のデータの流れが直感的にイメージできるようになります。
RoPEの魔法：2次元平面を「時計の針」のように回す
RoPEが導き出した答えは、「位置情報を足し算するのではなく、ベクトルを位置の分だけ回転させる」という幾何学的なアプローチでした。
| 位置符号化の手法 | 数学的操作 | 長文への外挿（未学習の長さへの耐性） |
|---|---|---|
| 絶対位置埋め込み（APE） | 単語ベクトル ＋ 位置ベクトル（足し算） | × 未知の大きな位置番号で完全に破綻 |
| ALiBi（Attention with Linear Biases） | アテンション行列に距離ペナルティを足す | △ 長文には耐えるが、遠くの情報を過度に忘却しやすい |
| RoPE（回転位置埋め込み） | QueryとKeyを位置に応じた角度 \(\theta\) で回転 | ◎ 内積で相対距離が綺麗に保存され、YaRN補間で超長文へ拡張可能 |
具体的な仕組みは実にエレガントです。モデル内部のQueryベクトルとKeyベクトルの次元を「2次元ずつのペア」に分割し、それぞれの平面上で、単語の位置番号 \(m\) に比例した角度 \(m\theta\) だけベクトルをグルリと回転させます。
そして、位置 \(m\) にあるQueryと、位置 \(n\) にあるKeyの内積（Attentionスコア）を計算すると、複素数の回転公式（オイラーの公式）によって、絶対位置 \(m\) と \(n\) が互いに相殺され、「両者の差である相対距離 \((m - n)\theta\) の回転だけ」が綺麗に残るのです。
これにより、単語が文章のどこにあろうと、「2つの単語がどれくらい離れているか」という相対的な文脈関係だけを純粋に評価できるようになりました。
オープンソースLLM（Llama 3やQwen等）をファインチューニングして長文解析や独自ドメインのRAGシステムを構築したい実践派エンジニアには、最新の実装テクニックを凝縮した ドメイン特化型LLM・Fine-Tuning/RAFT実践ハンズオン が手元にあると、コンテキスト長拡張のコード設定に迷うことがなくなります。
長さを数十倍に引き延ばす「YaRN」の周波数スケーリング
RoPEの真価は、後からコンテキスト長を何倍にも引き延ばせる「位置内挿（Position Interpolation）」との相性の良さにあります。
通常、8,000トークンで学習したモデルに32,000トークンの文章を読ませようとすると、回転角がこれまでに経験したことのない未知の角度まで進んでしまい、やはり精度が乱れます。そこで開発されたのが「YaRN（Yet another RoPE extensioN）」です。
高周波と低周波を使い分けるインテリジェンス
RoPEの次元には「高速で回転する高周波」と「ゆっくり回転する低周波」が混在しています。YaRNは、隣り合う単語の局所的な関係を決める「高周波成分」には手を触れず、遠く離れた単語の大まかな位置を把握する「低周波成分」だけを滑らかに縮小（補間）します。この周波数帯ごとの賢いスケーリングにより、わずか数百ステップの微調整学習を行うだけで、4kモデルを128kや1Mトークンへと一瞬で拡張できるようになったのです。
まとめ：幾何学がAIの「記憶の地平線」を広げた
足し算という素朴な発想から、回転という幾何学への転換。RoPEのアイデアは、言語モデルにおける「文脈の把握」という根本課題に、最も数学的に純度の高い解答をもたらしました。
世界中で開発されている最新鋭のオープンソースモデルが、当たり前のように本一冊丸ごとの長文を瞬時に理解できるのは、この回転の数学がトークンとトークンの距離を完璧に紡ぎ出しているからです。美しい数式がテクノロジーの限界を塗り替える瞬間の興奮が、ここにあります。
0 件のコメント:
コメントを投稿