「次の言葉」の手前にある、文脈のしくみ。
単語を、関係のなかで見る
「銀行の窓口」と「窓口を一本化する」。同じ言葉でも、周囲の表現によって意味の受け取り方は変わります。言語モデルにとっても、入力された語を孤立した記号として扱うだけでは十分ではありません。Transformerを読む入口は、文章のどこを手がかりにするのか、という問いにあります。
注意機構が結びつけるもの
Vaswaniらが2017年に発表したTransformerは、注意機構を中心に構成されたニューラルネットワークです。自己注意では、入力の各位置からほかの位置への関係を計算し、その重みに応じて情報をまとめます。複数の注意ヘッドを使うことで、ひとつの関係だけに限らず、異なる情報の組み合わせを扱える構造になっています。
順番の情報も必要になる
単語の順序が変われば、文章の意味も変わり得ます。原論文では、位置の情報を表現に加える方法が示されています。ただし、現在の言語モデルがすべて原論文と同じ構成というわけではありません。エンコーダーやデコーダーの使い方、位置表現、学習方法などはモデルごとに確認する必要があります。
流暢さと正確さを分けて読む
自然な文章が出ることと、その内容が事実であることは別の評価項目です。注意の重みを見ただけで、モデルの判断理由がすべて説明できるわけでもありません。利用を考える際は、出力の読みやすさだけでなく、参照資料との一致や、不明な問いへの振る舞いを個別に確認します。これは本誌の読み方の提案であり、原論文の実験結果ではありません。
原論文を開くときの順番
まずモデル全体の構成図を見て、次に自己注意と位置表現の説明を読むと、各部品の役割を追いやすくなります。数値を見るときは、対象タスク、比較相手、学習条件を一緒に読むことが大切です。特定の翻訳実験の結果を、日本語の業務文書やあらゆる会話の性能へ、そのまま広げて解釈しないようにしましょう。
参照資料
以下の一次資料を参照した、本誌による解説です。引用先の研究機関や著者が、当サイトを推奨していることを意味しません。
資料確認日：2026年10月28日。説明用の例と本誌の提案は、参照資料の実験結果と区別しています。
内容の訂正について
誤記や出典の問題がありましたら、該当箇所と確認できる資料を添えてお問い合わせください。