アテンション（注意機構）

アテンションとは

アテンション（Attention、注意機構）は、入力された文章の中で、どの単語にどれだけ「注目」して処理すべきかを学習する仕組みです。Transformerの中核部品で、現代のLLMの賢さの源泉とされています。

なぜ必要か

たとえば「その契約書についてそれを修正してほしい」という文では、「それ」が何を指すかを正しく掴む必要があります。

アテンションは、各単語が文中のどの単語と強く関係しているかを数値スコアで計算し、重要な部分に重み付けして処理します。これにより、離れた位置にある語同士の関係も正しく扱えます。

仕組みのイメージ

• 各単語について Query（問い）・Key（鍵）・Value（値） の3つのベクトルを作成
• Query と Key の類似度から注目度スコアを算出
• スコアに従って Value を重み付き合成

これにより「この単語は文脈上どの単語を"見て"解釈すべきか」をデータから学習します。

他との関係

• Self-Attention: 同じ文中の単語同士でAttentionを取る仕組み（Transformerの中核）
• Transformer: Attentionを積み重ねて作られたアーキテクチャ
• LLM: TransformerベースなのでAttentionが動作原理の中心

ChatGPTやClaudeが長文の文脈を正しく追えるのは、このAttention機構のおかげです。

士業実務での使いどころ

アテンションそのものを事務所で操作することはありませんが、長い契約書やPDFを読ませても文脈が崩れにくい理由として知っておくと、AIに任せられる仕事の見当を付けやすくなります。数十ページの資料でも離れた箇所同士の関係を追えるため、長いPDFをAIで要約する方法のような使い方が実用の水準になっています。就業規則のように条文同士が参照し合う文書のチェックでも同じ仕組みが働いており、進め方は就業規則のAIドラフト・チェックで解説しています。