チャンク分割

チャンク分割とは

チャンク分割（Chunking）は、長い文書を検索・埋め込みしやすい単位に切り分ける前処理です。RAGでは、この分割の良し悪しが検索精度・回答品質を大きく左右します。

文書全体を一つのベクトルにしてしまうと話題がぼやけ、逆に短すぎると文脈が失われます。意味が1つの塊として残る程度のサイズに切るのが基本です。

代表的な分割方式

• 固定長分割: 一定文字数・トークン数で機械的に区切る（実装が簡単）
• 意味単位分割: 段落・見出し・箇条書きなど文書構造で区切る
• オーバーラップ付き: チャンク間で一部を重ねて、境界で文脈が切れないようにする
• 再帰的分割: 章→節→段落と段階的に細分化

士業の実務での重要性

• 条文・通達: 条番号・項・号で区切ると、後で根拠提示がしやすい
• 判例・Q&A: 「事案／争点／結論」のブロック単位で切る方が引きやすい
• 契約書: 条項単位で分けることで、レビュー用途に直結する
• 社内マニュアル: 見出し構造を活かすと、手順単位で引ける

チャンク設計次第で「同じ資料なのに役立つRAGとそうでないRAGに分かれる」ため、設計段階で最も時間をかけるべき工程です。

注意点

• 大きすぎるとノイズが増え、小さすぎると文脈が失われます。実データで評価しながら調整するのが現実的です。
• 見出し・出典・日付などのメタデータもチャンクに付与すると、後段の絞り込み・引用提示で効きます。

士業実務での使いどころ

チャンク分割そのものはシステム側の処理ですが、考え方は日々のAI利用にも応用できます。決算資料や契約書のような長い文書を丸ごと渡すと回答がぼやけることがあり、章や条項ごとに分けて渡すだけで精度が上がるのは、チャンク分割と同じ理屈です。長い資料の渡し方の工夫は長いPDFをAIで要約する手順で具体的に紹介しています。また、過去の相談記録や所内マニュアルをAIで検索できるようにする際は、この分割の設計が回答の質を左右するため、導入時にベンダーへ確認したいポイントの一つです。