【2026年版】RAGの始め方 — LLMに自社データを活用させる完全ガイド

RAGの基本アーキテクチャ

[ドキュメント] → [チャンク分割] → [埋め込み生成] → [ベクトルDB保存]
                                                           ↓
[ユーザー質問] → [質問の埋め込み] → [類似検索] → [関連チャンク取得]
                                                           ↓
                              [LLMへの入力：質問 + 関連チャンク] → [回答生成]

セットアップ手順

pip install langchain langchain-openai langchain-chroma openai

はじめてのRAG実装（LangChain + ChromaDB）

from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_chroma import Chroma
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

# ドキュメントの読み込みとチャンク分割
loader = TextLoader("document.txt", encoding="utf-8")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = splitter.split_documents(docs)

# ベクトルDBに保存
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(chunks, embeddings)

# RAGチェーンの構築（LCEL形式）
llm = ChatOpenAI(model="gpt-4o-mini")
prompt = ChatPromptTemplate.from_template(
    "以下のコンテキストのみを元に質問に答えてください:\n\n{context}\n\n質問: {input}"
)
document_chain = create_stuff_documents_chain(llm, prompt)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
qa_chain = create_retrieval_chain(retriever, document_chain)

# 質問と回答
result = qa_chain.invoke({"input": "ドキュメントの主要なポイントは何ですか？"})
print(result["answer"])

よくある詰まりポイント

Q: 回答の精度が低い → チャンクサイズとオーバーラップを調整してみましょう。500文字・50文字オーバーラップが一般的な出発点です。検索件数（kの値）を増やすことも有効ですが、コンテキスト長の上限に注意が必要です。

Q: 無関係な情報が混入する（ハルシネーション） → プロンプトに「提供されたコンテキストに基づいてのみ回答し、コンテキストに情報がない場合は『わかりません』と答えてください」と明記しましょう。

Q: APIコストが高くなる → gpt-4o-mini などの軽量モデルを使うか、ローカルLLM（Ollama等）を検討してください。埋め込み生成には比較的安価な text-embedding-3-small が使えます。

ひよこ

最近「RAG」ってよく聞くんだけど、どういう仕組みなの？

ペンギン先生

RAGは「Retrieval-Augmented Generation（検索拡張生成）」の略で、LLMが回答するときに外部のデータを検索して参照する仕組みだよ。たとえばChatGPTは学習データにない社内マニュアルの内容は答えられないよね。RAGを使えば、質問に関連する社内ドキュメントを自動で探してきて、それを元にLLMが回答を生成してくれるんだ。

ひよこ

なるほど！でも普通の検索とは何が違うの？

ペンギン先生

普通のキーワード検索は完全一致や部分一致で探すけど、RAGでは「ベクトル埋め込み（Embedding）」という技術を使うんだ。文章を数百次元のベクトル（数値の配列）に変換して、意味が近い文章を見つけ出すよ。だから「有給の申請方法」と「休暇の取り方」みたいに、言葉が違っても意味が近ければヒットするんだ。

ペンギン先生

ここで簡単なRAGを体験してみてね。「pip install langchain chromadb sentence-transformers」でインストールして、ChromaDBに短いテキストを登録→類似検索してみるだけでベクトル検索の感覚がつかめるよ。OpenAI APIキーがない場合は、sentence-transformersのローカル埋め込みモデルでも試せるよ！

ひよこ

ベクトルってことは、それを保存するデータベースも特別なものが必要なのかな？

ペンギン先生

そのとおり！「ベクトルDB」と呼ばれる専用のデータベースを使うよ。代表的なものだと、クラウド型の「Pinecone」、ローカルで手軽に使える「Chroma」、既存のPostgreSQLに拡張を入れる「pgvector」などがあるね。2026年現在だと、まず試すならChromaが一番ハードルが低いかな。本番運用を見据えるならPineconeやpgvectorがおすすめだよ。

ひよこ

ドキュメントをそのままベクトルにするの？長い文書だと大変そうだね！

ペンギン先生

いい質問だね！長い文書はそのままだとうまく検索できないから、「チャンク分割」といって適切な長さに区切るんだ。だいたい200〜500トークンくらいが目安で、段落や見出し単位で切るのがコツだよ。チャンクが大きすぎると検索精度が落ちるし、小さすぎると文脈が失われる。このバランスがRAGの精度を大きく左右するポイントなんだ。

ひよこ

実際に構築するときはどうやって作るの？コードを全部自分で書くのかな？

ペンギン先生

LangChainやLlamaIndexといったフレームワークを使えば、かなり簡単に構築できるよ。LangChainは汎用的なLLMアプリ開発フレームワークで、RAG以外にもエージェントやチェーンを組める。LlamaIndexはRAGに特化していて、ドキュメントの読み込みからチャンク分割、ベクトル化、検索まで数行で書けるんだ。初めてならLlamaIndexの方がシンプルでおすすめだね。

ひよこ

RAGを使えばLLMのハルシネーション（嘘の回答）はなくなるの？

ペンギン先生

残念ながら完全にはなくならないんだ。ただし、大幅に減らすことはできるよ。コツは3つあって、まず検索結果の関連度スコアが低い場合は「情報が見つかりません」と返すようにすること。次に、プロンプトで「提供された情報のみを元に回答して」と指示すること。最後に、回答に引用元のチャンクを明示させること。この3つを組み合わせると、信頼性がかなり上がるよ。

ひよこ

構築した後、ちゃんと動いてるかどうかはどうやって確認するの？

ペンギン先生

RAGの評価には「RAGAS」というフレームワークが便利だよ。Faithfulness（回答が検索結果に忠実か）、Answer Relevancy（質問に対して的確か）、Context Precision（正しい文脈を取得できているか）といった指標で自動評価してくれるんだ。あとは実際のユーザーの質問と期待する回答のペアを用意して、定期的にテストするのも大事だね。

ひよこ

まとめると、まず何から始めればいいのかな？

ペンギン先生

おすすめのステップはこうだよ。まずPythonとLlamaIndexをインストールして、手元のPDFやテキストを読み込ませる。ベクトルDBはまずChromaで十分。LLMはOpenAI APIが手軽だけど、コスト管理には気をつけてね。小さく始めて「おっ、ちゃんと自社データから答えてくれる！」という体験を得たら、チャンク戦略の最適化やpgvectorへの移行、RAGASでの評価を段階的に進めるのがベストだよ。2026年はRAGのツールチェーンがかなり成熟してきたから、始めるには絶好のタイミングだね。