RAGの基本アーキテクチャ

[ドキュメント] → [チャンク分割] → [埋め込み生成] → [ベクトルDB保存]
                                                           ↓
[ユーザー質問] → [質問の埋め込み] → [類似検索] → [関連チャンク取得]
                                                           ↓
                              [LLMへの入力：質問 + 関連チャンク] → [回答生成]

セットアップ手順

pip install langchain langchain-openai langchain-community chromadb openai

はじめてのRAG実装（LangChain + ChromaDB）

from langchain_community.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# ドキュメントの読み込みとチャンク分割
loader = TextLoader("document.txt", encoding="utf-8")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = splitter.split_documents(docs)

# ベクトルDBに保存
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(chunks, embeddings)

# RAGチェーンの構築
llm = ChatOpenAI(model="gpt-4o-mini")
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(search_kwargs={"k": 3}),
)

# 質問と回答
result = qa_chain.invoke({"query": "ドキュメントの主要なポイントは何ですか？"})
print(result["result"])

よくある詰まりポイント

Q: 回答の精度が低い → チャンクサイズとオーバーラップを調整してみましょう。500文字・50文字オーバーラップが一般的な出発点です。検索件数（kの値）を増やすことも有効ですが、コンテキスト長の上限に注意が必要です。

Q: 無関係な情報が混入する（ハルシネーション） → プロンプトに「提供されたコンテキストに基づいてのみ回答し、コンテキストに情報がない場合は『わかりません』と答えてください」と明記しましょう。

Q: APIコストが高くなる → gpt-4o-mini などの軽量モデルを使うか、ローカルLLM（Ollama等）を検討してください。埋め込み生成には比較的安価な text-embedding-3-small が使えます。