全文検索 とは？

小さいデータなら問題ないけど、数百万件のテキストだと非常に遅い。LIKEの前方不一致（%が先頭につく）はインデックスが使えず、全行を1文字ずつスキャンするから。全文検索は「転置インデックス」を事前に構築して、キーワードからドキュメントを逆引きできるから圧倒的に速い。

普通のインデックスは「文書→単語」の対応だけど、転置インデックスは「単語→その単語を含む文書の一覧」を記録する。辞書の索引みたいなもの。「データベース」という単語を検索すると、その単語を含む文書IDのリストが即座にわかる仕組み。

英語はスペースで単語が区切られるけど、日本語は「東京都庁に行く」のように単語がくっついている。だから「形態素解析」で「東京/都庁/に/行く」と分割するか、「N-gram」で「東京/京都/都庁/庁に...」と固定長で分割してインデックスを作る必要がある。

MySQLやPostgreSQLにも全文検索機能はあるけど、Elasticsearchは全文検索に特化した専用エンジン。スコアリング、ファセット検索、曖昧検索、シノニム（同義語）対応など、検索周りの機能が段違いに豊富。ただしElasticsearchを導入すると「メインDBとElasticsearchのデータ同期」という新たな課題が生まれる。リアルタイムで同期するかバッチで同期するか、同期が遅延した場合に検索結果と実データが不整合になる問題をどう許容するかなど、運用面の設計がかなり難しいんだ。