【がーどれーるえーあい】
ガードレールAI とは？
💡 AIが道を踏み外さないための「安全柵」
📌 このページのポイント
- AIの入力・出力をチェックして有害コンテンツや誤情報を防ぐ仕組み
- プロンプトインジェクション対策、個人情報漏洩防止、ハルシネーション検出などが含まれる
- Guardrails AIやNeMo Guardrailsなどのオープンソースフレームワークが登場している
- ルールベースとAIベースを組み合わせた多層防御が主流になりつつある
ペンギン先生 まさにそのイメージだよ！高速道路のガードレールが車の転落を防ぐように、AIが有害な出力や間違った情報を出さないようにする安全装置のことなんだ
ひよこ 具体的にはどんなことを防いでくれるの？
ペンギン先生 たとえば暴力的な内容の生成を止めたり、個人情報をうっかり出力しないようにしたり、ハルシネーション（嘘の情報）を検出したりするよ。入力側でプロンプトインジェクションを弾くのもガードレールの一種だね
ひよこ フレームワークとかもあるの？
ペンギン先生 ひよこ でもガードレールを入れすぎると、AIが何も答えられなくならない？
ペンギン先生 いいところに気づいたね。過剰なフィルタリングは「過検知」といって、正当な質問まで弾いてしまう問題があるんだ。安全性とユーザビリティのバランスを取るのが実は一番難しいところだよ
まとめ：ざっくりこれだけ覚えればOK！
「ガードレールAI」って出てきたら「AIが変なことを言わないように見張る仕組み」と思えればだいたいOK！
📖 おまけ：英語の意味
「Guardrails AI」 ＝ AI用の防護柵
💬 Guardrailは高速道路のガードレールと同じ。AIが危険な方向に行かないようにする柵のイメージだよ