コンテンツモデレーション とは？

SNSや掲示板に投稿された内容をチェックして、暴力的な動画とか詐欺の広告、ヘイトスピーチなんかを削除したり非表示にしたりする活動だよ。YouTubeやX（旧Twitter）で「この投稿はコミュニティガイドラインに違反しています」って表示されるのを見たことない？

とてもじゃないけど人力だけでは追いつかないよ。たとえばYouTubeには毎分500時間以上の動画がアップロードされるからね。だからまずAIが自動で問題コンテンツをフィルタリングして、微妙な判断が必要なものだけ人間のモデレーターが確認するハイブリッド方式が主流だよ。

AIには限界があるんだ。皮肉やジョーク、文化的な文脈を理解するのが苦手だし、「ニュース映像の暴力シーン」と「暴力を煽る投稿」の区別も難しい。過剰にブロックして正当な投稿まで消してしまう「過剰モデレーション」の問題もあるよ。

実は深刻な問題なんだ。毎日何千件もの暴力映像や虐待画像を見続けるモデレーターのメンタルヘルスが大きな課題になっている。PTSDを発症するケースもあって、Metaのモデレーターが労働環境の改善を求めて訴訟を起こしたこともあるよ。

EUのデジタルサービス法が2024年から本格施行されて、大手プラットフォームには透明性レポートの公開や違法コンテンツの迅速な削除が義務化されたよ。日本でもプロバイダ責任制限法の改正で、削除対応の迅速化が進んでいるね。

生成AIでディープフェイクが簡単に作れるようになって、モデレーションの難易度は上がる一方だよ。一方で、AIを使ったモデレーション技術も進化していて「いたちごっこ」の状態だね。分散型SNSの台頭でモデレーションの責任が誰にあるのかという新しい問題も出てきているよ。