データクレンジング とは？

データの中にある間違いや重複を見つけて直す作業だよ。たとえば住所録で「東京都」と「東京」が混在していたり、同じ人が2回登録されていたりするのを整理するイメージだね。

実はめちゃくちゃ多いよ。手入力のデータだと誤字脱字は当たり前だし、システム連携で文字化けしたり、日付の形式がバラバラだったり。調査によるとデータの約30%に何らかの問題があると言われているんだ。

大きく分けると5種類あるよ。欠損値（空欄）、重複レコード、表記ゆれ（全角半角の違いなど）、フォーマット不統一（日付がYYYY/MM/DDとMM-DD-YYYYで混在）、そして外れ値（年齢が999歳など明らかにおかしい値）だね。

そうだね。だからルールベースで自動化するのが基本だよ。「全角英数字は半角に統一」「電話番号のハイフンを除去」みたいなルールを決めて、スクリプトやETLツールで一括処理するんだ。

分析結果が全く信頼できなくなるよ。「Garbage In, Garbage Out」って言葉があって、ゴミデータを入れたらゴミな結果しか出てこないという意味だね。AIモデルの学習データが汚れていたら、モデルの精度もガタ落ちになるんだ。

いい質問だね。実は100%を目指すのは現実的じゃないんだ。「必須項目の欠損率1%以下」「重複率0.5%以下」みたいに完了基準を先に決めておくのがプロのやり方だよ。データプロファイリングで現状を把握してから、優先度の高い問題から潰していくのがコツだね。

そうだね。ちなみにデータクレンジングはデータ分析プロジェクトの作業時間の60〜80%を占めると言われているよ。地味だけど、ここを手抜きすると後工程が全部崩れるから、一番大事な工程と言っても過言じゃないんだ。