Unicode とは？

Unicodeは「各文字に番号を割り当てる規格」、UTF-8はその番号をコンピュータが扱えるバイト列に「変換する方式」。Unicodeが「あ=U+3042という番号」と定義して、UTF-8がその番号を「E3 81 82という3バイト」に変換する。

入ってる！絵文字もUnicodeのコードポイントが割り当てられている。「😀」はU+1F600。スマホやOSが対応するUnicodeバージョンによって使える絵文字の種類が変わる。新しい絵文字は毎年Unicodeコンソーシアムが追加を発表する。

国ごとに文字コードを独自に作っていたから。日本はShift-JIS・EUC-JP、韓国はEUC-KR、中国はGB2312と各国がバラバラの規格を使っていた。これらが混在する環境で文字化けが頻発していた。Unicodeはこれを統一しようとして生まれた。

UnicodeにはUTF-8・UTF-16・UTF-32という複数のエンコーディング方式があって、どれを使っているか正しく判定できないと化けるんだ。Windowsのメモ帳でUTF-8のファイルをANSI（Shift-JIS）として開くとまだ化ける。BOM（バイトオーダーマーク）という目印が先頭についていれば判別できるけど、BOMなしUTF-8が主流だから判定ミスが起きやすいよ。

結合文字の問題が有名だよ。「が」は1文字で表す方法（U+304C）と、「か」+「゛」の2文字で表す方法がある。見た目は同じなのに文字列比較でfalseになる。NFC正規化で統一するのが対策。Pythonのunicodedata.normalize('NFC', text)やJavaScriptのtext.normalize('NFC')を使う。ファイル名にUnicodeを使うとmacOS（NFD）とWindows（NFC）で互換性問題が起きることもあるんだよ。