文字エンコーディング とは？

文字列を保存したり送ったりするには、バイト列で表す必要があるよ。例えば「あ」はUTF-8なら16進数でE3 81 82という3バイト。受け取った側が同じ規則で読み取ると「あ」に戻せる。符号化と読み取りが対応していることが大事なんだ。

Unicodeは文字を識別する番号などを定めていて、「あ」のコードポイントはU+3042だよ。UTF-8は、その番号をバイト列へ表す方式の一つ。U+3042という表記自体が保存時のバイト列ではないし、Unicodeを表す方式にはUTF-16などもあるんだ。

使える文字やバイトへの対応が違うよ。「あ」はUTF-8ならE3 81 82、Shift-JISなら82 A0。UTF-8は有効なUnicodeコードポイント1個を1〜4バイトで表す。見た目の1文字が複数のコードポイントから成る場合もあるので、見た目1文字が必ず4バイト以内とは限らないよ。

UTF-8で書いたバイト列をShift-JISとして読むなど、書く側と読む側の規則が違うと、別の文字になったりエラーになったりするよ。元のバイト列が残っていれば正しく読み直せる場合があるけど、代替文字に置き換えて保存した後などは元に戻せるとは限らないんだ。

新しいWebの仕組みではUTF-8を使い、実際の保存形式と読み取る設定、通信で知らせる文字コードを合わせよう。名前をUTF-8に変更するだけではバイト列は変わらない。別方式のデータは元の方式で読み取ってから必要な方式へ書き出し、データが欠けたり変わったりしていないかも確かめるんだ。