文字コードについて

文字の種類

　文字は、JISローマ字、JISカナ、JIS漢字、JIS補助漢字の4種類に分類され、JIS規格によって決められています。 この他に、制御コードと呼ばれるデータがあり、文字と同様に扱っています。 
　また漢字は、94×94の領域に1字づつ配置されています。 この横の行を区、縦の列を点と呼び、区点番号で表すこともあります。

JIS X 0211	JIS制御コード
JIS X 0201	JISローマ字 (ASCII)
JIS X 0201	JISカナ(半角カナ)
JIS X 0208	JIS漢字
JIS X 0212	JIS補助漢字

　ホームページや、メールなどで、以下の文字列を見ることが多いと思います。

　　Content-Type: text/plain; charset=ISO-2022-JP

　これは、テキストの文字コードが何で記述されているかを示すものです。 
　ISO-2022-JPは、RFC-1468で定義されていて、インターネットでは標準的な日本語文字セットとして扱われています。 RFC-1468では、JISカナ、JIS補助漢字は、除外されています。 このことが、いわゆる半角カナが使えないサイトが多い理由です。 しかし、実際のデータとしては、使われている場合がありますので、入力データとしては対応しておくとトラブルが発生しません。 半角カナを全角カナに変換することは簡単ですので、対応しておくと良いでしょう。 
　charsetには、他にも、以下のような指定があります。

charset=ISO-8859-1	米国やヨーロッパで使われている文字セット
charset=ISO-2022-JP	半角カナを除くJISコードの日本語文字セット 実際には、半角カナが入っている場合もある
charset=Shift_JIS	SJISコードの日本語文字セット
charset=EUC-JP	EUCコードの日本語文字セット
charset=UTF-8	Unicode(UTF-8)の日本語文字セット
charset=UTF-16	Unicode(UTF-16)の日本語文字セット

文字コードの種類

　現在、インターネットの世界で使用されている文字コードは、JISコード、SJIS(Shift-JIS)コード、EUCコード、Unicodeの4つと考えてもほとんど問題はないと思います。 
　以下に、よく利用されている4つのコードについての簡単な説明をします。

●JISコード

　インターネットで、最も標準的な文字コードです。 8ビットJISもありますが、ISO-2022-JPなどで使われているのは7ビットコードです。 7ビットコードでは最上位ビットを使用しないため、00-7Fまでの文字コードしか存在しません。 
　JISコードでは、以下のエスケープシーケンスにより、文字の種類を決めます。

エスケープシーケンス		1バイト目	2バイト目	文字の種類
		00-1F,7F		制御コード
1B 28 42	ESC ( B	20-7E		ASCII
1B 28 4A	ESC ( J	20-7E		JISローマ字
1B 28 49	ESC ( I	21-5F		JISカナ（半角カナ）
1B 24 40	ESC $ @	21-7E	21-7E	旧JIS漢字 (1978)
1B 24 42	ESC $ B	21-7E	21-7E	新JIS漢字 (1983/1990)
1B 24 44	ESC $ D	21-7E	21-7E	JIS補助漢字

　JISローマ字は、ASCIIのバックスラッシュが￥になった文字集合です。 
　JIS漢字には、1978年制定の旧JISと、1983年/1990年制定の新JISがあります。 この他、2000年制定のJIS第3水準、第4水準もありますが、ほとんど使われていないため、このページの最後に紹介する程度にします。

●シフトJISコード

　シフトJISコードは、SJISとも呼び、Microsoft社が決めたコードでWindows95やMS-DOSやMacなどで使用されています。 シフトJISコードでは、JIS補助漢字は表現できません。 
　SJISコードでは、エスケープシーケンスを使用しません。 また、SJISコードでは半角カナを 1バイトで扱えるため、表示桁数と内部バイト数が一致するという特徴があります。 ただし、第1バイトは必ず最上位ビットが立っていますが、第2バイトは立っていないこともあるので、プログラムをする場合は、注意しなければなりません。 特に、逆方向文字列検索時は、要注意です。 
　また、2バイト文字の中に"\"(0x5C)を含むデータが存在するため、文字列がメタ処理されてしまい、文字化けする可能性があります。

1バイト目	2バイト目	文字の種類
00-1F, 7F		制御コード
20-7E		JISローマ字(ASCII)
A1-DF		JISカナ(半角カナ)
81-9F E0-EF	40-7E 80-FC	JIS漢字

●EUCコード

　Extended Unix Codeの略で、日本語UNIXで使われているコードです。 
　EUCコードでは、エスケープシーケンスを使用せず、ASCII以外の文字は、JISコードの上位ビットを立てることにより識別しています。 
　シフトJISと異なり、JISカナ(半角カナ)は、表示桁数は1桁ですが、内部のバイト数は2バイトとなります。 そのため、JISカナ(半角カナ)に対応できていないプログラムが多いので、注意する必要があります。 インターネットで、JISカナ(半角カナ)が使えない理由もここにあり、UNIXから普及したための制限です。 
　JIS補助漢字の場合は、内部のバイト数は3バイトになります。

1バイト目	2バイト目	3バイト目	文字の種類
00-1F, 7F			制御コード
20-7E			JISローマ字(ASCII)
8E	A1-DF		JISカナ(半角カナ)
A1-FE	A1-FE		JIS漢字
8F	A1-FE	A1-FE	JIS補助漢字

●Unicode(UCS-2)

　Unicode(ユニコード)は、ユニコード・コンソーシアムによって制定された文字コードです。 文字を2バイト、または4バイトで表し、世界中の文字を表現しようとしています。 Unicodeは、ISO 10646の中で、UCS-2(BMP)として採用されています。

　UCSは、Universal multiple-octet coded Character Setの略で、ISO 10646で制定されている世界統一文字コード規格です。 UCSには、2バイト(オクテット)で表すUCS-2と、4バイトで表すUCS-4があります。 UCS-4では、4バイトを群(Group)、面(Plane)、区(Row)、点(Cell)で表しますが、ほとんど使われていません。 このUCS-4の0群0面を基本多言語面(BMP:Basic Multilingual Plane)と呼びます。 
　UCS-2は、BMPの上位の2バイトを省略した文字コードのことで、Unicodeと同一の仕様となっています。

　Unicode(UCS-2)では、A,I,O,Rの4つの領域に分かれています。 
　日本語のJIS X 0208およびJIS X 0212は、CJK統合漢字として格納されています。 CJK統合漢字とは、中国(China)、日本(Japan)、韓国(Korea)の似ている漢字を同じ文字コードに割り当てたものです。

領域名	文字コード	内容
A領域	00-4D	Alphabet領域のことで、アルファベットなどの表意文字を格納する領域
I領域	4E-9F	Ideograph領域のことで、CJK統合漢字などの表意文字を格納する領域
O領域	A0-DF	Open領域のことで、将来の拡張ための予備領域 0xD7-0xDFは、サロゲート領域で、UCS-4の1面から16面の拡張用
R領域	E0-FF	Restricted領域のことで、PUAなどの限定使用領域 PUAとは、Private Use Areaの略で、外字などを格納する領域のこと

　JavaやXMLは、基本コードとして、Unicodeを採用しています。 また、WindowsNTやWindows98やWindows2000も、Unicodeを採用しています。 
　従って、今後は、Unicode化が進んでいくでしょう。

UTF-8のエンコード方法

　UTF-8は、UnicodeとASCIIコードを混在させるための規格です。Unicodeでは、0x0000-0x007Fの文字コードは、ASCIIコードの0x00-0x7Fと同じとなっていることを利用して変換します。
　UTF-8では、ASCIIコードは、1バイトで表しますが、0x0800から0xFFFFまでのマルチバイト文字は、3バイトで表します。
　UTF-8では、各文字の先頭ビットにより、文字の種類を簡単に判定できます。

1ビットめの値

0:制御コード、ASCII文字

1:マルチバイト文字

マルチバイト文字の2ビットめの値

0:先頭文字以外

1:先頭文字

マルチバイト文字の先頭文字の3ビットめの値

0:2バイト文字(0x0080-0x07FF)

1:3バイト文字以上(0x0800-0x0010FFFF)

3バイト以上のマルチバイト文字の先頭文字の4ビットめの値

0:3バイト文字(0x0800-0xFFFF)

1:4バイト文字(0x00010000-0x0010FFFF)

1バイト目	2バイト目	3バイト目	4バイト目	文字の種類
00-7F 0xxxxxxx				制御コード ASCII文字
C0-DF 110xxxxx	80-BF 10xxxxxx			UCS-2マルチバイト文字 （0x0080-0x07FF）
E0-EF 1110xxxx	80-BF 10xxxxxx	80-BF 10xxxxxx		UCS-2マルチバイト文字 （0x0800-0xFFFF）
F0-F7 11110xxx	80-BF 10xxxxxx	80-BF 10xxxxxx	80-BF 10xxxxxx	UCS-4マルチバイト文字 （0x00010000-0x0010FFFF）

※ 上段は16進数、下段は2進数（x のビットは 0 または 1）

UTF-16のエンコード方法

　UTF-16は、Unicode(UCS-2)の文字は、そのまま2バイトで表現するUnicodeの標準的なエンコード方法です。 UCS-2のO領域内のサロゲート領域(0xD7-0xDF)を使って、UCS-4の中から、1面から、16面までの文字も表現できます。 文字コードで言うと、0x00000000〜0x0010FFFFの文字が表現できます。

1バイト目	2バイト目	3バイト目	文字の種類
00-D7,E0-FF	00-FF		Unicode(UCS-2)の文字
D8-DF	00-FF	00-FF	UCS-4の第1面から第16面の文字

JIS第3水準、JIS第4水準について

　漢字を第3水準および第4水準まで拡張する規格として、JIS X 0213があります。 特徴としては、第2面が追加されて、大幅に文字数が増加しました。 
　しかし、外字領域に第3水準や第4水準の文字が割り当てられているため、互換性に問題があります。 また、符号化方法も現状と異なるみたいです。 
　JIS X 0213の主な変更点は以下のとおりです。 Windows標準にもなった、13区のNEC拡張文字も、正式に規格化されたみたいです。

第1面 　1-12区のJIS X 0208未定義部分に、拡張非漢字を追加 　13区に、NEC拡張文字を追加(1-12区と重複するものは未定義) 　14-94区のJIS X 0212未定義部分に、第3水準漢字を追加 第2面 　JIS X 0212未定義部分に、第4水準漢字を追加

　しかし、世の中がUnicodeに向けて動いているのに、よくわからない規格（企画？）です。 
　ただ、charset=ISO-2022-JP-3となるみたいなので、UTF-8として扱えるでしょう。 
　でも、現状では、charset=ISO-2022-JP-2でさえ、ほとんど普及していません。