文字コードについて

ASCII文字コード

ASCII（American National Standard Code for Infomation Interchange）コードは1962年に制定された１バイト（７ビット）文字コード（00-7F）でISO-646としてコンピュータ用の標準文字コードになっています。JIS-X0201コードはこれに半角カタカナなどを加えた１バイト（８ビット）文字コード（A0-FF）でANK（Alphabetic Numetric and Kana）と呼びます。より詳しくは、20-7EまでがASCII文字でA1-DFまでが半角カタカナ文字になります。US-ASCIIとJIS-ASCIIとでは5Cと7Eが違います。5CはUSではバックスラッシュでJISでは円記号になっています。7EはUSではチルダでJISではオーバラインになっています。いずれの問題も日本語キーボードを扱うときに戸惑うところです。
（WINDOWS95の文字コード表）



JIS漢字コード

JIS（Japan Industrial Standard）漢字コードはJISで定めた文字コードでJIS-X0208で規格化された２バイトコード文字です。1978年に最初に規格が制定されてから（JIS78）、1983年（JIS83）と1990年（JIS90）に改訂されています。最初の規格を旧JIS、改訂されたものを新JISと呼ぶことがあります。第３次規格では第１水準2,965（１６進コード2121-4F53、区点コード0101-4751）と第２水準3,390（１６進コード5021-7426、区点コード4801-8406）が定められています。さらにJIS-X0212というJIS補助漢字5,801字が新たに定められ合計12,156字が規格化されています。



ASCII文字は７ビットコードで文字を扱っていたことから、漢字コードも７ビットJISコードが使われていました。いわゆるJUNET（Japanese University unix NETwork）コードで、ISO（International Standardization Organaization）規格ではISO-2022-JPコードです。日本語文字を７ビット２文字に符号化して表すものです。漢字とASCII文字が混ざっているときのように異なる文字セットを交換するには、エスケープシーケンスを使って、コードに割り当てる文字セットを指定するようになっています。ESC(は１バイトコード文字、ESC$は２バイトコード文字を指定しています。



エスケープシーケンス	文字セット
ESC(B	ASCII
ESC(J	JIS-X0201-1976
ESC$@	JIS-X0208-1978
ESC$B	JIS-X0208-1983





区点コード

区点コードは２バイト文字全体を1-119の区に分け、一つの区を1-94の点に分けて１０進数で表しています。１０進数で初心者にはわかりやすいので、ワープロなどでよく使われています。区点コードは上下２桁に区切って各数字に３２を加え、それを１６進数になおして並べるとJIS漢字の１６進コードになります。




SHIFT-JISコード

国内の大手パソコン通信ではSHIFT-JISコードが利用されます。この漢字コードは２バイトコード文字でＭＳ漢字とも呼ばれるものです。マイクロソフト社がMS-DOSやBASICでJIS漢字コードを処理するために作った漢字コードです。JIS漢字コードと同じ２バイトコードですが、１バイトめをANK文字で使用していないエリア（0X80-0X9F,0XE0-0XFE）へシフトさせて作ったものです。これにより１バイトコード文字と２バイトコード文字が混在できる、つまり漢字コードの１バイトめは必ず0X80以上になっているので判定できるというわけです。




EUC漢字コード

UNIXの世界では拡張UNIXコードとよばれるEUC（Extended Unix Code）コードが使われています。AT&Tで規格化されSunOSなどではEUC準拠のコード体系が使われています。日本語EUCコードはJISコードと対応しており、１６進コードを上下２桁ずつに区切って各数字に１６進８０を加算するとEUCコードになります。つまり2121から始まるJIS漢字コードをA1A1にそっくり移動したものになっているわけで、ASCIIと共存することができます。１バイトめと２バイトめの区別さえ付けば良いのです。これは改行コードで調べることができます。ただしANK文字で半角カタカナ文字が使用している領域に重なっているため、半角カタカナ文字とは共存できません。日本語EUCではシングルシフトを使って半角カタカナの文字セットが利用できるように拡張されています。


Unicode

最新の文字コードはUnicodeと呼ばれる１６ビット固定長のもので1990年にバージョン1.0がリリースされ、ISOに採用されました。WIN95の一部のAPIやWindowsNTに採用されています。１６ビットにすることで世界中の文字を単一のコード体系で処理しようというものです。この場合は漢字の配列順序がJIS漢字コード順にはなりません。


漢字コードの違い

漢字の「亜」は

JIS-X0208 　では３０２１

区点コード　では１６０１

SHIFT-JIS 　では８８９Ｆ

EUCコード 　ではＢ０Ａ１

Unicode 　　では４Ｅ９Ｃ

外部とのメール交換と文字コードについて

コード変換について

符号化について

＊Base64関連情報は RFC989にありますので、そちらを参照されることをお勧めします。

インターネットでは電子メールをやり取りする際にSMTP（Simple Mail Transfer Protocol）を使用していますが、このプロトコルでは７ビットASCIIしか通さないので、SHIFT-JIS漢字のような２バイトコード文字は正しく扱えません。そこでこの制限を回避できるようにデータ（テキストやバイナリ）を符号化して送受信できるように拡張したのがMIME（Multipurpose Internet Mail Extensions）という仕様です。最近ではmultipartといってテキスト文章と画像、サウンド、動画データを組み合わせたメールも送れるようになっています。日本語の場合はISO-2022-JP（７ビットJIS）をBase64でエンコードするものがよく使われています。簡単にいうとすべてのデータの８ビット３バイトを６ビット４バイトに振り分けて、それを通信データの７ビットに変換する方法です。
他にMIMEで使われるものにQuoted-printableというエンコードの方式があります。こちらの方は、欧米文字のように大部分がもともとASCIIで一部に非ASCII文字がある場合に有効で、ASCIIはそのまま表示が残ります。
MIME以前から使われていた方法にはuuencodeがあります。これは８ビット３バイトを６ビット４バイトへ変換する方法です。これで変換すると記号の多いテキストになります。また、パソコン通信ではISHという符号化ソフトがよく使われていました。

データの圧縮（compression）について

データが多くなると転送に時間がかかります。そこで最も頻度の多い文字から、いちばん短いビット列の文字を対応させてデータを変換していくと、データサイズを圧縮することができます。とくに通信速度が遅かった時代にはバイナリや大きなテキストなどは圧縮して送るのが普通でした。さらに、圧縮したものを符号化によってASCIIにしてしまえば、電子メールでもデータを送ることができます。圧縮に使う文字の種類は圧縮ソフトによります。よく使われる圧縮ファイルの形式には、zip,lzh,arcなどがあります。


アーカイブ（archive）について

複数のファイルを一つのファイルにまとめることをアーカイブといいます。UNIXでのtarなどがそうです。lzhやzipは圧縮機能をもつアーカイバで圧縮アーカイバということがあります。これもデータをまとめて転送するために使われています。

符号化圧縮展開ツールの例

まず電子メールの符号化に関しては、MIMEをサポートしていれば、メールにアタッチされているマルチメディアデータも扱えるようになっています。したがって、Base64やQuoted-printableを使うにはMIMEをサポートするメールソフトを用意すればよいことになります。ただし、メールソフトの設定でMIMEを使用するにしておく必要があります。WINDOWS95ではインターネットメールのプロパティで設定できます。



最近のパソコン用メールソフトならたいていMIMEをサポートしています。
その他の形式の場合はuuencodeとuudecodeがすべての機種で利用可能です。圧縮展開に関しては、lhaとzipが代表的です。拡張子により他にもいろいろあります。これについてはインターネットマガジンの1995/8の付録「圧縮展開ツール事典」が参考になるでしょう。