UTF-8 - 通信用語の基礎知識

ISO/IEC 10646およびUnicode文字を8ビット単位の不定長として表現できるように変換したもの。

概要

仕様

Unicodeを1～4オクテットに、または、ISO/IEC 10646を1～6オクテットの不定長に変換する。

前者はRFC 3629で標準化されており、後者はこのRFCによって破棄された古いRFCであるRFC 2279にて仕様が規定されている。

このように、RFC 2279では1～6オクテットまでの規定があったが、RFC 3629ではUnicode文字(U+0000～U+10FFFF)だけの対応となり、1～4オクテットの範囲だけしか規定されなくなった。

実装

Javaでは実行ファイル(Javaバイトコードと呼ばれる)内部で実際に用いられている文字コードの符号化方法であり、Java以外でもInternet ExplorerやMicrosoft Wordなどで広く対応している。

ASCIIと互換性があり、かつ世界中の言語を容易に扱えるということで徐々に人気が高まった。

この方法を用いるとASCII文字の範囲(0x00～0x7f)を保存したまま、8ビット長でUnicode文字が表現可能となる。

従来の英語圏環境の文字コードと互換性が保たれ、プログラミング面でも扱いが容易であるため、従来は英語専用だったソフトウェアを新規に多国語対応化する場合などには有用である。

技術

BOM

UTF-16などでは、符号のバイト順が自在のため、バイト順を機械的に識別可能なように文書の先頭にはBOMと呼ばれる記号(U+FEFF, ZWNBSP)を付ける。

UTF-8の場合はバイト順序は常に固定で変化することはないので、このような目印は本来は不要であるが、その文書がUTF-8であるかどうかを識別するために同様に使われることが多い。

U+FEFF(ZWNBSP)は、UTF-8では「0xEF 0xBB 0xBF」という3オクテットになり、これが先頭にあればそれはUTF-8であると判断できる。

日本のローカルな俗称として、このZWNBSPが先頭に無いUTF-8をUTF-8Nと呼ぶ。

符号化方法

古いRFC 2279で表現できる全範囲を以下に示す。新しいRFC 3629では、このうち最初の4つ、001FFFFFまでの範囲に対応する(より正確には、U+0000からU+10FFFFまで)。

UCS-4 (16進)	UTF-8 (2進)
00000000～0000007F	0xxxxxxx
00000080～000007FF	110xxxxx 10xxxxxx
00000800～0000FFFF	1110xxxx 10xxxxxx 10xxxxxx
00010000～001FFFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
00200000～03FFFFFF	111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
04000000～7FFFFFFF	1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx