Unicodeに潜む「幽霊文字」の正体
原題: A spectre is haunting Unicode
なぜ重要か
文字コード規格の策定ミスがグローバルな標準であるUnicodeにまで波及した事例は、デジタルインフラの歴史的負債として国際的なテキスト処理・AI学習データの品質にも影響しうる。
1978年に日本の通産省が策定したJIS X 0208規格に、出所不明の文字が複数紛れ込んでいたことが判明した。「幽霊文字（ゆうれいもじ）」と呼ばれるこれらの文字は、カタログ作成時のミスで生まれたものだと1997年の調査で明らかになった。現在これらの文字はUnicodeを通じて世界中のコンピュータに存在している。
1978年、日本の通産省（現・経済産業省）は後にJIS X 0208として知られる文字コード規格を策定した。しかし規格公開後、収録された文字の中に出所が不明で読み方もわからない文字が複数含まれていることに気づいた人々がいた。これらは「幽霊文字」と呼ばれるようになった。
長年にわたって謎のまま忘れられていたが、1997年に調査が実施された。JIS規格の全文字には出典記録があるはずだったが、記録は曖昧で、例えば「国土行政区画総覧」という地名一覧書が出典とされた文字も多かった。この書籍は各巻約900ページ・全7巻という膨大なもので、ページ番号の記載もなく追跡は困難を極めた。
調査班は規格作成に関与したカタログ担当者へのインタビューを通じて、多くの幽霊文字がカタログ作業中のミスで生まれたことを突き止めた。たとえば「妛」は、ある地名に含まれる「山の下に女」という字を記録しようとした際、山と女を別々に印刷して切り貼りしたコピーを読み取ったところ、紙の継ぎ目が一本の線に見えて誤って字画として加えられたものだと判明した。
核心的な幽霊文字は「妛挧暃椦槞蟐袮閠駲墸壥彁」の13字。このうち「彁」だけは明確な出典も歴史的な前例も見つからず、「彊」の誤読から生まれた可能性が最も高いとされるが、具体的な事例は特定されていない。
その後JIS規格が広く普及したことで、これらの幽霊文字はすべてUnicodeにも取り込まれた。Unicodeにはさらに、CJK統合漢字の過程で独自に生じた別の幽霊文字群も存在する。1978年の小さなミスから生まれたこれらの文字は、現在では地球上のほぼすべてのコンピュータの文字テーブルに潜在的に存在している。