Unicode：人類がどのようにして国際的な文字エンコード標準に到達したか

ほとんどの読者は、「Unicode」と「UTF-8」という用語に少なくとも少しは精通していると思います。しかし、誰もが彼らの背後にあるものを正確に知っていますか？本質的に、それらは文字セットとしても知られる文字エンコード標準を指します。この概念は、人が考えるかもしれないように、コンピュータ時代ではなく、腕木通信の時代に現れました。 18世紀には、長距離の情報を高速で送信する必要があり、いわゆる電信コードが使用されていました。情報は、光学的、電子的およびその他の手段を使用してエンコードされました。



最初の電信コードの発明から数百年が経過したが、そのようなコーディングスキームの国際標準化の実際の試みはなかった。テレタイプと家庭用コンピュータの時代の初期の数十年でさえ、ほとんど変わりませんでした。 EBCDIC（IBMの8ビット文字エンコード。ヘッダーの図のパンチカードに示されています）とASCIIは状況を少し改善しましたが、メモリを大幅に使用せずに、増え続ける文字のコレクションをエンコードする方法はありませんでした。



Unicodeの開発は、1980年代後半に始まりました。このとき、世界中でデジタル情報の交換が増加し、単一のコーディングシステムの必要性がより緊急になりました。最近のUnicodeでは、基本的な英語のテキストから繁体字中国語、ベトナム語、さらにはマヤ語、絵文字と呼ばれるピクトグラムまで、すべてに単一のエンコードスキームを使用できます。

コードからグラフへ

ローマ帝国の時代には、情報の迅速な伝達が重要であることはよく知られていました。長い間、これは長距離またはそれに相当するものを介してメッセージを運ぶ馬に乗ったメッセンジャーの存在を意味しました。情報配信システムを改善する方法は、紀元前4世紀に発明されました。これが、水電信と信号灯のシステムが登場した方法です。しかし、長距離データ伝送が本当に効果的になったのは18世紀になってからでした。



光通信の歴史に関する記事で、「セマフォ」とも呼ばれる腕木通信についてすでに書いています。これは、電信コード記号を表示するために使用される方向指示器システムを備えた多数の中継局で構成されていました。 1795年から1850年の間にフランス軍によって使用されたチャッペ兄弟のシステムは、それぞれが7つの位置のいずれかに移動できる2つの可動端（レバー）を備えた木製のバーに基づいていました。クロスバーの4つの位置とともに、理論上のセマフォは196文字（4x7x7）を示す可能性があります。実際には、その数は92-94の位置に減らされました。



チャッペ兄弟のフランス



の腕木通信コード、1809年セマフォシステムは、コードブック内の特定の文字列を示すほど文字を直接エンコードするために使用されていませんでした。この方法は、いくつかのコード信号を使用してメッセージ全体を解読できることを意味していました。これにより、送信が高速になり、メッセージを傍受しても意味がなくなりました。

パフォーマンスの向上

その後、腕木通信は電気電信に置き換えられました。これは、最も近い中継塔を見ている人々によってコーディングがキャプチャされた時代が終わったことを意味しました。金属線で接続された2つの電信装置で、電流は情報を伝達するための道具になりました。この変更により新しい電信コードが生まれ、1848年にドイツで発明されて以来、モールス信号は最終的に国際標準になりました（米国は、無線電信以外でアメリカのモールス信号を使用し続けました）。



国際モールス信号には、アメリカのコードよりも利点があります。ドットよりもダッシュを多く使用します。このアプローチは伝送速度を遅くしますが、回線のもう一方の端でのメッセージ受信を改善します。これは、長いメッセージがさまざまなスキルレベルのオペレーターによって何マイルものワイヤーを介して送信された場合に必要でした。



ITA 2標準



技術の発展に伴い、西側では手動電信が自動電信に置き換えられました。 5ビットのBaudotコードと、それから派生したMurrayコードを使用しました（後者は、穴が開けられた紙テープの使用に基づいていました）。マレーのシステムは、メッセージのテープを事前に準備し、それをリーダーにロードしてメッセージを自動的に送信することを可能にしました。 BaudotコードはInternationalTelegraphic Alphabet Version 1（ITA 1）の基礎を形成し、修正されたBaudot-Murrayコードは1960年代まで使用されていたITA2の基礎を形成しました。



1960年代までに、1文字あたり5ビットの制限が不要になり、米国では7ビットASCIIが開発され、アジアではJIS X 0201（日本語のカタカナ文字用）などの標準が開発されました。当時広く使用されていたテレタイプライターと組み合わせることで、大文字と小文字を含むかなり複雑なメッセージの送信が可能になりました。



完全な7ビットASCII文字セット



1970年代から1980年代初頭にかけて、拡張ASCII（ISO8859-1やLatin1など）などの7ビットおよび8ビットエンコーディングの制限は、主流の家庭用コンピュータやオフィスのニーズに十分でした。それにもかかわらず、デジタルドキュメントやテキストの交換などの一般的なタスクは、多くのISO 8859エンコーディングで大混乱を引き起こすことが多いため、改善の必要性は明らかでした。最初のステップは、1991年に16ビットUnicode1.0で行われました。

16ビットエンコーディングの開発

驚いたことに、Unicodeはわずか16ビットで、すべての西洋の書記体系だけでなく、たとえば数学で使用される多くの漢字や多くの特殊文字もカバーすることができました。最大65,536のコードポイントを許可する16ビットで、Unicode1.0は7,129文字に簡単に対応しました。しかし、2001年にUnicode 3.1が登場するまでに、少なくとも94,140文字が含まれていました。



現在、その13番目のバージョンでは、Unicodeには制御文字を除く合計143,859文字が含まれています。当初、Unicodeは、現在使用されている記譜システムをエンコードするためにのみ使用することを目的としていました。しかし、1996年のUnicode 2.0のリリースまでに、この目標は、まれで歴史的な文字でさえもエンコードするために再考する必要があることが明らかになりました。各文字の必須の32ビットエンコードなしでこれを実現するために、Unicodeが変更されました。文字を直接エンコードするだけでなく、そのコンポーネントまたは書記素を使用することもできます。



概念は、すべてのピクセルが指定されていないベクトル画像にいくぶん似ていますが、代わりに画像を構成する要素が説明されています。結果として、ユニコード変換フォーマット8（UTF-8）をコードする支持体2 ³¹ コードポイント。現在のUnicode文字セットのほとんどの文字は通常1バイトまたは2バイトを必要とします。

すべての味と色のUnicode

この時点で、かなりの数の人々が、Unicodeに関して使用されるさまざまな用語におそらく混乱しています。したがって、ここで重要なのは、Unicodeが標準を指し、さまざまなUnicode変換形式がその実装であるということです。 UCS-2およびUSC-4はUnicodeの古い2バイトおよび4バイトの実装であり、UCS-4はUTF-32と同一であり、UCS-2はUTF-16に取って代わります。



Unicodeの最も初期の形式であるUCS-2は、1990年代に多くのオペレーティングシステムに採用され、UTF-16への移行が最も危険性の低いオプションになりました。これが、WindowsとMacOS、KDEなどのウィンドウマネージャー、およびJavaと.NETランタイムが内部でUTF-16を使用する理由です。



基本的な多言語Unicodeプレーンの概要は、



その名前が示すように、事実上すべての現代言語UTF-32を備えた最初のUnicodeプレーンであり、各文字を4バイトでエンコードします。それは少し無駄ですが、完全に予測可能です。同じUTF-8文字で、1〜4バイトの範囲の文字をエンコードできます。 UTF-32の場合、文字列内の文字数の決定は単純な計算です。バイト数全体を取得し、4で除算します。これにより、UTF-32でUnicode文字列を表現できるコンパイラやPythonなどの一部の言語が生まれました。



ただし、すべてのUnicode形式の中で、UTF-8が群を抜いて最も人気があります。これは、ほとんどのWebサイトがUTF-8エンコーディングでHTMLドキュメントを提供するWorld WideWebによって大幅に促進されています。UTF-8のコードポイントの異なる平面のレイアウトのため、Westernおよび他の多くの一般的な書記体系は2バイト以内に収まります。古いISO8859およびShiftJISエンコーディングと比較すると、実際、UTF-8の同じテキストは以前よりも多くのスペースを占有しません。

光学タワーからインターネットへ

馬のメッセンジャー、中継塔、小さな電信局の時代は終わりました。通信技術は大きく進化しました。テレタイプがオフィスで一般的だった時代でさえ、覚えるのは難しいです。しかし、歴史の発展のあらゆる段階で、人類は情報をエンコード、保存、送信する必要がありました。そして、これにより、どこにいてもデコードできるシンボルのシステムで、世界中にメッセージを即座に送信できるようになりました。



電子メールクライアントとWebブラウザでISO8859エンコーディングを切り替えて、元のテキストメッセージのように見えるものを取得したことがある人にとって、Unicodeのサポートは祝福されてきました。私はこれらの人々を理解することができます。7ビットASCII（またはEBCDIC）が競合のないテクノロジであった場合、ヨーロッパまたはアメリカのオフィスから受け取ったデジタルドキュメントの象徴的な混乱を整理するために何時間も費やす必要がある場合がありました。



Unicodeに問題がないわけではありませんが、以前のUnicodeと比較して感謝の気持ちを忘れることはできません。これが30年のUnicodeです。