Unicode文字：すべての開発者が知っておくべきこと

複数の言語を使用する国際的なアプリケーションを作成している場合は、エンコーディングについて1つか2つ知っておく必要があります。彼女は、テキストが画面にどのように表示されるかを担当しています。エンコーディングの歴史とその標準化について簡単に説明した後、その使用法について説明します。情報学の理論に少し触れてみましょう。

エンコーディング入門

コンピューターは2進数（0と1）のみを理解します。これが彼らの言語です。他には何もありません。1つの数値はバイトと呼ばれ、各バイトは8ビットで構成されます。つまり、8つの0と1が1バイトを構成します。コンピューターの内部では、プログラミング言語、マウスの動き、キーストローク、画面上のすべての単語など、すべてがバイナリに要約されます。しかし、あなたが読んでいる記事が0と1の束であった場合、2進数はどのようにしてテキストになりましたか？それを理解しましょう。

エンコーディングの簡単な歴史

その開発の黎明期には、インターネットはもっぱら英語を話していました。その作成者とユーザーは他の言語の文字について心配する必要はなく、すべてのニーズは情報交換のためのアメリカ標準コード（ASCII）エンコーディングによって完全にカバーされていました。



ASCIIは、バイナリ記号を英字にマッピングするためのテーブルです。コンピュータが次のようなエントリを受信したとき：

01001000 01100101 01101100 01101100 01101111 00100000 01110111 01101111 01110010 01101100 01100100

      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

次に、ASCIIを使用して、「Helloworld」というフレーズに変換します。



1バイト（8ビット）は、英語の文字と制御文字を含めるのに十分な大きさであり、その一部はテレプリンターで使用されていたため、当時は有用でした（現在はあまり有用ではありません）。たとえば、制御文字は7（バイナリでは0111）であり、これによりコンピュータは信号を発しました。 8（バイナリで1000）-最後に印刷された文字を表示します。または12（バイナリで1100）-ビデオ端末に書き込まれたすべてのテキストを消去しました。



当時、コンピューターは1バイトあたり8ビットを数えていました（常にそうであるとは限りませんでした）ので、問題はありませんでした。すべての制御文字、すべての数字、および英字を格納でき、1バイトで255文字をエンコードでき、ASCIIで必要なのは127だけなので、まだ余裕がありました。つまり、エンコードには未使用の128の位置が残っていました。



これはASCIIテーブルがどのように見えるかです。2進数は、AからZまでのすべての大文字と小文字、および0から9までの数字をエンコードします。最初の32桁は、印刷できない制御文字用に予約されています。

ASCIIの問題

128から255の位置は空でした。国民はそれらをどのように埋めるか疑問に思いました。 しかし、それらはすべて異なるアイデアを持っていました。米国規格協会（ANSI）は、さまざまな業界の規格を策定しています。彼らは0から127までのASCII位置を承認しました。誰もそれらに異議を唱えませんでした。問題は残りのポジションにありました。



これは、最初のIBMコンピューターの128〜255の位置を埋めたものです。





いくつかの波線、背景アイコン、数学演算子、およびéのようなアクセント記号付きの記号。しかし、他のコンピュータアーキテクチャの開発者はこのイニシアチブをサポートしていませんでした。誰もがASCIIの後半で独自のエンコーディングを実装したいと考えていました。



これらの異なるエンディングはすべてコードページと呼ばれてい ます。

ASCIIコードページとは何ですか？

これが465以上の異なるコードページのコレクションです！ギリシャ語と中国語など、同じ言語内でも異なるページがありました。この混乱をどのように標準化できますか？または、少なくとも異なる言語間で機能させるのですか？または、同じ言語の異なるコードページ間ですか？英語以外の言語では？中国語は10万文字以上あります。 ASCIIは、漢字にすべての空の位置を与えることにしたとしても、それらすべてに対応することさえできません。



この問題は、さえ呼ばれていた 文字化け（BNOP、krakozyabry）。これは、誤ったエンコーディングを使用したときに得られる歪んだテキストについて彼らが言っていることです。日本語から翻訳された文字化けは「文字変換」を意味します。





bnopni（krakozyabrov）の例。

ある種の狂気...

丁度！データを確実に変換する機会はありませんでした。インターネットは、世界中のコンピューターの巨大な接続にすぎません。すべての国が独自の基準を使用することを決定したと想像してください。たとえば、ギリシャ語のコンピューターはギリシャ語のみを受け入れますが、英語のコンピューターは英語のみを送信します。それは空の洞窟で叫んでいるようなもので、誰もあなたの声を聞くことができません。



ASCIIはもはや人生に十分ではありませんでした。世界中のインターネットでは、何か別のものを作成する必要がありました。そうしないと、何百ものコードページを処理する必要がありました。 これらの段落を読みたくない場合を除きます。



֎֏0590 ֐ ׀ׁׂ׃ׅׄ׆ׇ

これがUnicodeの誕生です

UnicodeはUniversalCoded Character Set（UCS）の略で 、公式のISO / IEC 10646指定があります。ただし、通常、誰もがUnicode名を使用します。



この標準は、エンコーディングとコードページによって引き起こされる問題の解決に役立ちました。これには、世界中の言語や文化のキャラクターに割り当てられた多くのコードポイント（コードポイント）が含まれてい ます。つまり、Unicodeは 文字のセットです。これは、参照したい文字に抽象化を関連付けるために使用できます。そして、これは、エジプトの象形文字でさえ、すべてのシンボルに対して行われ ます。



誰かがすべての言語のすべての文字を一意のコードと照合する素晴らしい仕事をしました。これはそれがどのように見えるかです：

«Hello World»

U+0048 :   H
U+0065 :   E
U+006C :   L
U+006C :   L
U+006F :   O
U+0020 : 
U+0057 :   W
U+006F :   O
U+0072 :   R
U+006C :   L
U+0064 :   D
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

U +プレフィックスは、これがUnicode標準であり、数値が2進変換であることを示します。この標準では、2進数の簡略化された表現である16進表記が使用されています。 ここでは、フィールドに何でも入力して、Unicodeに変換される方法を確認できます。そして、 ここでは、143,859個のコードポイントすべてを賞賛することができます。



念のために明確にしておきます。あらゆる種類のシンボルに割り当てられたコードポイントの大規模な辞書について話しています。これは非常に大きな記号のセットであり、それ以上のものではありません。



最後の材料を追加することは残っています。

Unicode Transform Protocol (UTF)

UTFは、Unicodeでコードポイントをエンコードするためのプロトコルです。これは標準で詳しく説明されており、任意のコードポイントをエンコードできます。ただし、UTFにはさまざまな種類があります。これらは、1つのアイテムをエンコードするために使用されるバイト数が異なります。 UTF-8はポイントごとに1バイトを使用し、UTF-16は2バイトを使用し、UTF-32は4バイトを使用します。



しかし、3つの異なるエンコーディングがある場合、特定のファイルでどれが使用されているかをどのようにして知ることができますか？このために 、バイト順マーク（BOM）が使用されます。これは、エンコーディング署名とも呼ばれます。 BOMは、ファイルの先頭にある2バイトのマーカーであり、ここで使用されているエンコーディングを示します。



インターネットでは、UTF-8が最も一般的に使用されています 、HTML5標準でも優先的に記述されているので、最も注意を払います。





この グラフは 2012年に作成され、UTF-8が主要なエンコーディングになりつつありました。そして、それはまだです。





グラフ は UTF-8の普及率を示しています。

UTF-8とは何ですか？どのように機能しますか？

UTF-8は、各Unicodeコードポイント0〜127を1バイトでエンコードします（ASCIIの場合と同様）。つまり、ASCIIを使用してプログラムを作成し、ユーザーがUTF-8を使用している場合、ユーザーは異常なことに気付くことはありません。すべてが意図したとおりに機能します。これがいかに重要であるかに注意してください。 UTF-8の大量採用の間、ASCIIとの下位互換性を維持する必要がありました。そして、このエンコーディングは何も壊しません。



名前が示すように、コードポイントは8ビット（1バイト）で構成されます。 Unicodeには、数バイト（最大6）を占める文字があります。これは可変長と呼ばれます。言語が異なれば、特定のバイト数も異なります。英語-1、 ヨーロッパ言語（ラテンアルファベット）、ヘブライ語、アラビア語コードポイントごとに2バイトで表されます。以下のために 中国語、日本語、韓国語、および他のアジアの言語、3つのバイトが使用されています。



文字が複数のバイトを占める必要がある場合は、ビットパターンを使用して遷移を示します。これは、文字が次の数バイトに続くことを意味します。



そして今、私たちはまるで魔法のように、シュメールの楔形文字（Habrはそれを表示しません）と絵文字アイコンをエンコードする方法について合意に達しました ！



要約すると、最初にBOMを読み取ってエンコードバージョンを決定し、次にファイルをUnicodeコードポイントに変換してから、Unicodeセットの文字を表示します。

最後にUTFについて

コードは キーです。間違ったエンコーディングを投稿すると、何も読めなくなります。データを送受信するときは、このことに注意してください。私たちの日常のツールでは、これはしばしば抽象化されますが、私たちプログラマーにとっては、内部で何が起こっているのかを理解することが重要です。



エンコーディングをどのように設定しますか？ HTMLは英語で記述されており、ほとんどすべてのエンコーディングは英語で正常に機能するため、セクションの最初でエンコーディングを指定できます <had>



。

<html lang="en">
<head>
  <meta charset="utf-8">
</head>

      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

間違ったエンコーディングが現在使用されている場合、HTML<had>



解析が最初からやり直される 可能性があるため、これを最初に行うことが重要 です。HTTPリクエスト/レスポンスのContent-Typeヘッダーからエンコードバージョンを確認することもできます 。



HTMLドキュメントにエンコーディングについての言及が含まれていない場合、 HTML5仕様はBOMスニッフィングのような興味深いソリューションを提供します 。その助けを借りて、バイト順マーカー（BOM）によって使用されるエンコーディングを決定できます。

それだけですか？

Unicodeはまだ完成していません。他の標準の場合と同様に、私たちは何かを追加し、何かを削除し、何か新しいものを提供します。どの仕様も「完全」ではありません。通常、1年に1〜2回のリリースがありますが、その説明は ここにあります。



最近、Twitterでロシア語のUnicode文字が正しく表示されないことに関連する非常に興味深いバグについて読み ました。



あなたが最後まで読んだなら、あなたは素晴らしいです。宿題をすることをお勧めします。間違ったエンコーディングを使用すると、サイトがどのように破損するかを確認してください。私はこれを利用し ましたGoogle Chromeの拡張機能で、エンコーディングを変更し、別のページを開こうとしました。情報は完全に読めませんでした。切り株がどのように見えるか、自分で試してみてください。これは、エンコーディングの重要性を理解するのに役立ちます。

結論

この記事を書いているときに、マイケル・エバーソンについて知りました 。1993年以来、彼はUnicodeに200以上の変更を提案し、標準に数千の文字を追加しています。2003年の時点で、彼は最も生産的なメンバーと見なされていました。彼だけがUnicodeの顔に大きな影響を与えました。マイケルは、今日私たちが知っているようにインターネットを作った人の1人です。非常に印象的。



エンコーディングの目的、それらが解決する問題、およびそれらが失敗したときに何が起こるかをお見せできたと思います。