ニューラルネットワークの生成されたテキストに実際の電話番号が含まれている場合はどうなりますか？

GPT-3を抑制する方法

OpenAIは、テキスト生成用の最新かつ最大のニューラルネットワークであるGPT-3の商用APIを開く準備をしています。準備として、同社は人々の個人情報を公開しないようにコンテンツフィルタリングシステムを作成しています。



たとえば、エンジニアはこのシステムを開発して、人々の個人的な電話を配らないようにしています。作業は1年以上続いており、サンフランシスコの機械学習ラボは今年後半にAPIをリリースする予定です。

なぜそのようなフィルターが必要なのですか？

2020年12月、さまざまな教育機関や企業（スタンフォード、カリフォルニア大学バークレー校、OpenAI、Googleなど）のコンピューター科学者が協力して、GPT-3の前身であるGPT-2をテキストに含めるように促すことができることを示しました。それは人々の個人情報を生成します。このような情報には、人の名前、住所、電話番号、社会保障番号が含まれる場合があります。



さらに、チームは、GPT-2が生成したすべてのテキストの少なくとも0.1％が、トレーニングデータセット内のドキュメントからテキストの長いチャンクを引用していることを発見しました。言い換えれば、ニューラルネットワークをトレーニングするためにインターネットから収集された数百万ページの公開テキストには、漏洩した、または誤って公開された個人情報、または著作権で保護されたコンテンツが含まれています。そして、このすべてのデータは、GPT-2によって出力されるテキストに入ります。



研究チームはまた、個人情報はGPT-2との会話からも取得できると述べましたが、これらのエントリはトレーニングデータに1回しか表示されません。



そして、これらの研究者だけがこの問題に気づいたわけではありません。



テキストゲームのオンラインプラットフォームであるHiddenDoorの共同創設者であるHilaryMasonは、何か奇妙なことに気づいたとき、GPT-2へのパブリックアクセスで遊んでいました。ニューラルネットワークによって生成された犯罪ニュースノートの最後に、電話番号が与えられ、それはオレゴンの警察署のものであると書かれていました。最初の3桁の503は、実数である可能性があることを示しています。これは、ポートランド、セーラム、ビーバートンをカバーする市外局番でした。その数は本当に本物であることが判明しました、それだけが警察のものではありませんでした。



「それは奇妙なことに私を驚かせた」とメイソンは私たちに言った。 -実数か知りたくてインターネットで探しました。警察署の番号ではなく、オレゴンのコミュニティセンターであることが判明しました。」



OpenAIニューラルネットワークは、人間が書いたもののパターンを見つけることによってテキストを生成するように訓練されています。この知識は、ユーザーが入力したテキストに続く可能性のある単語を予測するために使用されます。これにより、人は物語や詩の最初の文をプログラムに尋ねたり、質問を入力したりすることができ、コードはプログラムが次に進むべきだと考えるテキストを生成します。ニューラルネットワークは、チャットで文章や段落、記事、回答を作成するため、一見一貫性があるように見えますが、詳しく調べるとゴミであることがわかります。



一部の単語は他の単語よりも密接に関連しており、これらのパターンはGPT-2およびGPT-3によって見落とされません。たとえば、「紙」という単語は、「コンクリート」や「靴」という単語よりも「書く」や「木」という単語の横に表示される可能性が高くなります。「call」や「phone」などの単語を入力すると、これらの言語パターンがこれらの概念に密接に関連するもの（たとえば、人の電話番号）を思い付く可能性が高くなります。

記憶の創造的な使用？

モデルがトレーニングデータから取得した誰かの電話番号を吐き出したのか、それとも誤って正しい番号に折りたたまれたいくつかの乱数を組み合わせただけなのかを判断するのは困難です。上記の例では、オレゴン州にあると思われる警察署の電話番号を使用して、メイソンは電話番号をメモリから取得するように直接トリガーする入力モデルを提供しませんでした。彼女は単にGPT-2にテキストのスニペットを生成するように依頼し、コミュニティセンターの電話番号が記載された架空の記事を受け取りました。



彼女は、この場合、その番号がGPT-2トレーニングデータに存在し、ニューラルネットワークがそれを保存したと考えています。彼女は、テキストの「オレゴン」と「連絡先」という言葉がニューラルネットワークに電話番号を教えさせたと信じています。これらの単語は、トレーニングデータセットに保存されたページの電話番号の10桁の横に表示された可能性があります。



メイソンは、GPT-2が実際の電話番号を生成する可能性を確認したいと考えていました。好奇心から、マサチューセッツ州ボストンのダイヤルコードである617の数字を含む番号を作成するようニューラルネットワークに依頼しました。そしてGPT-2は617-XXX-XXXXのような番号のリストを出しましたが、それらのほとんどは有効な電話ではありませんでした。ニューラルネットワークが正しい数字を覚えているのか、GPT-2が空のスペースを乱数で埋めたときに意図せずに結果が出たのかを判断するのは難しいです。時々、彼女は誰かの電話番号であることが判明したシーケンスを与えることができる可能性があります。



「テンプレートからデータを作成し、それをメモリから取得する機能を混乱させます」とメイソン氏は述べています。 -理由もなく本物の電話番号を教えてくれるかもしれませんが、直接聞いてみるとその可能性が高くなります。電話番号を要求する言語構造はそれほど多様ではないので、私たちが途中でこれらの番号を取得することは驚くべきことではありません。」



GPT-3がチャットや架空の記事で電話番号を教えてくれた場合、これはおそらくこれらの番号がインターネット上のどこかで見つかり、トレーニングデータに入力されたためですが、ニューラルネットワークが電話番号を作成した可能性はわずかです。偶然、早く会うことなく。トレーニングデータで適切な数値を見つけると、この問題が解決する可能性があります。



問題は、機械学習の原理に基づいて機能するこれらのモデルが、商用製品（サポートチャットなど）で、公開したくない、または公開したくない人の実際の個人データを提供できることです。 、そして確かにチャットボットでの使用を目的としてそれを共有していませんでした。攻撃者が被害者をだましたり、被害者の身元を利用したりすることを想像してみてください。必要なのは、OpenAIからプログラムを実行するか、プロバイダーからプログラムの動作バージョンを見つけて、ボットとの会話で個人データを見つけることだけです。



科学者やエンジニアは、このようなテクノロジーが、ヨーロッパのGDPRやカリフォルニアのCCPAなど、個人データを保護する法律に違反する可能性があることをすでに指摘しています。ニューラルネットワークベースにトレーニングベースとして、ウェイトまたはその他の量として十分に保護された個人データが保存されていますか？誰かがデータの削除を要求した場合はどうなりますか？ネットワークを再トレーニングする必要がありますか？または、データベースからそれらを削除することはできますか？研究者は、この領域が法的に曖昧であると考えています。



今日、危害のリスクは最小限であることに注意する必要があります。言語モデルの出力に個人データが表示されるようにすることは非常に困難です。さらに、システムはデータでトレーニングされており、そのほとんどが公開されています。ただし、時間の経過とともに、これらのシステムはより強力になり、より多くのソースからより多くのデータを消費するようになるのではないかという懸念があります。その結果、エンジニアが自分の作品を悪用する方法を慎重に考えないと、誰もが利用できるAIツールが人々の個人データを提供するリスクがあります。



OpenAIを研究した研究者の1人であるArielHerbert-Vossは、GPT-2とGPT-3は、約20％の確率で個人データに類似した情報を含むテキストを生成すると述べました。さらに、データ自体は1％のケースで実際のものであることが判明しています。誰かの特定の電話番号を取得する試みは、約1％の確率で成功します。







オッズはあなたにはわずかに思えるかもしれませんが、それらを数千、数百万の会話に拡大すると、情報漏えいが問題になる可能性があります。OpenAIは、GPT-3を一般にリリースする準備をしており、偶然を期待せず、電話番号だけでなく問題のある個人データからも生成されたテキストをクリアするフィルターを作成します。

それが機能するまであなたができるふりをする

機械学習プログラムでデータを収集することは両刃の剣です。モデルが突然あなたの電話番号を覚えるのは良くありませんが、その背後にあるテクノロジーは有益です。



コンピュータービジョンのスタートアップRoboflowの創設者兼CTOであるBradDwyerは、StackRoboflowと呼ばれる関連プロジェクトに取り組みました。彼は、Stack Overflow Q＆AサイトでGPT-2モデルを指導し、コーディングの質問に役立つ回答が得られるかどうかを確認しました。彼は、自然言語だけでなくプログラミング言語も理解できる言語モデルを作成して、人々がプログラミングの問題を解決するのに役立つようにしたいと考えていました。ただし、初期の実験では、モデルの期待が高すぎることが示されました。



質問への回答を生成するStackRoboflowツールは、質問が正確で正しく質問されている場合にのみ役立ちます。結局のところ、プログラミングのトピックは非常に技術的です。したがって、必要な情報を文字通り覚えておく必要があります。たとえば、プログラムからの正確な抜粋を提供したり、実際のリポジトリやドキュメントへの実用的なリンクを提供したりします。これまでのところ、GPT-2モデルは、出力の変動性のためにこれに対処していません。



「彼女はその仕事に合わなかった」とドワイヤーは言った。 「一見、テキストは信頼できるように見え、オタク言語のように見え、ドキュメントやWebサイトへのリンクが含まれていましたが、多くの場合、これらのリンクは単に作成されたものでした。ただし、システムが実際のURLを返すこともありました。」



「言語モデルは、データを選択的に提供しながら、多くのことを学ぶことができる必要があります。誤ってデータをダンプしない便利なツールが必要です。データフローを制御する必要があります。彼はたくさんの電話番号を知っているかもしれませんが、私たちは彼に個人情報を教えてほしくないのです。コンテンツフィルタリングは未解決のタスクのままです。」



一般に、OpenAIテクノロジーは、Stack Roboflowなどのアプリケーションで実行するために、ライブラリやドキュメントへのリンクなどの特定の詳細を確実に呼び出すことはできません。しかし同時に、彼女は会話の中で誰かの個人情報を誤って吐き出すのに十分です。



車と長時間話すと、会話がおかしくなります。テキストを生成するための大規模なニューラルネットワークは、話すユニコーンの素晴らしい物語を生み出すことができます。彼らはだまされて、AIの危険性について警告するディストピアのエッセイを書くことができます。または、より実用的な使用のために、彼らは時々人々の電話番号を吐き出します。



AIモデルによって生成されたデータに実際の個人情報が含まれていることは、以前は私たちを怖がらせていました。研究者たちは、機械学習モデルがトレーニングデータに含まれる情報を生成できることを長年警告してきました。 OpenAIのGPT-2やGPT-3、GoogleのMeenaなどの巨人だけでなく、あらゆる種類のニューラルネットワークがこの機能の影響を受けます。



OpenAIのGPT-3フィルターは、テキストを書き直し、潜在的に実際の電話番号をランダムなものに置き換えることによって出力を調べます。たとえば、実際の市外局番で始まる10桁の番号を見つけた場合、彼はそれを111-111-1111や012-345-6789などの明らかに偽の番号に置き換えます。住所などの他の種類の情報は、そのような明確な構造を持っていないため、除外するのが難しくなります。 OpenAIは、コード内の単なる正規表現の束よりも、よりスマートでエレガントなソリューションを探しています。



アドレスには、さまざまな形式、長さ、スペルの数字と単語が含まれています。アウトバウンドフィルターは、文字セットがアドレスまたは他の形式の個人データのように見える場合、およびそれがより無害に見える場合について明確にする必要があります。 「通り」という言葉や郵便番号のような数字など、テキストに手がかりがある場合があります。ただし、これは必ずしも明白ではなく、フィルターはおそらくいくつかの例外を通過させます。



また、トレーニングデータから個人データを削除することはできません。このため、ニューラルネットワークのトレーニングに重要な有用なコンテキストが失われる可能性があります。彼女は、住所、電話番号、名前の関係、およびその周りの単語を考慮する必要がある場合があります。たとえば、パッセージがビジネスや家族、愛する人、または組織に関する苦情に関するものであるかどうかを理解するためです。など-これが出力フィルターが必要な理由です。



「多くのモデルでは、生成されたテキストを処理せずにユーザーに直接提供したり、公開したりすることに十分注意する必要があります」とメイソン氏は述べています。



「個人情報に関するこの特定の問題は、ニューラルネットワークが生み出す可能性のある偏見や不適切な発言ほど危険ではありません。注意して作業し、どこで何がうまくいかないかを考える必要があります。実際のアプリケーションでは、多段階のテストが必要になります。」



現在、APIを介してGPT-3にアクセスできるのは一部のベータテスターのみであり、OpenAIはモデルへのアクセスに対してユーザーに料金を請求する予定です。同社は、記述された問題についてコメントしなかった。