数年前にElonMuskによって設立されたOpenAIは、6月に新しいニューラルネットワークアルゴリズムGPT-3をリリースしました。今日、それは自然言語で動作できる最も先進的なシステムです。
その機能は単に巨大です。GPT-3を使用すると、複雑な技術テキストを含む、あらゆるタイプのテキスト情報を作成できます。たとえば、ニューラルネットワークに自分自身についてのテキストを書くタスクが与えられたとき、彼女は「OpenAIのGPT-3はビットコインに次ぐ最大の発見になる可能性がある」という大きなタイトルの記事を作成しました。
しかし、ニューラルネットワークは単語を編集して人を模倣するだけでなく、実際に意味のあるテキストを作成することができますか？読むのが面白い詩、物語、さらには小説？それを理解しましょう。
GPT-3：既存のすべてよりも1桁進んだニューラルネットワークアルゴリズム
GPT-3は、これまで人間が作成した中で最も複雑な言語モデルです。
これは、特定の単語シーケンスの確率で機能します。 GPT-3は、以前のモデルとは規模が異なります。
1,750億のパラメーターを使用してテキストを生成し、1.5兆を超える単語でトレーニングされています。さらに、トレーニング用のテキストは、フォーラムへの投稿から古典的な文学まで、さまざまな方法で使用されました。
システムは、最も可能性の高いテキストブロックに基づいてテキストを予測しようとします。ユーザーは、ニューラルネットワークが開始する基準点を設定するだけで済みます。
システムが要求のコンテキストをよりよく理解するほど、応答はより正確になります。
ニューラルネットワークは本当に自然な言語を理解できるという印象を受けます。
Debuild.coプロジェクトの共同創設者兼CEOであるSharifShameemは、ニューラルネットワークのさまざまな機能をテストした結果をTwitterアカウントに投稿しました。そして、彼らは本当に印象的です。
ビデオでは、シャリフが必要なものをデザイナーや開発者に説明するかのように、入力行に簡単なテキストを書き込んだことがわかります。そして、システムはそれを解釈し、結果を返しました。
特に「スイカのようなボタン」に面白かったです。
, , ?
: .
vs. :
ニューラルネットワークからのテキストは、実際には人間のテキストと違いはありません。 Berkeleyの学生であるLiamPorrは実験を行い、GPT-3によって生成された記事をAdolosの彼のブログに2週間投稿しました。
ニューラルネットワークからの動機付けの記事は26,000人によって読まれました。そして、リアムが言うように、歌詞が実際に人ではなく機械によって書かれたと推測したのはそのうちの1人だけでした。しかし、このコメントでさえ他の読者が気にかけていまし
た。記事自体を読むと、実際には動機付けのトレーナーやコーチによって書かれたような印象を受けます。適切なスタイルとフレーズ、適切なテキスト構造。文章や個々のフレーズがあまり自然に見えない場合もありますが、これはマシンを裏切るものではありません。結局のところ、人はそのような小さな間違いを犯します。
これが、GPT-3がパブリックドメインにリリースされない理由の1つです。OpenAI APIにアクセスするには、ニューラルネットワークの使用を正確に計画していることを示すアプリケーションに記入する必要があります。
以前のバージョンのアルゴリズムであるGPT-2を作成する段階でさえ、システムが情報戦争の手段になる可能性があるため、開発者は潜在的な危険性に気づきました。このようなニューラルネットワークは、信じられないほどの速度で偽のニュースを生成することができます。その機能を不利益に使用すると、インターネットは単に虚偽のコンテンツに埋もれてしまいます。
そのため、将来的にはサブスクリプションビジネスに販売する予定です。しかし、すべての人にではなく、「平和的な目的で」それを使用することを計画していることを証明する人にのみです。
ニューラルネットワーク、フィクションブック、詩
ニューラルネットワークは、メディアや技術記事のニュースの著者に匹敵する可能性がありますが、小説や詩を作成するプロセスははるかに複雑です。フィクションを書くための基本的な原則でさえ、技術的なものとは異なります。ニューラルネットワークにリズムを選択し、問題なくリズムに従うように教えることは可能ですが、多くの意味で、マシンはまだバイアドです。
GTP-2アルゴリズムに基づくロシアのニューラルネットワーク「Porfirevich」があります。彼女はロシア語を「知って」おり、詩だけでなく詩の訓練も受けています。「Neuropoet」テレグラムボットで作品を確認できます。最初の1行か数行を書くだけで、残りはシステムが行います。確認したところ、まあまあでした。
ニューラルネットワークは、プーシキンの最初の行を理解できない一連のテキストに変えました。そこでは、軍事的動機が推測されます。そして、いくつかの画像が成功したと見なすことができる場合（「オークは春のパンを要求する」または「春の秋の花」）、他の画像は顔の手のひらを引き起こします。
タイプライターのランダムキーを無期限に長時間押すことで、遅かれ早かれ「戦争と平和」を書く無限のサルの理論との類似性を描くことができます。
ここでのニューラルネットワークは、個々の文字の代わりに単語や画像を編集するような猿のように機能しますが、それらのほとんどはランダムです。
実際、多くの開発者がGPT-2ベースの詩ジェネレーターを作成しています。たとえば、これは13,000節の軽量データベースを使用する英語の歌詞ジェネレーターの変形です。
彼はまた、あまり理解できない何かを生み出し
ました。フィクションの本に関しては、状況はさらに悪化しています。ニューラルネットワークはプロットの作成方法を知らず、プロットまたはクライマックスが何であるかを知らないため、これは予想されたものでした。しかし、いくつかの実験から、そのような選択されたゲームが得られたので、驚くことができます。
聖書のポルノフィクションのようなものはどうですか？「TheOrangeErotic Bible」というタイトルのエッセイが、未知の開発者によって投稿されました..。同じGPT-2をベースにしたニューラルネットワークによって作成されましたが、彼らはそれをエロティックな小説や物語で訓練し、生成の出発点として聖書からの抜粋を与えました。物語は長く、60,000語以上であることが判明しました。そして、穏やかに言えば、結果は驚くべきものです。
これが物語のほんの一部です。いいえ、翻訳はしません。AIが書いた本のオンラインストア
もあります。かなり不気味に見えます。本の表紙も機械で作られているからです。
確かに、その作成者は、19部の本しか販売していないことを認めました。それらの品質が「オレンジの聖書」に大まかに似ていれば、私たちはまったく驚かない。作家は今のところよく眠ることができます。
か否か？
これまでの例はすべてGPT-2のみを扱っており、まあまあでした。
しかし、GPT-3アルゴリズムに基づく神経ネットワーク詩人はすでに存在します。そして、それはいくつかの非常に興味深い結果を示しています。
ニューラルネットワークは、特定のスタイルと特定のトピックについて詩を書くことができます。 ZeroCaterプロジェクトのCEOであるArramSabetiは、詩とスタイルについて尋ねるニューラルネットワーククエリを生成する実験をすでに実施しています。残りはマシンが行いました。
リクエストの1つは次のとおりです。
これが博士の詩です。Elon MuskがSpaceXでロケットを発射し、Teslaで電気自動車を製造し、火炎放射器を販売し、Grimesとデートし、SECと戦い、ショートセラーを粉砕し、AIと戦うためのブレインチップを構築し、火星に植民地化し、昼夜を問わずツイートすることについてスースします。 ..。ムスクは、絶滅を防ぐために人間を惑星間で作りたいと思っています。この詩は、ABAB構造で1行おきに韻を踏んでいます。韻の構造は博士の典型です。スース保育園のリズム。
詩は面白いことが判明しました。本当。リズムとリズムのわき柱の明らかな不正確さにもかかわらず、それは理にかなっています。長いので、ここでは一部のみを含めます。
Elon Musk
By Dr. Seuss
Once there was a man
who really was a Musk.
He liked to build robots
and rocket ships and such.
He said, “I’m building a car
that’s electric and cool.
I’ll bet it outsells those
Gasoline-burning clunkers soon!”
They sell cool cars
that are electric and clean.
And then he wanted to go
even farther, you see.
The first Tesla, Roadster,
Was just the start of a bigger dream.
He said, “I’m building a plane
that’s electric and green”.
以前のバージョンのアルゴリズムと比較した進歩は驚くべきものです。これは一貫性のないフレーズのコレクションではありませんが、構造的にはかなり良い詩です。はい、理想はまだ遠いです、リズムはかなり弱く、リズムは不完全ですが、すでにこの段階で、マシンがそれを思いついたことに非常に驚いています。
いくつかの画像やフレーズはただ美しいです。たとえば、「ガソリン燃焼クランカー」-「ガソリンクランカー」。それが機械によって書かれたことを知らないなら、これは彼のアイドルについての詩を書くことに決めたある男子生徒の創造であると思うかもしれません。
そして、くそー、それはクールです。
詩の完全版と神経回路網の他の創造物をここで読むことができます。
***
詩やフィクションの物語を書くという点でGPT-3を使った実験はほとんどないので、これだけで満足する必要があります。しかし、ニューラルネットワークが意味のあるテキストの作成において非常に進歩した場合、すぐに非常に読みやすい芸術作品を書くことができるようになる可能性は十分にあります。
おそらくそれはGPT-3ではなく、一部のGPT-4またはGPT-5でさえありますが、開発のダイナミクスは明らかにそこにあります。これで、ニューラルネットワークは技術記事、ニュース、短編小説、または詩を書くことができます。
そして、アルゴリズムのさらなる開発により、生成されたテキストの品質は向上するだけです。そうです、AIは人間のように書くことができます。これまでのところ、学生のレベルですが、10〜20年後にどうなるか見てみましょう。そして、あなたはどう思いますか？
オンラインスクールEnglishDom.com-テクノロジーとヒューマンケアを通じて英語を学ぶように促します
Habrの読者のみ、Skypeでの教師との最初のレッスンは無料です！また、クラスを購入すると、ギフトとして最大3つのレッスンを受け取ることができます。ギフトとしてEDWordsプレミアムサブスクリプションの丸1か月を
取得します。このページまたはEDWordsアプリに直接
プロモーションコードニューロライター を入力します。プロモーションコードは2021年9月29日まで有効です。当社の製品：