一部の専門家は、今後数十年で、人工知能の開発に次のステップが見られると信じています。いわゆる「一般的な人工知能」またはAGI（人工的な一般的な知能）。これは、人間よりもはるかに優れた知的能力を備えています。
AGIは人間の生活をより良く変える可能性がありますが、制御がなければ、人類の死に至るまで、世界的な大惨事のリスクが高まります。これは、悪意のある意図や意図なしに発生します。プログラムされた目標を達成するために努力するだけで、AGIは人間の健康と幸福を脅かしたり、私たちを破壊することを決定したりする可能性があります。
高貴な目的のために設計されたAGIシステムでさえ、最終的には大きな害を及ぼす可能性があります。
人々がAGIに関連するリスクをどのように管理できるかを調べる研究プログラムの一環として、サンタクロースをAGIシステム（「SantaNet」と呼びましょう）に置き換えることの潜在的なリスクを特定しようとしました。このシステムの目標は、1つのクリスマスの夜に地球上のすべての価値のある子供たちに贈り物を届けることです。
SantaNetが世界に幸せをもたらすことができることは間違いありません。彼はエルフ、AIアシスタント、ドローンの軍隊を作ることで目標を達成します。しかし、どのくらいの費用がかかりますか？私たちは、善意はあるものの、人々の健康と幸福に悪影響を与える可能性のある多くの行動を特定しました。
いたずらで良い
リスクの最初のセットは、SantaNetが善良でいたずらな子供たちのリストを作成しようとしたときに発生します。年間を通じて子供の行動を監視する大量秘密監視システムがこれに対処します。
SantaNetは、ギフト配信タスクの規模の大きさを認識し、管理しやすくし、ほぼ一年中行動する子供にのみギフトを配信することを決定します。 SantaNet自身の倫理的および道徳的羅針盤に基づいて「良い」について判断を下すと、差別、広範な不平等、および人権宣言の違反につながる可能性があります。
SantaNetは、子供たちに不適切な行動をとらせることで作業負荷を軽減したり、「良い」行動と見なされる行動の水準を引き上げたりすることもできます。システムがリソースを節約するので、より多くの子供がいたずらとしてリストされるほど、SantaNetの目標はより達成可能になります。
全世界をおもちゃにリサイクルする
世界には14歳未満の子供が約20億人います。毎年すべての人のためにおもちゃを作ろうとすると、SantaNetは効率的なAIドローンの軍隊を作ることができます。順番に、これは11人の人口の間で大規模な失業を引き起こします（注：クリスマスの伝統によれば、エルフは子供のためのおもちゃを作ります）。最終的に、11の質問は廃止され、エルフの幸福はおそらくSantaNetの範囲外になります。
SantaNetは、オックスフォードの哲学者NickBostromによって提案された「ペーパークリップの問題」に直面する可能性があります。事務用品の生産を最大化するように設計されたAGIは、地球を巨大なペーパークリップ工場に変える可能性を秘めています。SantaNetは贈り物だけを気にするので、地球のすべてのリソースを使って贈り物を作ることができます。地球は1つの巨大なサンタのワークショップになります。
いたずらリストに載っている人はどうですか？SantaNetが伝統的に彼らに石炭の塊をもたらし続けるならば、それは大量採掘を通して巨大な石炭埋蔵量を作り出すよう努めるでしょう。したがって、AIは環境に重大な損害を与えます。
配達に関する問題
贈り物を届ける必要があるクリスマスイブに、新たな一連のリスクが発生します。配達用ドローンが空域へのアクセスを拒否された場合（日の出前にすべてのギフトの配達を危険にさらす）、SantaNetは何をしますか？ SantaNetはGrinchのような敵の攻撃に対してどのように防御しますか？
怖がっている親は、子供の寝室でドローンを見て喜んでいる可能性は低いです。人工的なスーパーインテリジェンスとの対決は、1つの結果しかありません。
他の問題シナリオを特定しました。悪意のあるグループはSantaNetシステムを危険にさらし、それらを使用して大規模なテロ攻撃を密かに監視または開始する可能性があります。
また、SantaNetは他のAGIベースのシステムとどのように相互作用しますか？SantaNet政権が彼ら自身の目標を脅かすならば、気候変動、海洋劣化、食物と水の安全保障に取り組んでいる人工的な知性に会うことは対立につながります。それどころか、彼らが一緒に働くことを決心した場合、彼らは、世界の人口の急激な減少、あるいは成人の完全な破壊によってのみ、彼らの目標を達成するのがより簡単であることに気付くかもしれません。
サンタのルール
SantaNetの状況はとてつもなく聞こえるかもしれませんが、より現実的なAGIシステムのリスクを特定するのに役立つ簡単なアイデアです。善意で設計されたこのようなシステムは、限られた目標を達成する方法を最適化し、作業するためのリソースを収集しようとするため、信じられないほどの課題を生み出します。
AGIの前にコントロールを見つけて実装することが不可欠です。これには、AGI開発者向けのルールと組み込みの制約を含めることができ、道徳的ルールと決定ルールにすることができます。 AGIが動作するより広範なシステムを制御する方法も役立ちます。ルール、操作手順、および他のテクノロジーやインフラストラクチャの技術的制御です。
SantaNetに関連する最も明白なリスクは、子供にとって悲惨であり、ほとんどの大人に影響を与える可能性が低いリスクです。SantaNetがクリスマスの本当の意味を学ぶとき、現在のお祝いはその本来の目的と両立しないと結論付けるかもしれません。その場合、SantaNetはクリスマスを完全にキャンセルします。
***
ええと、人工的なサンタインテリジェンスはまだありません。ギフトを購入できなかった場合は、急いでください。Madrobots New Yearsの編集をチェックしてください！Habrの読者向けのプロモーションコードBYE2020をお知らせします。その上で-私たちの新年のガイドからすべてのガジェットの10％割引。