FermiNet：量子物理学と化学をゼロから

最近PhysicalReview Researchに掲載された 論文では、ディープラーニングが実際のシステムの基本的な量子力学方程式の解をいかに単純化するかを示しています。同時に、根本的な科学的問題が解決されるだけでなく、将来得られた結果の実用化の見通しも開かれています。



研究者は、実験室でそれらを合成しようとする前に、インシリコで新しい材料や化合物のプロトタイプを作成することができます。コードも投稿しました この研究から;したがって、計算物理学と化学のチームは、自分たちの仕事に基づいて、さまざまな問題にそれを適用することができます。研究の一環として、新しいニューラルネットワークアーキテクチャであるフェルミオンニューラルネットワークまたはFermiNetが開発されました。これは、電子の大規模なコレクションの量子状態をシミュレートするのに非常に適しています。すべての化学結合は電子に基づいています。 FermiNetは、ディープラーニングを使用して原子と分子のエネルギーを最初から計算する方法を初めて示しました。結果として得られたモデルは、実用化に十分な精度であることが判明し、元の記事の公開時（2020年10月）には、業界で使用されている最も正確なニューラルネットワーク手法であり続けました。想定されている関連する方法とツールは、自然科学の根本的な問題を解決するのに役立つ可能性があること。 FermiNetの作者は、すでにそれを タンパク質のコンボリューション、 ガラス状の化合物の力学、 量子色力学格子上の、および他の多くのプロジェクトでは、実際にこれらの開発を翻訳するのに役立ちます。

量子力学の簡単な歴史

「量子力学」に言及することで、他に類を見ないこのトピックで対話者を困惑させる可能性があります。逆説的に生きていると同時に死んでいるシュレーディンガーの猫や、粒子と波の両方である素粒子のような画像をすぐに覚えています。量子システムでは、古典物理学の状況とは異なり、電子などの粒子は特定の場所を持っていません。量子物理学では、電子の位置は確率の雲によって記述されます。つまり、電子が出現する可能性のあるすべての点に塗られます。この不条理な状況のために、リチャード・ファインマンは、「量子力学を理解している人は誰もいないと言っても過言ではない」と述べることが可能であることに気づきました。



この不気味な奇妙さにもかかわらず、理論の本質はほんの少しのきちんとした方程式で表現することができます。これらの中で最も有名なシュレディンガー方程式は、ニュートンの方程式がより身近な巨視的スケールで物体の振る舞いを記述するのと同じ方法で、量子スケールで粒子の振る舞いを記述します。この方程式の解釈は誰にでも頭をつかませるでしょうが、その数学的要素は実用化がはるかに簡単です。そのため、有名な教授の「黙って数える」が生まれ、学生からの厄介な哲学的質問と戦いました。



これらの方程式は、原子と原子核のレベルで私たちによく知られているすべての物質の振る舞いを説明するのに十分です。量子力学の非論理的な要素は、あらゆる種類のエキゾチックな現象の根底にあります。超伝導、超流動、レーザー、および半導体は、量子効果によってのみ可能です。しかし、すべての化学の基本的な構成要素である共有結合のような控えめなものでさえ、電子の量子相互作用の結果です。これらの規則が1920年代にようやく作成されたとき、科学者たちは初めて、すべての化学の仕事を詳述する理論が作成されたことに気づきました。原則として、量子方程式は、システムのエネルギーを考慮に入れて、どの分子が安定し、どの反応が自発的に発生するかを決定することによって解かれ、さまざまな分子に簡単に適合させることができます。だが、座ってこれらの方程式の解を計算しようとしたところ、これは最も単純な原子（水素）では実行可能であり、他の原子では実行不可能であることが判明しました。他のすべての計算は複雑すぎることが判明しました。



当時の目まぐるしい楽観主義は、ポール・ディラックによって美しく要約されました。

したがって、ほとんどの物理学とすべての化学を説明する数学的理論に必要な基本的な物理法則はすでに知られています。実際には、これらの法則を適用すると複雑すぎる方程式が得られ、客観的に解くことができません。したがって、量子力学の実用化のための近似法を開発することが望ましいように思われる。

1929年

多くの人がディラックの呼びかけを受け入れ、すぐに物理学者は、分子結合やその他の化学現象の振る舞いを定性的なレベルで概算することを可能にする数学的方法を開発し始めました。それはすべて、電子の振る舞いの大まかな説明から始まりました-この情報は、化学の入門コースで研究されています。この説明により、各電子は独自の軌道に運ばれ、原子核の近くの特定の点で電子が見つかる確率を計算できます。この場合、各軌道の形状は、他のすべての軌道の平均形状に依存します。 「自己無撞着場」モデルによるこのような記述では、各電子が1つの軌道にのみ付着していると想定されているため、この図は電子の実際の特性を非常に不完全に伝えています。それでも、それで十分ですわずか約0.5％の誤差で分子の総エネルギーを決定します。







図1-原子軌道。表面は、電子が配置される可能性が高い領域です。青の領域では波動関数は正であり、紫の領域では負です。



化学者にとって残念なことに、0.5％の誤差は大きすぎて許容できません。分子結合のエネルギーは、システムの総エネルギーのごく一部であり、分子が安定するかどうかの正しい予測は、多くの場合、システムの総エネルギーの0.001％、つまり約0.2％に依存します。残りの「相関」エネルギーの。



たとえば、ブタジエン分子内の電子の総エネルギーは は1モルあたりほぼ100,000キロカロリーであり、分子のさまざまな可能な構成間のエネルギー差は1モルあたりわずか1キロカロリーです。つまり、ブタジエン分子の自然な形状を正確に予測する必要がある場合は、サッカー場の幅を1ミリメートルの精度で測定する場合と同じレベルの精度が必要です。



第二次世界大戦直後の電子計算の急増に伴い、科学者たちは、自己矛盾のない分野として説明することができなかった多くの計算方法を開発しました。これらのメソッドは、アルファベット全体をカバーする想像を絶する一連の略語で示されますが、これらの各メソッドには、精度と効率の間の何らかのトレードオフが含まれています。極端な例としては、実際には正確ですが、電子の数が増えるにつれて指数関数よりもスケールが悪くなる方法があります。そのため、最小の分子以外のほとんどの分子での作業には適していません。もう一方の極端な例として、線形にスケーリングするがあまり正確ではない方法があります。これらの計算方法は、実際の化学に多大な影響を及ぼしました。1998年のノーベル化学賞は、これらのアルゴリズムの多くの著者に授与されました。

既存の計算量子力学ツールの幅広さにもかかわらず、情報を効率的に表現する問題には、新しい方法の開発が必要でした。現代の最大の量子化学計算に関与しているのは数万個の電子だけであるのは偶然ではありませんが（最も近似的な方法について話している）、分子動力学などの古典的な化学計算方法では、数百万の電子を処理できます。原子。古典的なシステムの状態を説明することは難しくありません。各粒子の位置と運動量を追跡する必要があるだけです。量子システムの状態を想像することは、はるかに大きな課題です。電子位置の可能な構成ごとに確率値を割り当てる必要があります。この情報は波動関数でエンコードされます。各電子配置に正または負の数を割り当てることができ、二乗波動関数は、そのような配置でシステムを見つけることができる確率を示します。考えられるすべての構成の空間は巨大です。各次元に100点のグリッドとして想像しようとすると、シリコン原子の電子の可能な構成の数は、宇宙の原子の数よりも多くなります。



これは、ディープニューラルネットワークが役立つところです。過去数年間で、ニューラルネットワークを使用して高次元の複雑な確率分布を表現することで大きな進歩が見られました。そのようなネットワークをそのスケーラビリティを期待して効果的にトレーニングする方法が現在知られています。これらのネットワークは、人工知能の分野からの問題を解決する際に多くの次元で機能をトレーニングする際の敏捷性をすでに証明しているので、おそらく量子波動関数を表すために機能することを示唆しました。私たちはそのような考えを持った最初の人ではありませんでした-他の研究者、特に ジュゼッペ・カルレオとマティアス・トロイヤー現代の深層学習が理想化された量子問題の解決にどのように適用できるかを示しました。ニューラルネットワークを使用して、化学や固体物理学のより現実的な問題に取り組みたいと考えていました。つまり、計算では電子を考慮する必要がありました。



電子を扱う場合の注意点は1つだけです。電子はパウリの排他原理に従わなければなりません。つまり、2つの電子が同時に同じ場所にあることはできません。事実、電子は最初の物質のレンガの大部分を構成するフェルミ粒子、特に陽子、中性子、クォーク、ニュートリノなどの中の素粒子です。それらの波動関数は反対称でなければなりません-2つの電子を交換すると、波動関数は-1で乗算されます。したがって、この確率（および対応する波動関数）はゼロに等しいため、2つの電子が互いに重なり合う確率はゼロです。



したがって、そこに入る入力に対して反対称である新しいタイプのニューラルネットワークを開発する必要がありました。それをFermionicNeuralNetworkまたはFermiNetと名付けました。ほとんどの量子化学法では、反対称は行列式と呼ばれる関数を使用して導入されます。行列式は、次のプロパティを持つ行列です。2つの行を交換すると、フェルミ粒子の波動関数とまったく同じように、出力に-1が乗算されます。一連の1電子関数を取得し、システム内の各電子についてそれらを計算してから、すべての結果を1つの行列に適合させることができます。この場合、行列式は真に反対称の波動関数になります。このアプローチの主な制限は、結果として得られる関数（スレイター行列式と呼ばれる）が広く適用できないことです。実際のシステムの波動関数は通常、はるかに複雑です。通常、この問題を修正するために、スレイター行列式の大規模な線形結合（場合によっては数百万以上）が使用され、電子対に基づいていくつかの簡単な修正が行われます。それでも、システムはエネルギーを計算するのに十分な精度ではない可能性があります。







2 – . – , 1. 1 2 , , -1. .



ディープニューラルネットワークは、複雑な関数を表す場合、基底関数の線形結合よりも効率がはるかに優れていることがよくあります。 FermiNetでは、この優位性は、すべての電子の関数である行列式に各関数を導入することによって実現されます。この方法は、1電子および2電子関数を使用するよりもはるかに強力です。 FermiNetは、電子ごとに個別の情報ストリームを提供します。これらのフロー間の相互作用を考慮しないと、ネットワークは通常のスレイター行列式よりも表現力がありません。さらに多くのことを行うために、各ネットワーク層のすべてのストリームから収集された情報を平均し、この情報を各ストリームに渡して次の層に渡します。したがって、そのような流れは、反対称関数を作成するのに適した対称性を持っています。



グラフニューラルネットワークの各層に関する情報は、同様の方法で集約され ます。 Slaterの決定要因とは異なり、FermiNetネットワークは 、少なくともニューラルネットワークの層が十分に広いままである限り、普遍関数近似器です。これは、これらのネットワークを正しくトレーニングできれば、シュレディンガー方程式のほぼ正確な解を生成できることを意味します。







3 – FermiNet. (, ) . FermiNet , , , . , - -1.



FermiNetネットワークをカスタマイズして、システムエネルギーを最小限に抑えます。これを正確に行うには、考えられるすべての電子配置で波動関数を計算する必要があるため、おおよそこれを行う必要があります。したがって、電子配置のランダムサンプルを取得し、電子秩序の各バリアントのエネルギーをローカルで計算し、このエネルギーを最小化します。実際のエネルギーではありません。この方法は、サイコロを何度も転がすカジノプレーヤーの行動に少し似ているため、「モンテカルロ」と呼ばれます。二乗波動関数を使用すると、任意の場所で粒子の構成を観察できるため、波動関数自体のサンプルを生成するのが最も便利です。つまり、粒子を観察する動作をシミュレートします。



ほとんどのニューラルネットワークはいくつかの外部データでトレーニングされますが、この場合、ニューラルネットワーク自体がトレーニングのために入力を生成します。この状況は、髪の毛で沼から抜け出すようなものであり、電子が踊る原子核の位置以外のトレーニングデータは必要ないことを意味します。変分モンテカルロ法（または略してVMC）として知られる基本的な考え方は、1960年代から科学に登場しており、一般に、システムのエネルギーを計算するための安価ですが、あまり正確ではないと考えられています。スレイター行列式に基づく単純な波動関数をFermiNetの関数に置き換えることで、検討したすべてのシステムでこのアプローチの精度を大幅に向上させることができました。







4 – , FermiNet, .



FermiNetがその主題分野で真に画期的なものであることを確認するために、周期表の最初の行の原子（水素からネオンまで）など、単純でよく研究されたシステムを調べることから始めました。これらは小さなシステム（10電子以下）であるため、最も正確な（ただし指数関数的に複雑な）方法を使用して研究するのに役立ちます。 FermiNetは、同等のVMC計算をはるかに上回り、指数関数的にスケーラブルな計算と比較して、エラーを半分以上削減できることがよくあります。大規模なシステムでは、指数関数的に複雑になる方法は適用できなくなるため、結合クラスター法を参照として使用しました。この方法は、安定した構成の分子でうまく機能しますが、結合が伸びたり損傷したりするとスリップします。そして、そのような要因は化学反応を理解するために重要です。指数関数的よりもはるかに優れたスケーリングを実現しますが、この研究で使用した接続クラスター法は、中型の分子でも可能な限り最適に機能します。水素化リチウムからビシクロブタンまで、これまで以上に大きな分子にFermiNetを適用しました。これは、30個の電子を備えた最大のシステムでした。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。指数関数的よりもはるかに優れたスケーリングを実現しますが、この研究で使用した接続クラスター法は、中型の分子でも可能な限り最適に機能します。水素化リチウムからビシクロブタンまで、これまで以上に大きな分子にFermiNetを適用しました。これは、30個の電子を備えた最大のシステムでした。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。指数関数的よりもはるかに優れたスケーリングを実現しますが、この研究で使用した接続クラスター法は、中型の分子でも可能な限り最適に機能します。水素化リチウムからビシクロブタンまで、これまで以上に大きな分子にFermiNetを適用しました。これは、30個の電子を備えた最大のシステムでした。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。説明された研究で適用された、誰もが中型の分子で最大として等しく働きます。水素化リチウムからビシクロブタンまで、これまでになく大きな分子にFermiNetを適用しました。これは、30個の電子を備えた最大のシステムでした。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。説明された研究で適用された、誰もが中型の分子で最大値として等しく働きます。水素化リチウムからビシクロブタンまで、これまで以上に大きな分子にFermiNetを適用しました。これは、30個の電子を備えた最大のシステムでした。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。水素化リチウムからビシクロブタンまで-これは私たちが検討した最大のシステムであり、30個の電子を持っています。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。水素化リチウムからビシクロブタンまで-これは私たちが検討した最大のシステムであり、30個の電子を持っています。最小の分子では、FermiNetは、結合したクラスターのエネルギーと単一のスレイター行列式から得られたエネルギーとの間に驚くべき99.8％の違いを捉えました。ビシクロブタンの場合、FermiNetは依然としてこの相関エネルギーの97％以上を捕捉しました。これは、おそらく「安価だが不正確」なアプローチの大きな成果です。しかし、不正確な「アプローチ。しかし、不正確な「アプローチ。







図5は、FermiNetが分子を操作するときに正しくキャプチャする相関エネルギーの割合をグラフで表したものです。紫色のバーは99％の相関エネルギーを示しています。左から右へ：水素化リチウム、窒素、エチレン、オゾン、エタノール、ビシクロブタン。



結合クラスター法は安定した分子でうまく機能しますが、計算化学の本当の「最先端」は、分子がどのように伸び、ねじれ、壊れるかを理解することと関係があります。このような問題を解決する場合、接続されたクラスターメソッドは失敗することが多いため、結果をできるだけ多くのコントロールサンプルと比較して、答えが一貫していることを確認する必要があります。説明した実験の枠組みでは、2つのコントロールストレッチシステムが考慮されました-窒素分子（N ₂）および10原子の水素鎖（H ₁₀）。窒素分子では、各原子からの3つの電子が関与するため、結合は特に複雑です。



次に、水素鎖は、電子が材料にどのような特性を示すかを理解するために、たとえば、特定の材料が電気を通すかどうかを予測するために興味深い ものです。どちらのシステムでも、接続クラスター法は平衡状態ではうまく機能しましたが、結合が引き伸ばされると問題が発生しました。従来のVMCメソッドは、すべての例でうまく機能しませんでした。しかし、FermiNetは、リンクの長さに関係なく、調査されたすべての方法の中で最良の方法の1つであることが判明しました。

結論

FermiNetは、深層学習法と計算量子化学の合成における大きな進歩の始まりであると信じています。これまでにFermiNetがレビューされたシステムのほとんどは、よく理解されています。しかし、他のドメインでディープラーニングを使用した最初の良い結果がさらなる研究と急速な進歩に拍車をかけたように、FermiNetでも同じことが起こり、新しい、さらに優れたニューラルネットワークアーキテクチャのアイデアが浮かび上がることを願っています。説明された作業がarXivに投稿された後、 他の グループ多くの電子が関与する問題を解決するためにディープラーニングを適用するためのアプローチを共有しました。さらに、私たちは計算量子物理学をほとんど掘り下げておらず、FermiNetを使用して材料科学と固体物理学の分野における複雑な問題を解決することを計画しています。



科学論文はここにあり、コードは ここで見ることができ ます。著者は、図面の作成に協力してくれたJim Kinwin、Adam Kine、およびDominicBarlowに感謝します。