新しい「液体」AI は世界の経験から継続的に学習します

人間の脳と比較しても、AI は依然として私たちとはあまり似ていません。たぶん大丈夫です。動物界では、脳にはさまざまな形や大きさがあります。そこで、新しい機械学習のアプローチでは、エンジニアは人間の脳とその美しい複雑さをすべて取り除き、代わりに下等な虫の脳にインスピレーションを求めました。

シンプルであることには利点があることが分かりました。結果として得られるニューラル ネットワークは効率的で透過的であり、さらに重要なのは、これが生涯学習者であるということです。

ほとんどの機械学習アルゴリズムは初期トレーニング期間を超えてスキルを磨くことはできませんが、研究者らは、新しいアプローチは次のように述べています。液体ニューラルネットワークと呼ばれる、一種の「神経可塑性」が組み込まれています。つまり、ロボットが仕事をするとき、たとえば将来的には車を運転したり、ロボットに指示を出したりするときに、経験から学習し、その場で接続を調整できるということです。

騒々しく混沌とした世界では、そのような適応力が不可欠です。

虫の脳のドライバー

このアルゴリズムのアーキテクチャは、人間の神経系を構成するわずか 302 個のニューロンからインスピレーションを受けています。C.エレガンス、小さな線虫（または線虫）。

で昨年出版された作品MITとオーストリア科学技術研究所の研究者を含むこのグループは、そのシンプルさにもかかわらず、次のように述べています。C.エレガンス驚くほど興味深く多様な動作が可能です。そこで彼らは、ワームのニューロンを数学的にモデル化する方程式を開発し、ニューラル ネットワークに構築しました。

彼らのワームブレイン アルゴリズムは他の最先端の機械学習アルゴリズムよりもはるかに単純でしたが、それでも車を車線内に維持するなど、同様のタスクを実行できました。

「今日、自動運転などの複雑なタスクの学習には、何百万ものパラメータを持つ深層学習モデルがよく使用されています」とオーストリア科学技術大学の博士課程の学生で研究著者のマティアス・レヒナー氏は言う。言った。 「しかし、私たちの新しいアプローチにより、ネットワークのサイズを 2 桁削減できます。私たちのシステムが使用するトレーニング可能なパラメーターは 75,000 のみです。」

さて、新しい紙、このグループは、まったく新しい機能を追加することで、ワームからインスピレーションを得たシステムをさらに進化させています。

古いワーム、新しいトリック

ニューラル ネットワークの出力 (たとえば、ハンドルを右に回すなど) は、次のセットに依存します。重み付けされた接続ネットワークの「ニューロン」の間。

私たちの脳内でもそれは同じです。それぞれの脳細胞は他の多くの細胞と接続されています。特定のセルが発火するかどうかは、そのセルが受信している信号の合計によって決まります。あるしきい値 (または重み) を超えると、セルは自身のダウンストリーム接続ネットワークに信号を送信します。

ニューラル ネットワークでは、これらの重みはパラメーターと呼ばれます。システムがネットワーク経由でデータを供給すると、そのパラメータが構成に収束し、最良の結果が得られます。

通常、ニューラル ネットワークのパラメーターはトレーニング後に所定の位置に固定され、アルゴリズムが動作します。しかし、現実の世界では、これはアルゴリズムが少し脆弱であることを意味する可能性があります。トレーニングから逸脱しすぎるものをアルゴリズムに示すと、アルゴリズムが壊れてしまいます。理想的な結果ではありません。

対照的に、液体ニューラル ネットワークでは、パラメーターは時間の経過と経験に応じて変化し続けることができます。 AI は仕事中に学習します。

この適応性は、たとえば、雨で自動運転車のカメラが見えなくなった場合など、世界が新しい情報やノイズの多い情報を投げかけたときに、アルゴリズムが壊れる可能性が低いことを意味します。また、内部動作がほとんど不可解な大規模なアルゴリズムとは対照的に、アルゴリズムのシンプルなアーキテクチャにより、研究者はアルゴリズムの内部を覗いて意思決定を監査することができます。

その新しい能力も、まだ小さい身長も、AI を引き留めるようには見えませんでした。このアルゴリズムは、一連のイベントの次のステップを予測する際に、他の最先端の時系列アルゴリズムと同等かそれ以上の性能を発揮しました。

「誰もがネットワークのスケールアップについて話しています」とラミン・ハサニ氏は言いました。研究の筆頭著者。 「私たちはスケールダウンして、ノードの数を減らしながらもより豊かなノードを作りたいと考えています。」

比較的少ない計算能力を消費する適応性のあるアルゴリズムが理想的なロボットの脳となるでしょう。ハサニ氏は、このアプローチがビデオ処理や財務分析などの新しいデータのリアルタイム分析を伴う他のアプリケーションでも役立つ可能性があると考えています。

同氏は、このアプローチを実用化するために引き続き取り組んでいく予定だ。

「私たちは、自然からインスピレーションを得た、より表現力豊かなニューラル ネットワークを開発したと考えられています。しかし、これはプロセスの始まりにすぎません」とハサニ氏は語った。 「明らかな疑問は、これをどのように拡張するかということです。私たちは、この種のネットワークが将来の諜報システムの重要な要素になる可能性があると考えています。」

大きいほど良いのでしょうか？

OpenAI や Google などの大手企業が巨大な機械学習アルゴリズムで定期的に見出しを飾っている現在、これは逆の方向に向かう代替アプローチの興味深い例です。

OpenAIの昨年は、その規模（当時としては記録的な 1,750 億パラメータ）と、。最近の Google アルゴリズムは、次のチャートでトップになりました。1兆を超えるパラメータ.

しかし批評家らは、ますます大規模なAIへの取り組みは無駄で費用がかかり、大規模モデルに資金を提供する現金を持った少数の企業の手に研究を集中させることになると懸念している。さらに、これらの巨大なモデルは「ブラック ボックス」であり、その動作はほとんど侵入で​​きません。これは、教師なしモデルが存在する場合に特に問題となる可能性があります。フィルタリングされていないインターネットで訓練を受けている。彼らがどのような悪い習慣を身につけてしまうのかはわかりません (あるいは、おそらく制御することもできません)。

学術研究者は、これらの問題のいくつかに対処することを目指しています。 OpenAI、Google、Microsoft などの企業が、大きいほど良いという仮説の証明を進めているため、効率性に関する本格的な AI イノベーションが他の場所で現れる可能性があります。リソースが不足しているにもかかわらずではありませんが、なぜならそれの。よく言われるように、必要は発明の母です。

画像クレジット:ベンジャミンは聞いた/アンスプラッシュ

ジェイソンは SingularityHub の編集ディレクターです。彼は科学とテクノロジーに進む前に、金融と経済について研究し、執筆しました。彼はほとんどすべてのことに興味を持っていますが、特に人工知能、コンピューティング、ロボット工学、バイオテクノロジー、神経科学、宇宙における大きなアイデアや進歩について学び、共有することが大好きです。