ナノフォトニクスチップ上の光速での深層学習

ディープラーニングは人工知能の分野を変革しましたが、従来のコンピューターハードウェアの限界がすでに進歩を妨げています。 MIT の研究者らは、光の速度で深層学習を実行することで、新しい「ナノフォトニクス」プロセッサーが解決策となる可能性があると考えています。

1980 年代、科学者やエンジニアは光コンピューティングを情報技術の次なる偉大な革命として歓迎しましたが、光ファイバーケーブルやレンズなどのかさばるコンポーネントは特に堅牢またはコンパクトなコンピューターには適さないことが判明しました。

MITの物理学博士研究員Yichen Shen氏によると、特にスケーラブルな光論理ゲートを作るのは非常に難しく、したがって一般的な光コンピュータを作るのは非現実的であることがわかったという。ただし、Light が得意とすることの 1 つは、行列 (列と行に配置された数値の配列) の乗算です。実際、レンズが光線にどのように作用するかは、行列の乗算によって数学的に説明できます。

これは、深層学習に関与する計算の中核コンポーネントでもあります。ナノフォトニクス (ナノメートルスケールでの光の挙動の研究) の進歩と相まって、光コンピューティングへの関心が再び高まっています。

「深層学習は主に行列の乗算であるため、光の性質と非常によく連携します」とシェン氏は言います。「光を使用すると、ディープラーニングコンピューティングをはるかに高速化し、エネルギー効率を何千倍も向上させることができます。」

これを実証するために、Shen 氏と彼の MIT 同僚は、人工ニューラルネットワーク (深層学習の中心となる脳から着想を得たアルゴリズム) を実装できる全光チップを設計しました。

でNature に掲載された最近の論文同グループは、56 個の干渉計で構成されるチップについて説明しています。干渉計は、研究者が光線がどのように相互に干渉するかを制御して数学的演算を実行できるようにするコンポーネントです。

プロセッサは、導波路に小さな電圧を印加してプロセッサの周囲に光線を送り、導波路を加熱して形状を変化させることによって再プログラムできます。

研究者らによると、このチップは推論タスクに最適で、学習したモデルを適用して新しいデータを分析し、画像内の物体を検出するなど、アルゴリズムが実用化される。

導波管の加熱は電子システムの再プログラムに比べて比較的遅いため、学習にはあまり向いていません。そこで研究者らは、研究では、学習したモデルをナノフォトニクスプロセッサに転送して推論タスクを実行する前に、コンピュータ上でアルゴリズムを訓練した。

それは大きな問題ではありません。多くの実用的なアプリケーションでは、同じチップ上で学習と推論を実行する必要はありません。 Google は最近、次の見出しを飾りました、TPU、これも推論用に特別に設計されており、機械学習を多用するほとんどの企業は 2 つの仕事を分割しています。

「多くの場合、これらのモデルは数か月に 1 回更新され、残りの時間は固定モデルが推論を行うだけです」と Shen 氏は言います。「人々は通常、これらのタスクを分離します。通常、トレーニングだけを行うサーバーと推論だけを行うサーバーがあるため、推論に重点を置いたチップを作成することに大きな問題はないと思います。」

モデルがチップにプログラムされると、従来の電子チップに比べて 1 回の操作あたりのエネルギーが 1,000 分の 1 以下で、光の速度で計算を実行できるようになります。

ただし、制限もあります。このチップは数ミクロンのスケールで動作する光波を扱うため、これらのチップをどれだけ小さくできるかには基本的な制限があります。

「実際、導波管をどれだけ小さくできるかの限界は波長によって決まります。デバイスを大幅に小さくすることはできません。おそらく 4 分の 1 かもしれませんが、最終的には物理学が私たちを止めてしまうでしょう」と論文の共著者である MIT 大学院生のニコラス・ハリスは言う。

つまり、数千のニューロンよりもはるかに大きなニューラルネットワークを実装するのは難しいということです。ただし、現在の深層学習アルゴリズムの大部分は、その制限内に十分収まります。

未来の一部になる

サインアップして、SingularityHub から画期的なテクノロジーや先見の明のある思想家に関するトップストーリーを受け取りましょう。

完全無料。スパムはありません。いつでも購読を解除してください。

このシステムは、同じ深層学習モデルを実装した標準的なコンピューターよりもタスクの精度が大幅に低く、母音の 91.7 パーセントに対して 76.7 パーセントが正しく識別されました。

しかしハリス氏は、これは主に導波管のプログラムに使用されるさまざまな加熱素子間の干渉によるものだと考えており、断熱トレンチや追加の校正手順を使用することで簡単に修正できるはずだと述べている。

重要なのは、このチップは従来のコンピューターチップと同じ製造技術を使用して構築されているため、生産のスケールアップも容易であるということです。シェン氏は、同グループはすでに著名なチップメーカーから自社の技術に関心を持っていると述べた。

アリゾナ大学の光学教授ピエール・アレクサンドル・ブランシュ氏は、この論文に非常に興奮していると述べ、この論文は自身の研究を補完するものだと述べた。しかし、彼はあまり夢中にならないように警告した。

「これは有用な光コンピューティングへの進歩における新たなマイルストーンです。しかし、エレクトロニクスとの競争力にはまだ程遠いです」と彼は電子メールで Singularity Hub に語った。「[論文内の]スケーラビリティ、消費電力、速度などに関する議論では、多くの条件時制や仮定が使用されており、実際に可能性があるとしても、やるべき研究がまだたくさんあることが示されています。」

特に、このシステムは問題の部分的な解決策にすぎないと指摘した。ニューロンの計算の大部分には行列の乗算が含まれますが、非線形応答の計算という別のコンポーネントもあります。

今回の論文では、計算のこの側面は通常のコンピューター上でシミュレートされました。研究者らは、将来のモデルでは、この機能は、強度が増加するにつれて光の吸収が少なくなる、導波路に統合されたいわゆる「可飽和吸収体」によって実行される可能性があると述べている。

しかし、ブランシュ氏は、これは些細な問題ではなく、彼のグループが現在実際に取り組んでいることであると指摘しています。「ドラッグストアで買えるようなものではありません」と彼は言う。バビン・シャストリ氏、プリンストン大学の博士研究員、そのグループもまた次の研究に取り組んでいるニューラルネットワークを実装するためのナノフォトニクスチップ氏は、行列乗算を可能にすることは本格的なフォトニックニューラルネットワークを実現するための重要なステップであるため、この研究は重要であると述べた。

「全体として、この研究分野は刺激的で有望な分野への到来をもたらす準備ができています」と彼は付け加えた。「フォトニクスハードウェアに実装されたニューラルネットワークは、マシンが超高速の物理現象と相互作用する方法に革命をもたらす可能性があります。シリコンフォトニクスは、フォトニクスのアナログデバイスのパフォーマンスとシリコン製造のコストおよび拡張性を組み合わせたものです。」

across/Pond5.com から提供されるストックメディア