時折、AIの高度なモデルがその前任者を凌駕するというニュースが流れると、AIの軌跡に関する議論が再開される。こうした段階的な改善は確かに素晴らしいが、一方で、汎用人工知能（AGI）の展望に関する議論も再燃させる。AGIとは、人間の認知能力をあらゆる面で同等または上回る可能性がある仮説上のAIである。

この潜在的な技術的飛躍は、20世紀のもう一つの画期的なイノベーションである原子力を想起させる。どちらも前例のない能力を約束するが、人類文明を再形成し、あるいは終焉させる可能性のあるリスクもはらんでいる。

AIの開発は、原子力技術と同様に、素晴らしい機会と深刻な危険性をはらんでいる。それは人類の最も重要な課題を解決する可能性があるが、同時に人類を破滅に導く可能性もある。核軍拡競争は、抑制されない技術的進歩の危険性を私たちに教えた。AI時代において、私たちはその教訓を学んでいるだろうか？

核兵器の誕生は、相互確証破壊という概念をもたらした。AGIの登場により、人類が絶滅するかもしれないという存在上のリスクだけでなく、極度の苦痛や、人間の生命に意味がなくなる世界が待ち受けているという見通しにも直面することになる。

超知能システムが人間の創造性を凌駕し、あらゆる仕事を奪う未来を想像してみてほしい。人間の存在意義そのものが崩壊する可能性もある。

もし開発された場合、AGIを制御することは、原子炉で完璧な安全性を維持することに似ているだろう。理論的には可能だが、実際には多くの課題がある。私たちは何十年もの間、原子力技術を管理してきたが、AGIには独自の難しさがある。

AGIは、静的な核兵器とは異なり、学習し、自己修正し、予測不可能な相互作用を行う可能性がある。原子力事故は、それがどんなに悲惨なものであっても、回復が可能である。しかし、AGIの暴走にはそのような余裕はないかもしれない。

AGIのタイムラインは依然として不確かであり、激しい議論が続いている。楽観的な予測では数年以内に実現する可能性もあるが、多くの専門家は、実現するとしてもまだ数十年は先だと考えている。

いずれにしても、現状に満足している場合ではない。AI開発には国際原子力機関（IAEA）の保障措置に相当するものがあるだろうか？AIの能力を評価する現在の方法は、より高度なシステムの潜在的なリスクや影響を真に理解するには、明らかに不十分である。

科学的研究のオープンな性質が、原子力開発とAI開発の両方を加速させた。しかし、オープンソースソフトウェアがその価値を証明している一方で、ツールから自律エージェントへの移行は、前例のない危険性をはらんでいる。強力なAIシステムを野放しにすれば、予期せぬ結果を招く可能性がある。

キューバ危機は世界を瀬戸際に追い込んだが、同時に軍備管理条約の時代をもたらした。AIの安全性についても同様の国際協力が必要であり、しかも迅速にである。

AIの開発と展開のための強固な国際的枠組み、AIの安全性研究への資金援助の増額、AGIの潜在的な影響に関する一般教育、そしてすべてのAI研究者および企業が順守すべき倫理指針を優先する必要がある。それは難しい要求だ。

AGIの登場により、人類は絶滅の危機だけでなく、極度の苦痛や、人間の生命に意味がなくなる世界という見通しにも直面することになる。

モハメド・A・アルカルニ

しかし、これらの重大な問題を考えるにあたり、AI技術の現在の限界を認識することが極めて重要である。

人々の想像力を掻き立てている大規模言語モデルは、確かに素晴らしいが、基本的にはパターン認識と予測システムである。真の理解、推論能力、あるいは人間の知能がそうであるような学習能力や適応能力に欠けている。

これらのシステムは目覚ましい能力を発揮しているが、AIコミュニティでは、これらのシステムがAGIへの道筋を示すものなのか、それとも根本的に異なるアプローチが必要なのかについて、現在も議論が続いている。

実際、多くの専門家は、AGIの実現には、現在利用可能なものとは異なる科学的な飛躍が必要になる可能性があると信じている。意識、認知、知性の本質に対する新たな洞察が必要になる可能性がある。それは、核時代を切り開いたのと同様に、潜在的に非常に重要な飛躍である。

この見解は、安心感と行動への呼びかけの両方をもたらす。

安心感は、現在の軌道に基づくとAGIは不可避ではないという理解から得られる。倫理的影響を慎重に検討し、強固な安全対策を開発し、責任あるAI開発のための国際的な枠組みを構築する時間がある。

しかし、行動への呼びかけは、この時間を賢明に使い、AIだけでなく、認知科学、神経科学、心の哲学などの基礎研究に投資することである。

AIの未来を切り開いていくにあたり、興奮と慎重さのバランスを保ちながら取り組んでいこう。私たちは、差し迫った世界的な課題の解決に向けて、現在のAI技術の膨大な潜在能力を活用すると同時に、より高度なAIが登場するであろう未来に備えるべきである。

グローバルな協力体制、倫理指針、人間中心のAI開発への取り組みを促進することで、AIが人間の繁栄を脅かすのではなく、むしろそれを高める未来の実現に向けて取り組むことができる。

原子力技術との類似性は、人間の創意工夫の力と責任ある技術革新の重要性を私たちに気づかせる。これまで私たちは、世界的な大惨事を回避しながら原子力を有益な目的に活用する方法を学んできたように、人間の潜在能力を損なうのではなく高めるような形でAIの未来を形作る機会を得ている。

前進への道筋には、警戒心、協力、そして人類の向上に対する揺るぎない献身が必要である。この取り組みにおいて、私たちの知恵と価値観は最も重要な要素である。

• モハメド・A・アルカルニ氏は、学術研究者であり、ビジネスにおけるAIのコンサルタントでもある。