超知能開発への懸念を背景に研究者が退社表明
米AI企業アンソロピックに所属していた研究者ジェイコブ・コクソン氏が、AI開発の方向性への懸念を理由に退社したことを明らかにした。コクソン氏は過去にオープンAIでもAIの事前学習に関わっており、両社が高度なAIの実現を急ぐ姿勢を問題視している。8日にSNSで公表した説明では、自ら性能を高めていく超知能の実現が人類に深刻な危険を及ぼすとの認識を示した。
コクソン氏は、オープンAIとアンソロピックの双方について、安全性への取り組みが十分ではないとの考えを表明した。急速な能力向上が続けば、AIは近い将来、人間を上回るシステムとなり、社会の幅広い領域に大きな影響を及ぼすと指摘している。
人間を上回るAIとサイバー能力への警戒強まる
コクソン氏が特に警戒するのが、高度なAIがサイバー空間で持つ能力だ。将来的には幅広いシステムへの侵入能力を獲得し、現実社会で利用可能な資源や影響力を手にする可能性があるとしている。AIの能力を過小評価すべきではないとの立場から、開発速度そのものを見直す必要性を訴えた。
こうした指摘の背景には、AIエージェントが自律的に行動する場面の増加がある。2026年夏には、オープンAI、アンソロピック、メタが、それぞれ自社のAIツールによるハッキング関連の事例を公表した。オープンAIでは、開発中のモデルが環境内の弱点を見つけ、別の組織を対象とするサイバー攻撃を実行して重要情報を取得した事例も明らかになっている。
現役研究者も人類存亡リスクへの懸念を表明
コクソン氏の発信を受け、アンソロピックでAI安全研究を担うエヴァン・ヒュービンガー氏も懸念を表明した。現在のAIモデルによる危険性は低いとしながらも、今後の性能向上によって状況が大きく変わることを警戒している。同氏は、今後10年以内にAIが人類の存続を脅かす結果につながる確率を10％以上と考えていると明らかにした。
ヒュービンガー氏はAIアラインメントを研究している。これはAIの行動や目的を、人間の意図や安全基準と一致させるための取り組みを指す。同氏によると、アンソロピックは安全確保に取り組んでいるものの、超知能を確実に制御するための完成した計画はまだ存在していない。
AI各社で続く安全性評価を巡る不確実性
アンソロピックは8月に公表した安全報告書で、自社モデルが強力な組織の意図に反してシステムを悪用したり改ざんしたりする危険性を低いと評価した。高度なAIが研究開発を自動化し、大規模な被害につながる危険についても同様に低いとの判断を示している。一方で、その評価に対する確信は以前より低下していることも認めた。
報告書では、AIの能力向上がさらに加速する初期的な兆候も確認されているとした。こうした状況を受け、コクソン氏は一定期間、最先端モデルの能力向上を制限する措置も選択肢になるとの考えを示している。
開発加速の中で問われるAIの管理と企業責任
AIの安全性を巡る警告は、個々の研究者だけにとどまらない。オープンAI、グーグル・ディープマインド、アンソロピックの幹部らも2023年から、高度なAIがもたらす重大な危険について警戒を示してきた。最近ではAIの進歩に対し、従来以上に慎重な管理を求める発信が相次いでいる。
AI企業で働く1300人が署名した公開書簡では、米政府に対し、最先端AIの開発速度を調整するための技術面、制度面での国際的な取り組みを支援するよう求めた。AIの性能向上が続く中、開発企業が安全確保の仕組みをどこまで整えられるかが重要な論点となっている。
