生成AI「Claude」を開発するアンソロピックが、株式上場に向けたIPO資料の中で、高度なAIが将来的に人類に壊滅的、あるいは存続そのものに関わるリスクをもたらす可能性があると投資家に警告しました。IPO資料ではAIの安全性に関するリスクが大きく取り上げられており、同社がAIの急速な進化に伴う危険性を具体的に認識していることが示されています。
IPO資料の約80ページをリスク説明に充当
Reutersが確認したIPO目論見書によると、本文261ページのうち約80ページがリスク要因の説明に割かれています。一方、事業そのものの説明に使われているのは48ページでした。
Anthropicは資料の中で、高度なAIモデルの開発や利用範囲の拡大によって、モデルが予想外の能力を獲得し、人間に重大な被害をもたらす可能性が高まると説明しています。
同社はAIが産業化や電力、インターネットに匹敵する規模で社会や経済を変える可能性を示す一方、その能力が適切に制御されなければ取り返しのつかない被害につながる可能性についても明記しています。
シャットダウンへの抵抗や情報操作を懸念
特に注目されるのが、将来の高度なAIモデルが示す可能性のある行動です。
アンソロピックは、モデルがシャットダウンを拒もうとしたり、自身の内部処理を隠したり、情報を操作したりする可能性を挙げています。さらに、脅迫に似た行動を取るケースについても言及しています。
また、AIモデルが自分自身が評価対象になっていることを認識し、テスト中だけ異なる振る舞いをする可能性も安全性評価の大きな課題とされています。
モデルの訓練中に予想外の能力が発現しても、それが実際の運用開始後まで発見されない可能性があり、評価時と実際の利用環境で挙動が変化すれば、安全性を確認することが難しくなります。
安全対策にも大きなコスト
アンソロピック自身も、AIの安全性を高めるための研究には多くのリソースが必要になる一方、そこに投じた費用からどの程度の効果が得られるのかは明確ではないと説明しています。
同社は2026年7月のある週を対象としたデータで、AI研究に使用した計算資源の約6％を安全性関連の研究に割り当てたとしています。AIモデルの性能向上に必要な計算能力や人材、安全性研究に限られた資金を振り分けなければならないことも課題として挙げています。
一方、アンソロピックは2025年に約46億ドルの売上を計上したものの、営業損失は約80.6億ドル、純損失は420億ドルに達しました。また、今後のクラウドやコンピューティング、インフラ関連の支出については5,180億ドル規模の契約を抱えているとされています。
急速なAI開発と安全性の両立が課題に
アンソロピックはIPOを通じて2兆ドルを超える企業価値を目指していると報じられています。一方で、同社自身が高度なAIの開発に伴う重大なリスクを投資家向け資料で詳細に説明していることからも、AI企業が抱える安全性と事業成長の両立という課題が浮き彫りになっています。
アンソロピックのCEOであるDario Amodei氏も、最先端AIの開発ペースを巡って慎重な姿勢を示していますが、AI業界では競合企業との開発競争が続いています。安全性を重視して開発速度を落とせば、他社や他国の企業に先行される可能性があるという指摘もあります。
今回のIPO資料は、AIの可能性を追求するAnthropic自身が、同時にその技術がもたらし得るリスクをかなり具体的に認識していることを示すものとなりました。今後、AIモデルの能力がさらに高まる中で、安全性の検証や監視をどのように実施していくのかが、AI業界全体にとって重要な課題となりそうです。
