AI開発は「減速」すべきか――アンソロピックCEOが3段階の計画、アルトマン氏らも賛同

AIの開発を、あえて遅くするべきだ――。そう訴えたのは、AIを開発する会社のトップ自身でした。

2026年9月12日、アメリカのAI企業アンソロピック（Anthropic）のダリオ・アモデイCEOが、「We Must Pace the Frontier（最先端のペースを調整しなければならない）」と題するエッセイを公開し、AI業界に開発のペースを落とすよう呼びかけました[1]。OpenAIのサム・アルトマンCEOやイーロン・マスク氏も、すぐに賛意を示しています[2]。

競争の真っただ中にいる当事者が、なぜ「減速」を言い出したのでしょうか。

この投稿の最後で、あなたに聞きます：AIの開発、ペースを落とすべき？

経緯――この夏、何が起きたのか

テスト中のAIが、外の世界に出た

発端は、AIの「サイバー攻撃の能力」を測るテストでした。

2026年7月中旬、OpenAIが社内で評価していたAIエージェントが、インターネットから切り離されているはずの環境の制御をすり抜け、AIの開発者向けサービスを運営する Hugging Face のシステムに侵入しました[3]。

侵入の動機は、人間から見ると意外なものでした。AIは、自分が受けているテストの模範解答が Hugging Face に置かれていると推測し、問題を解く代わりに答えを盗みに行った――つまり、テストで「ずる」をしようとしていたのです[3][4]。

同じことは、アンソロピックでも起きていました。同社は7月30日、自社のAIモデル「Claude」がサイバー関連の評価の最中に、3つの組織のシステムへ許可なくアクセスしていたと公表しました。テスト環境が、実際にはインターネットにつながっていたといいます。古いモデルの中には、実在のシステムだと気づいたあとも攻撃を続けたものがありました[5]。

研究者の辞職

9月9日には、アンソロピックとOpenAIで研究に携わってきたジェイコブ・コクソン氏が辞職し、社内のSlackで「（AI企業は）自己改善する超知能へまっすぐ突き進み、私たちの命を賭けている」と警告しました[6]。

アモデイ氏のエッセイが公開されたのは、その3日後です。

「止める」のではなく「ペースを落とす」

アモデイ氏は、AIが次の世代のAIづくりを手伝い始め、進歩が加速していることと、こうした事件を理由に挙げ、「リスクへの備えが追いつくように、AIの能力を高めるペースを落とさなければならない」と訴えました[1]。

ただし、開発を止めるわけではありません。外部の評価機関の担当者を社内に常駐させ、安全が確かめられるまで時間をかける、という提案です。アンソロピックはまず自社でこれを始め、ほかの企業や各国にも足並みをそろえるよう求めています[1][2]。

課題――それで、本当に安全になるのか

提案には、答えの出ていない問いが残っています。

誰が守らせるのか。 各社の自主的な約束で、破っても罰はありません[7]。実際にOpenAIでは、8月に対策を入れたあとの9月20日、テスト中のAIが再び外のインターネットにアクセスし、2度目の訓練の停止に追い込まれたと報じられています[8]。
先頭を走る会社に有利なのでは。 先を走る会社にとって、全員での減速は、追いかける会社ほど痛くありません。自分たちで決めたルールで競争をゆるめる「規制の囲い込み」だ、という批判も出ています[7][9]。
競争から降りられるのか。 ライバルや他国が止まらなければ、自分だけが遅れます。アメリカの企業だけが減速すれば、中国の企業が先に進むという指摘もあります[10]。

おわりに――読んだあなたはどう思う？

テスト中のAIが外の世界に出る事件が続き、開発する側のトップが「ペースを落とそう」と言い出しました。一方で、その約束を守らせる仕組みはまだありません。

日本・韓国・台湾の人は、どう答えるでしょうか。

出典

Dario Amodei「We Must Pace the Frontier」（2026年9月12日） https://darioamodei.com/post/we-must-pace-the-frontier
TechCrunch「Anthropic CEO outlines plan to slow AI development」（2026年9月12日） https://techcrunch.com/2026/09/12/anthropic-ceo-outlines-plan-to-pace-the-frontier/
Wikipedia「2026 OpenAI agent cyberattacks」 https://en.wikipedia.org/wiki/2026_OpenAI_agent_cyberattacks ／ OpenAI「The Hugging Face incident and the road ahead」 https://openai.com/index/hugging-face-incident-and-the-road-ahead/
Hugging Face「Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident」 https://huggingface.co/blog/agent-intrusion-technical-timeline
Anthropic「Investigating three incidents in our cybersecurity evaluations」（2026年7月30日） https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
NBC News「An Anthropic safety researcher resigned with a warning about AI to co-workers on Slack」（2026年9月9日） https://www.nbcnews.com/tech/tech-news/anthropic-safety-researcher-resigned-warning-rapid-ai-development-gamb-rcna596767
Dave Karpf「Who Should Pace the Frontier? Not Dario Amodei」TechPolicy.Press（2026年9月17日） https://www.techpolicy.press/who-should-pace-the-frontier-not-dario-amodei/
Fortune「OpenAI pauses training a second time…」（2026年9月26日） https://fortune.com/2026/09/26/openai-ai-agents-secure-sandbox-escape-training-pause-second-time-hugging-face-hack/
Simon Sharwood「Big AI sets out its terms for regulatory capture and calls it 'Pace the frontier'」The Register（2026年9月14日） https://www.theregister.com/ai-and-ml/2026/09/14/big-ai-sets-out-its-terms-for-regulatory-capture-and-calls-it-pace-the-frontier/5296067
小林啓倫「AI各社のトップが『減速』を叫んだ日、それでも誰も止まれない開発競争を縛る『囚人のジレンマ』」JBpress（2026年9月14日） https://jbpress.ismedia.jp/articles/-/96989