【Fortune要約】Amazonが暴いたAI「脱獄」リスク:アンソロピック社の最新AIが突如サービス停止に追い込まれた真相|英文ビジネスニュース日本語解説

この記事の論点:

最新AIモデルに突如発動された米政府の「輸出管理」、その裏にあった対立。

— いち企業のサービス停止が世界に与えた混乱と教訓を解説。

* * *

告発者はAmazon:最新AI「Fable 5」に発覚した脆弱性と“脱獄”のパニック

In a post on X, Sacks said a highly credible, trusted partner of both Anthropic and the government had identified a jailbreak in Fable 5’s guardrails...

『Anthropicと政府の両方が高度な信頼を置くパートナー企業が、「Fable 5」のセーフガードにおける脱獄手法(jailbreak)を発見した』

ホワイトハウスのAI顧問であるデビッド・サックス氏はこうXに投稿した。彼が言う「信頼するパートナー」とは、Amazonのことだ。

Fable 5とは、アンソロピック社が最近公開した最新のAIモデルだ。サイバー攻撃に対する脆弱性を見つけるこのAIの能力は、同社の別バージョン「Mythos」と全く一緒だ。ただし、このFable 5の方には、検知した脆弱性を攻撃に使えないよう厳重にロックされているという違いがある。

このロック(guardrails)実は突破できるものだった…というのが今回紹介する記事の話だ。厳重なロックを突破しただけに「脱獄(jailbreak)に成功」と例えられた。

ぜひ全文を読んで欲しい。

* * *

物理的なモノがないのに「輸出管理」:政府が発動した「みなし輸出」のロジック

...the Commerce Department had stepped in to use national security export controls to bar Anthropic from distributing Fable 5 and its underlying model, Mythos 5, to foreign nationals, a category that includes people outside the U.S. as well as non-citizens working inside the country, including employees within Anthropic.
Given the scope, the AI lab said it had no option but to disable both models for all users.

記事によれば、Amazonの研究者が一連 of プロンプト(指示文)を用いたところ、本来はロックされるべき(出力されてはいけない)サイバー攻撃に関する情報が、モデルから出てきてしまったらしい。

ホワイトハウスはどうしたか。

政権はアンソロピック社のCEO、ダリオ・アモデイ氏に対して、この問題を修正するか、モデルを撤回するように求めた。記事によればだが、米政府は中国系のグループがすでにその不備を利用したのではないかと疑っているとの情報もある。

その政権からの要求をアモデイ氏は拒否した。

これが、6月12日に突如「AIが提供停止」となった理由だ。

アメリカ政府側では商務省が介入し、国家安全保障に基づく「輸出管理措置(national security export controls)」というものを発動した。これによって、海外の国民(foreign nationals)に対する「Fable 5」と「Mythos 5」の提供が禁止されたのだ。

* * *

「AIモデルに輸出管理」

違和感を持たない方が不自然だろう。だが面白さはここにある。

輸出管理に関する法律には「みなし輸出(deemed export)」という定義がある。その定義によれば、AIのように物理的な「モノ」でないものも、海外の事業者にデジタルアクセスを提供することを制限の対象にできるのだ。

さらに、アクセスが禁止される相手については、米国外の人物だけでなく、米国内で働く外国人(non-citizens working inside the country)も含まれる。したがって、ユーザーは勿論、アンソロピック社の外国人従業員も、AI提供 of 禁止対象となってしまった。これではモデルの運用も管理もできない。アンソロピック社はやむなく、全てのユーザーに対してモデルを無効化する(disable)こととした。

これが「停止」の真相だ。

ちなみに、今回と同じ規制ではないが、2022から昨年にかけて数次にわたり発動されたのが、エヌビディアのチップの中国への輸出を制限する措置だった。こちらは、特定国(中国など)へのハードウェア輸出が対象だったが、今回は全ての外国籍の個人・法人が対象という広範さだ。

* * *

「国防vs倫理」の代償:トランプ政権とアンソロピック社の根深い対立

The episode also escalates a months-long standoff between Anthropic and the Trump administration, which earlier this year designated the company a “supply chain risk” for Pentagon contractors after Anthropic declined to accept contract terms allowing its models to be used for “all lawful purposes.”
Anthropic cited concerns over autonomous weapons and mass domestic surveillance and is contesting that designation in court.

アンソロピックがトランプ政権と揉めるのは別に初めてではない。

今年の初め、同社はペンタゴン(国防総省)から「サプライチェーンのリスク」に指定(designated)された。この指定により、連邦機関や軍と契約のある業者は、アンソロピック社との取引を禁じられることとなった。

挑戦的なこの措置は、アンソロピック社のAIを「あらゆる合法目的(all lawful purposes)」のために利用しようとした国防総省に同社が抵抗したことが理由だ。自律型兵器などへのAI利用を断ったアンソロピックに対する政権からの「村八分」だと見られており、同社はこの指定を不服として法廷で争っている。

今回の「脱獄」疑惑に対してアンソロピック社は、Amazonが発見した「脱獄」方法は限定的なもので、モデルの安全対策が無効と言うことでないと説明したそうだ。

記事の中でも、今回の輸出管理を「政府の行き過ぎた権力行使(government overreach)」とする専門家の声が紹介されている。

ここ最近続いている政権とアンソロピック社との対立。

政権に楯突いた一AI企業に対して、「輸出管理」まで持ち出してパニッシュしようとするトランプ政権の執念か。

それとも、サイバーアタックによる世界の終末を懸念する米政権に対し、AIブームを追い風に問題を過小評価するアンソロピック社の慢心か。

ところがAIの問題は国内の対立に収まらない。既に世界に対して、別のインプリケーションを与えることとなった。

* * *

世界への警鐘:「ソブリンAI(主権AI)」の必要性を証明した歴史的事件

The move marks the first time the U.S. government has used export controls to halt access to a commercial AI model already widely used by the public.
The unprecedented step has sparked concern from politicians around the world and intensified calls for sovereign AI, the idea that countries should control the AI models, infrastructure, and data that underpin critical technology, rather than depend on systems that can be restricted or withdrawn by a foreign government.

既に広く利用されている商用AIモデル。それへのアクセスを停止するために米政府が「輸出管理」まで持ち出したのは極めて異例だ。

ところがこの「AIモデル提供停止」という結果自体が、日本を含む外国政府にとって思わぬ「警鐘(wake-up call)」となった。

すなわち、「AIサービスってこんな一方的に止められるんだ」という事実に世界が気づいたのだ。

AIモデルやAIインフラは自国がコントロールする必要がある。少なくとも、外国政府に制奪を握られたものであってはならない。その議論の末にあるのは、やはり「ソブリンAI(sovereign AI)」の実現だ。AIにも国家の主権を及ぼす必要があるのだ。

結局のところ、AIという最先端のテクノロジーも、最後は国家のパワーゲームや政治の思惑に振り回される運命にあるようだ。

我々はいつまで「他国頼みのAIライフ」を続けられるだろうか…

*****

💡 この記事が役に立ったと感じた方へ

当ブログの知見があなたの挑戦の一助になれば幸いです。

「参考になった」「海外メディア購読などの活動を応援したい」という方は、下記のNOTE末尾よりサポート(記事購入)をいただけますと大変励みになります。

▶️ あわせて読みたい