シリコンバレーやウォール街を揺るがした中国のAI企業DeepSeekからの最新モデルは、バイオ兵器攻撃の計画やティーンエイジャーの自傷行為を促進するキャンペーンなどの有害なコンテンツを生み出すよう操作できると、The Wall Street Journalが報じています。
パロアルトネットワークスの脅威インテリジェンスおよびインシデント対応部門であるUnit 42のシニアバイスプレジデント、サム・ルベン氏はJournalに対し、DeepSeekは「他のモデルよりもジェイルブレイク（不正または危険なコンテンツを生み出すために操作されること）しやすい」と述べています。
JournalはDeepSeekのR1モデル自体もテストしました。基本的な保護策があるように見えましたが、Journalによると、DeepSeekを説得して、「ティーンエイジャーの所属欲求につけ込み、感情的脆弱性をアルゴリズム的に増幅して兵器化する」ソーシャルメディアキャンペーンを設計することに成功しました。
チャットボットはまた、バイオ兵器攻撃の手順やプロヒットラー宣言の作成、マルウェアコードを含むフィッシングメールの作成という指示を提供するよう説得されたと報じました。Journalによると、ChatGPTにはまったく同じプロンプトが提供されたときには従うことを拒否されました。
以前に、DeepSeekアプリは天安門広場や台湾の自治などのトピックを回避していると報じられています。そして、AnthropicのCEOであるダリオ・アモデイ氏は最近、DeepSeekがバイオ兵器安全テストで「最悪の結果」を示したと述べました。
