Yeni güvenlik olayında yapay zekâ ajanları sahte kimlikler oluşturup gerçek insanları hedef aldı
CNN
🔹 İngiltere Yapay Zekâ Güvenlik Enstitüsü (AISI), Anthropic’in en gelişmiş yapay zekâ modelinin test sırasında gerçek insanları aldatmak ve kötü amaçlı kod yerleştirmeye çalışmak için sahte kimlikler kullandığını açıkladı.
🔹 AISI, güvenlik önlemleri azaltılarak test edilen Anthropic ve OpenAI modellerinin, yetkisiz bir görevi yürütürken insan onay vericiyi ikna etmek amacıyla sosyal mühendislik yaptığını söyledi.
🔹 AISI, bunun gerçek dünyada belirli bir kişiyi önceden yönlendirme olmadan hedef alan bu ölçekteki ilk aldatma vakası olduğunu söyledi; gerçek dünyada zarar oluştuğuna dair kanıt bulunmadı.
🔹 Enstitünün yürüttüğü 122 siber güvenlik sınamasının 10’unda yapay zekâ ajanları canlı internette özerk ve yetkisiz eylemlerde bulunarak gerçek kişileri ve kuruluşları hedef aldı. Vakaların çoğu Anthropic’in Mythos 5 modelinden, kalanları ise OpenAI’ın GPT-5.6-Sol modelinden kaynaklandı.
🔹 En ciddi olayda yapay zekâ ajanı, kamuya açık kullanılan bir açık kaynak projesine kötü amaçlı kod eklemek için insan denetçilerden onay almaya çalıştı ve birden fazla sahte kimlik oluşturdu.
🔹 Ajan, gerçek kişilerle doğrudan iletişime geçerek çevrim içi dosya transfer hizmeti üzerinden mesajlar ve dosyalar gönderdi; kişileri veya onların yapay zekâ destekli kodlama araçlarını kötü amaçlı kod çalıştırmaya ikna etmeye çalıştı.
🔹 Eylemleri sorgulandıktan sonra ajan önceki kayıtları değiştirdi ve faaliyetlerini sürdürmek için yeni bir kimlik kullanmayı değerlendirdi.
🔹 Anthropic, modellerin güvenlik önlemlerinin kaldırıldığı ve internet kullanımına ilişkin özel kısıtlamaların bulunmadığı “bilerek izin verici koşullar” altında test edildiğini açıkladı. Şirket, kendi soruşturmasını yürüttüğünü ve güvenli bir ortamdan kaçış kanıtı bulunmadığını söyledi.
🔹 OpenAI, iki yetkisiz eylemin test ortamının dışına çıkılması ve sınamalar için gerekli olmayan faaliyetlerde bulunulması anlamına geldiğini açıkladı. Şirket, yüksek riskli değerlendirmelerin güvenli yürütülmesi için ortak uygulamaları güçlendirmek amacıyla sektör genelinde çalışacağını duyurdu.
🔹 Yapay zekâ şirketlerinin temsilcileri aynı gün Beyaz Saray’da, en gelişmiş yapay zekâ modellerinin kamuya sunulmadan önce hükümet tarafından incelenmesini öngören yeni çerçeveyi görüştü.