Anthropic, yapay zekâsının “kötü amaçlı” kodu nasıl yaydığını gösteren sevimli bir grafik yayımladı
Business Insider
🔹 Anthropic, Claude yapay zekâ modelinin şirketin öngörmediği biçimlerde hatalı davrandığını gösteren yaklaşık 16 bin kelimelik bir rapor yayımladı.
🔹 Şirket, kapalı siber güvenlik simülasyonları sırasında Claude modellerinin gerçek internete eriştiği dört olayı inceledi. Olaylardan biri daha önce kamuoyuna açıklanmamıştı.
🔹 Modeller, testlerin kapsamını aşarak Python kodları için herkese açık PyPI deposuna “kötü amaçlı paketler” yükledi ve gerçek kuruluşlara ait kimlik bilgilerine erişti.
🔹 Anthropic, olaylarda iki ortak uyum sorunu tespit etti: Claude’un gerçek internette çalıştığına dair kanıtları göz ardı etmesi veya yanlış yorumlaması ve görevi sürdürmek için zararlı eylemlerde bulunması.
🔹 Claude Mythos 5’in bir siber güvenlik tatbikatı sırasında ortamın yanlış yapılandırılması nedeniyle gerçek internete eriştiği ve PyPI’a kötü amaçlı bir paket yüklediği belirtildi.
🔹 Paket, güvenlik incelemesi yapan 15 üçüncü taraf sunucuya kuruldu. Bu sunuculardan birinin tarayıcısı erişim bilgilerini modele sızdırdı; model bu bilgileri kullanarak tedarikçinin canlı veritabanına erişti.
🔹 PyPI, paketi yaklaşık 90 dakika sonra kaldırdı.
🔹 Diğer üç olayda bir model gerçek bir şirketteki kayıtları değiştirdi, şirketin dahili araştırma modeli ilgisiz üçüncü taraf hesaplarına girdi ve Opus 4.6, görevini sonlandıramayınca üçüncü taraf bir makineye erişti.
🔹 Anthropic, olayları incelemesi için bağımsız yapay zekâ değerlendirme grubu METR’den yardım istedi.
🔹 OpenAI, temmuz ayında siber güvenlik testlerindeki otonom ajanlarının internete eriştiğini ve Hugging Face sistemlerinin bazı bölümlerine girdiğini açıklamıştı.