Google DeepMind, milyonlarca yapay zekâ ajanının etkileşiminin oluşturabileceği risklerden endişe duyuyor
MIT Technology Review
🔹 Google DeepMind, insan gözetimi olmadan görev yapan ve birbirlerine talimat verebilen milyonlarca yapay zekâ ajanının oluşturabileceği risklerin araştırılması için yeni bir girişim başlattı.
🔹 Şirket, Schmidt Sciences, ARIA, Cooperative AI Foundation ve Google.org ile birlikte çoklu ajan sistemlerinin güvenliğini inceleyecek araştırmalar için 10 milyon dolarlık fon oluşturdu.
🔹 Google DeepMind AGI Güvenliği ve Hizalama Araştırmaları Direktörü Rohin Shah, çoklu ajan güvenliği konusunda henüz bağımsız bir akademik araştırma alanı oluşmadığını ve bu alanın geliştirilmesini hedeflediklerini söyledi.
🔹 Çok sayıda yapay zekâ ajanının birlikte çalışmaya başlamasıyla dolandırıcılık, siber saldırılar ve kötü niyetli komut enjeksiyonlarının daha karmaşık hale gelebileceği değerlendiriliyor.
🔹 Araştırmacılar, tek bir ajanı incelemenin yeterli olmadığını, milyonlarca ajan arasındaki etkileşimlerin öngörülemeyen sonuçlar doğurabileceğini düşünüyor.
🔹 James Fox, dijital altyapının düzensiz ve kontrolsüz bir ortama dönüşmemesi için bu sistemlerin davranışlarının önceden anlaşılması gerektiğini söyledi.
🔹 Proje kapsamında araştırmacılar, yapay zekâ ajanlarını kontrollü simülasyon ortamlarına yerleştirerek toplu davranışlarını inceleyecek.
🔹 Google DeepMind, gelecekte yapay genel zekânın tek bir model yerine çok sayıda yapay zekâ ajanının birlikte oluşturduğu kolektif bir yapıdan ortaya çıkabileceğine ilişkin çalışmaların da bulunduğunu belirtiyor.
🔹 Anthropic de kısa süre önce yapay zekâ ajanları için "zero trust" yaklaşımına dayalı siber güvenlik ilkeleri yayımladı.
🔹 Siber güvenlik uzmanları, yapay zekâ ajanlarının sabit kurallarla çalışan klasik yazılımlardan farklı olarak muhakeme yapabilmesi ve beklenmedik şekilde yönlendirilebilmesinin yeni güvenlik riskleri oluşturduğunu ifade ediyor.
🔹 Google DeepMind, çoklu ajan sistemlerinin ekonomide yaygın şekilde kullanılmasının birkaç ay içinde hızlanabileceğini ve güvenlik çalışmalarının bu süreçten önce başlatılmasının önemli olduğunu değerlendiriyor.