Yapay zekâ iyiyi kötüden ayırt etmiyor: İki fizikçi büyük şirketlerin gizlemek istediği şeyi ortaya çıkarıyor
EL PAÍS
🔹 George Washington Üniversitesi fizikçisi Neil Johnson ve bir meslektaşı, yapay zekâ sohbet robotlarının istenmeyen yanıtlara ne zaman yönelebileceğini hesaplayan matematiksel bir formül geliştirdi.
🔹 Formül, sohbet robotunun yönünü, hızını ve istenmeyen yanıtın ortaya çıkmasına kadar geçen süreyi hesaplayarak sistemin hemen mi yoksa bir dizi kabul edilebilir yanıtın ardından mı kontrolden çıkacağını belirlemeyi amaçlıyor.
🔹 Johnson, yapay zekânın kendi başına iyi ile kötüyü ayırt etmediğini; şirketlerin istenmeyen davranışları filtrelerle kavramlar uzayının uzak bir bölümüne itmeye çalıştığını söyledi.
🔹 Araştırmacılar çalışmayı ChatGPT’den önce geliştirilen GPT-2 modeli üzerinde yürüttü. Johnson, üretken yapay zekânın katmanlı dikkat mekanizmasının hem şaşırtıcı sonuçları hem de istenmeyen davranışlara yönelme riskini oluşturduğunu söyledi.
🔹 Johnson, tek bir yapay zekâ sistemi istenmeyen biçimde davrandığında çevresindeki yapay zekâ ajanlarının da benzer biçimde yön değiştirebileceğini belirtti. Bu etkinin, yapay zekâ ajan sürülerinde davranışların yayılmasına yol açabileceğini söyledi.
🔹 Hugging Face’e yönelik OpenAI ajan saldırısı ve kendine zarar vermeyi öneren yapay zekâ sistemleri, istenmeyen davranışlara örnek olarak gösterildi.
🔹 Johnson, yapay zekâ şirketlerine bulgularını anlatmaya çalıştığını ancak şu ana kadar yanıt alamadığını söyledi. Çevrimdışı çalışan mobil modellerde uyarı ışığı bulunmasını, büyük kapalı modellerin de sistem kontrolden çıkmadan önce uyarı verecek formülü içermesini önerdi.
🔹 Önerilen uyarı sistemi, sohbet robotunun istenmeyen yanıtlara yönelmeye başladığını gerçek zamanlı olarak saptayabilir ve çok az bellek kullanabilir.
🔹 OpenAI ve Anthropic, gelişmiş modellerinin istenmeyen yanıt veya eylemleri nasıl ürettiğini tam olarak açıklayamadıklarını ve bu davranışların az sayıda vakada görüldüğünü belirtiyor.
🔹 Johnson, davranışların milyonlarca kullanım içinde yüzde 5 oranında görülmesinin bile her 100 kullanıcıdan yaklaşık 5’inin kendine zarar vermeye yönlendirilmesi veya sivil nüfusun bulunduğu bölgelerde saldırı düzenleyen dronlar anlamına gelebileceğini söyledi.