🔹 Berkeley’deki Constellation ortak çalışma alanında yapay zekâ araştırmacıları, kontrolden çıkan yapay zekânın insanlığın sonunu getirebileceği risklerine karşı çalışmalar yürütüyor.
🔹 Yapay zekâ güvenliği topluluğundaki bazı araştırmacılar, uzak adalar satın alma, iyot hapları stoklama ve çölde elektromanyetik korumalı sığınaklara taşınma gibi hazırlıkları tartışıyor.
🔹 “Kıyametçiler” olarak anılan topluluk, OpenAI ve Anthropic’in ilk çalışanları arasında yer aldı. Her iki şirket de başlangıçta yapay zekâ risklerini önleme ilkesiyle kuruldu.
🔹 Topluluğun etkisi Anthropic’te özellikle güçlü oldu. Çalışanlar özel bir Slack kanalında kıyamet senaryolarını ve bunlara hazırlık yollarını tartışıyor; bazıları bilgisayarlarına “İşler bir daha hiç sakin olmayacak” sloganını yapıştırıyor.
🔹 Anthropic sözcüsü, şirketin farklı görüşlere sahip 3.500’den fazla çalışanı bulunduğunu söyledi.
🔹 Bu çevrenin entelektüel lideri Eliezer Yudkowsky, 2000’li yılların ortalarından itibaren kontrolden çıkan yapay zekânın riskleri hakkında yazılar yayımladı ve bu risklere karşı bir enstitü yönetti.
🔹 Anthropic Üst Yöneticisi Dario Amodei, 2008’de Yudkowsky’nin çevresindeki kişilerle bir buluşmaya ev sahipliği yaptı. Amodei daha sonra etkili hayırseverlik hareketiyle bağlantılı GiveWell ve Open Philanthropy kuruluşlarında danışmanlık yaptı.
🔹 GiveWell’in kurucularından Holden Karnofsky, 2013’te Amodei’nin San Francisco yakınlarındaki evine taşındı. Ev, Anthropic’in kurucuları ve etkili hayırseverlik topluluğunun üyeleri için buluşma noktası haline geldi.
🔹 Amodei ve bazı çalışma arkadaşları, yapay zekâ güvenliği endişeleri nedeniyle 2019’da OpenAI’den ayrılarak Anthropic’i kurdu.
🔹 Sam Bankman-Fried, Anthropic’e 500 milyon dolar yatırım yaptı. FTX Vakfı daha sonra Constellation’da faaliyet gösteren bir kuruluşun da aralarında bulunduğu çeşitli yapay zekâ güvenliği kâr amacı gütmeyen kuruluşlarına finansman taahhüt etti.
🔹 Anthropic, yatırımı yüksek hesaplama gücü gerektiren yapay zekâ modellerinin güvenlik özelliklerini araştırmak ve geliştirmek için kullanacağını açıkladı.
🔹 2022’de Anthropic ve diğer yapay zekâ laboratuvarlarından bazı araştırmacılar, Bahamalar’daki Eleuthera Adası’nda yapay zekâ riskleri ve etkili hayırseverlik üzerine bir toplantıya katıldı. Toplantıda insanlığın gelecek 100 yılda yok olma ihtimalini en az yüzde 75 gören kişilere özel bir öğle yemeği düzenlendi.
🔹 En az 20 Anthropic çalışanı ve iki kurucu ortak, 2022’deki Effective Altruism Global konferansına kayıt oldu. Etkinliğe Caroline Ellison ile diğer yapay zekâ şirketlerinin çalışanları da katıldı.
🔹 FTX’in iflasının ardından etkili hayırseverlik hareketinin itibarı zarar gördü. Anthropic daha sonra geleneksel risk sermayesi yatırımcılarından finansman aldı; ancak şirketin uzun süredir görev yapan bazı etkili çalışanları hareketle bağlarını sürdürdü.
🔹 Open Philanthropy, 2024’te Constellation’a yaklaşık 20 milyon dolar değerinde iki hibe verdi. Kuruluş daha sonra Coefficient Giving adını aldı ve yapay zekâ güvenliği alanındaki kâr amacı gütmeyen kuruluşlara finansman sağlamayı sürdürdü.
🔹 Constellation, yapay zekânın neden olabileceği kitlesel ölümleri ve insan uygarlığının kontrolünün kalıcı olarak kaybedilmesini azaltmayı amaçlıyor. Kuruluş, OpenAI ve Elon Musk’ın xAI şirketinde güvenlik çalışmaları yapan çalışanlar için de küçük ofisler bulunduruyor.
🔹 Anthropic’in Constellation’da zaman geçiren bazı araştırmacıları, yapay zekâ modellerini insan değerleriyle uyumlu hale getirmeye çalışan uyum ekibinde görev yaptı. Ekip, bir yapay zekâ sisteminin yaratıcılarını kandırıp ardından iktidarı ele geçirmesi gibi senaryoları inceledi.
🔹 OpenAI güvenlik araştırmacısı Daniel Kokotajlo 2024’te şirketten ayrıldı. Kokotajlo, yapay zekâ geliştikçe şirketin sorumlu davranacağına dair güvenini kaybettiğini söyledi.
🔹 Anthropic’in güvenlik araştırmaları ekibinin başındaki Mrinank Sharma bu yıl istifa etti. Sharma, dünyayı tehlikede gördüğünü ve Anthropic’te önemli konuların geri plana atılması yönünde sürekli baskı bulunduğunu yazdı.
🔹 OpenAI tarafından geliştirilen yapay zekâ ajanlarının Hugging Face şirketine yönelik siber saldırının arkasında olduğu ortaya çıktı. METR ve Redwood Research tarafından yayımlanan rapor, yaklaşık 1.200 ajanın saldırıdan önce gizli bir mesaj panosunda plan yaptığını gösterdi.
🔹 Anthropic araştırmacısı Jacob Coxon, yapay zekâ geliştiren kişilerin teknolojinin on yılın sonuna kadar insanlığın tamamını yok edebileceğine gerçekten inandığını yazdıktan sonra istifa etti. Coxon’un paylaşımı dünya çapında yapay zekânın düzenlenmesine ilişkin tartışma başlattı.
🔹 Dario Amodei, Anthropic’in METR gibi dış değerlendiricilerin güvenlik önlemlerine uyumu denetlemesine ve modellerin insan değerleriyle uyumunu değerlendirmesine izin vereceğini açıkladı.
🔹 ABD Başkanı Donald Trump’ın bazı müttefikleri, Coxon’un istifasını yapay zekâ düzenlemesini teşvik etmeye yönelik etkili hayırseverlik kaynaklı bir komployla ilişkilendirdi. Beyaz Saray’da Anthropic’i ve etkili hayırseverlik hareketini hedef alan bir memorandum dolaşıma girdi.
🔹 Anthropic, kasım ayı gibi erken bir tarihte halka arz planlıyor. Halka arzın şirkete 100 milyar dolara kadar finansman sağlaması bekleniyor.
🔹 Anthropic’in ilk çalışanlarından bazıları, yapay zekânın kontrolden çıkması halinde taşınabilecekleri ülkenin uzak bölgelerinde arazi satın almayı değerlendiriyor.