DeepSeek’in maliyet tasarrufu sağlayan yapay zekâsı, model performansında doğruluğa zarar verebilir: araştırma
South China Morning Post
🔹 ByteDance araştırmacıları ile Princeton, Stanford ve California Berkeley üniversitelerine bağlı ortak yazarların hazırladığı, hakem değerlendirmesinden geçmemiş çalışma DeepSeek modellerinin bellek tasarrufu sağlayan teknolojisinde olası bir kusur ortaya koydu.
🔹 Araştırmacılar, DeepSeek’in uzun girdileri işlemek için gereken belleği azaltırken güvenilirlikten ödün verebileceğini belirledi. Modeller, aynı bilgiyi bir belgenin belirli konumlarında gördüğünde daha sık gözden kaçırdı.
🔹 Bulgular DeepSeek-V4, V4.1 ve önceden eğitilen tüm sıkıştırılmış modellerde gözlendi.
🔹 Araştırmacılar, yaklaşık 128 bin token uzunluğundaki metinlerde bilgi bulma yeteneğini test etti. DeepSeek-V4 ailesinin bilgi erişim doğruluğu 40 yüzde puanına kadar farklılık gösterdi.
🔹 DeepSeek’in bilgileri daha sonra erişilmek üzere gruplandırıp sıkıştırması belleği azaltıyor, ancak ayrıntıların sıkıştırılmış bölümlerdeki konumuna bağlı olarak geri alınmasını zorlaştırabiliyor.
🔹 Aynı bilgisayar kodunun önüne ilgisiz metin eklenmesi, DeepSeek’in doğru yanıtı seçme becerisini olumsuz etkiledi. Bu sonuç, girdideki küçük değişikliklerin model performansını etkileyebileceğini gösterdi.
🔹 Araştırmacılar, bulguların kontrollü deneylere ve sınırlı sayıdaki kodlama örneğine dayandığını, sorunun gerçek dünyadaki uygulamaları ne sıklıkta etkilediğini kapsamlı biçimde ölçmediğini belirtti.
🔹 DeepSeek ve ByteDance, yorum taleplerine yanıt vermedi.
🔹 Maliyet verimliliği, DeepSeek teknolojisinin temel özelliklerinden biri oldu ve Hangzhou merkezli şirketin uluslararası ölçekte öne çıkmasına katkı sağladı.
🔹 Bulgular, uzun belgelerden veya yazılım kodundan doğru bilgi alınmasını gerektiren uygulamalarda verimlilik ile güvenilirlik arasında denge kurma sorununu ortaya koydu.