1930 Yılından Sonrasını Bilmiyor: İnterneti Hiç Görmeden Eğitilen Yapay Zeka
Yapay zeka denilince çoğumuzun aklına günümüzde sıkça kullandığımız Gemini, ChatGPT veya Claude geliyor. Peki ya alışılmışın dışına çıkan bir yapay zekanın da var olduğunu söylesek? Üstelik kendisi 1930 yılından sonrasını bilmiyor! Yani modelin bildiği dünya, oldukça eski. Ortaya çıkan sonuçlar ise düşündüğünüzden çok daha ilginç.
Gelin, neyin nesiymiş bakalım!
Sadece geçmişten beslenen model nasıl geliştirildi?
Talkie projesi, Alec Radford, Nick Levine ve David Duvenaud tarafından geliştirildi. Model, 260 milyar token’dan oluşan veri setiyle eğitildi. Kaynaklar arasında kitaplar, gazeteler, patentler ve hukuki metinler yer alıyor. Tüm içeriklerin ortak noktası ise 1931 öncesine ait olmaları.
Proje kapsamında yalnızca temel model değil, talimatları anlayan versiyon da geliştirildi. 'talkie-1930-13b-it' adı verilen versiyon, eski referans kitaplardan çıkarılan soru-cevap çiftleriyle eğitildi. Ardından çevrim içi DPO yöntemiyle pekiştirme öğrenmesi uygulandı. Hatta model değerlendirmesinde başka bir dil modeli hakem olarak kullanıldı.
Modern bilgi yok ama dil becerisi şaşırtıyor.
Modelin en dikkat çeken yanı, modern dünyaya dair bilgiye sahip olmaması. İkinci Dünya Savaşı, güncel teknoloji ya da internet kültürü hakkında hiçbir veri içermiyor. Buna rağmen temel dil becerileri oldukça güçlü. Sayısal işlemler ve mantık yürütme gibi alanlarda başarılı sonuçlar verdiği belirtiliyor.
Daha da ilginç olan kısım ise programlama anlayışı. Python gibi modern bir dil eğitim verisinde yer almamasına rağmen, model verilen örneklerden yola çıkarak kod mantığını çözebiliyor. Forumlarda yapılan tartışmalarda, şifreleme sistemlerini çözme ya da yeni kuralları öğrenme gibi beceriler de öne çıkıyor.
Tabii her şey kusursuz değil. OCR ile elde edilen metinler nedeniyle eğitim sürecinde verim kaybı yaşandığı ifade ediliyor. Ayrıca bazı testlerde dönem dışı bilgilere rastlanması, veri sızıntısı ihtimalini gündeme getirdi.
Talkie-1930, yapay zeka araştırmaları açısından farklı kapı aralıyor.
Özellikle veri setinin zamanla sınırlandırılması, modelin neyi gerçekten öğrendiğini anlamak için önemli bir fırsat sunuyor. Uzmanlar, genel zeka ile ezber arasındaki farkı daha net analiz edebileceklerini düşünüyor.
Aynı zamanda kültürel ve dilsel değişimlerin modele nasıl yansıdığı da incelenebiliyor. Viktorya dönemi dili, eski deyimler ve farklı yazım biçimleri gibi detaylar üzerinde testler yapılabiliyor. Proje kapsamında ayrıca modern verilerle eğitilmiş karşılaştırma modeli de sunuldu. Böylece iki farklı dönem arasında doğrudan kıyaslama yapılabiliyor.
Keşfet ile ziyaret ettiğin tüm kategorileri tek akışta gör!
Test
Gündem
Magazin
Video
İlginizi çekebilir:
7 Bin 351 Odalı Dev Yapının İçine Giren Kayboluyor
Raylara Temas Etmeden 460 Km Hızla Gidiyor: 30 Kilometrelik Yol 7 Dakika
Bu Ülkeleri 1 Günde Baştan Sona Gezebiliyorsunuz
Yorum Yazın