Uzman Doktor Adaylarının Girdiği TUS'a Yapay Zeka da Girdi: Zirvedeki İsimler Yine Şaşırtmadı
Yapay zeka modelleri bu kez kod yazmak, metin üretmek ya da görsel hazırlamak için değil, Türkiye'nin en zorlu sınavlarından biri olarak bilinen Tıpta Uzmanlık Eğitimi Giriş Sınavı'nda (TUS) ter döktü. Yapay zeka üzerine çalışmalarını paylaşan Alican Kiraz, aralarında son dönemin popüler modellerinin de bulunduğu 30 farklı büyük dil modelini TUS'un Temel Tıp Bilimleri sorularıyla test etti. Ortaya çıkan sonuçlar, özellikle tıp ve biyoloji alanında yapay zeka kullananlar açısından dikkat çekici bir tablo ortaya koydu.
Detaylar 👇
30 Yapay Zeka Modeli TUS Sorularını Çözdü
Alican Kiraz'ın paylaştığı benchmark'ta 30 farklı LLM, toplam 72 TUS sorusuyla test edildi. Sorular arasında 2026'nın 1. dönem TUS'unda yayımlanan soruların yanı sıra 2023-2025 dönemindeki sınavlardan seçilen sorular da yer aldı.
Benchmark'ta modellerin yalnızca doğru cevap sayıları değil, yanlış cevapları, geçersiz cevapları, harcadıkları token miktarı ve API kullanım maliyetleri de hesaplandı. Kullanılan değerlendirme sisteminde net puan, doğru cevap sayısından yanlış cevapların dörtte birinin çıkarılmasıyla hesaplandı.
Toplamda 30 modelin 72 soruya verdiği 2.160 cevap değerlendirildi. Modeller test boyunca yaklaşık 1,96 milyon token tüketirken toplam maliyet ise yalnızca 5,55 dolar oldu.
Zirvede Tam 9 Model Var
Listenin zirvesinde tek bir model bulunmuyor. Tam 9 farklı model, 72 sorunun 71'ini doğru cevaplayarak 70,75 net ve 100 üzerinden 98,3 puana ulaştı.
Bu grubun içerisinde Gemini 3.7 Flash, MiniMax M3, Gemini 3.6 Flash, GLM 5.2, Claude Opus 5, Muse Spark 1.2, GPT-5.6 Sol, Claude Opus 4.8 ve Gemini 3.1 Pro bulunuyor.
Dolayısıyla paylaşımda MiniMax M3'ün özellikle öne çıkarılmasına rağmen tabloya bakıldığında modelin tek başına birinciliği bulunmuyor. MiniMax M3, 98,3 puanla zirveyi paylaşan modellerden biri.
Üstelik modellerin tamamı yalnızca birer soru farkla birbirinden ayrılıyor. Zirvedeki modellerin her biri 72 sorunun 71'ini doğru cevaplamış durumda.
En Dikkat Çekenlerden Biri GPT-5.6 Luna
Benchmark'ta 10. sırada yer alan modellerin tamamı 70 doğru cevap ve 69,50 net ile 96,5 puana ulaştı.
Bu grupta DeepSeek V4 Flash 0731, GPT-5.6 Luna, Gemma 4 31B, Inkling Small, GPT-5.6 Terra, Claude Sonnet 5, Inkling, DeepSeek V4 Pro 0813, Grok 4.5, Grok 4.6 ve Qwen3.8 Max bulunuyor.
GPT-5.6 Luna'nın tabloda 23.046 token tükettiği ve test maliyetinin 0,007 dolar olduğu görülüyor. Bu değer, modelin aynı puana ulaşan modeller arasında oldukça düşük maliyetli seçeneklerden biri olduğunu gösteriyor.
Asıl Fark Maliyette Ortaya Çıkıyor
Benchmark'ın dikkat çekici taraflarından biri de modeller aynı ya da birbirine çok yakın puanlar alırken maliyet tarafında büyük farklar bulunması.
Örneğin 96,5 puan alan DeepSeek V4 Flash 0731 ve GPT-5.6 Luna için belirtilen test maliyeti 0,007 dolar. Buna karşılık aynı puanı alan Kimi K3'ün maliyeti 0,468 dolara kadar çıkıyor.
Bir başka dikkat çekici örnek ise zirvedeki modeller arasında görülüyor. 98,3 puan alan Gemini 3.7 Flash'ın test maliyeti 0,059 dolar iken Claude Opus 4.8 için bu değer 0,400 dolar, Gemini 3.1 Pro için ise 0,470 dolar.
Bu nedenle sonuçlar yalnızca 'hangi model daha zeki?' sorusuna değil, 'hangi model verdiği performans karşılığında ne kadar maliyetli?' sorusuna da cevap arıyor.
En Ucuz Model 96,5 Puan Aldı
Listenin fiyat-performans tarafındaki en dikkat çekici modellerinden biri DeepSeek V4 Flash 0731 oldu.
Model, 72 soruda 70 doğru ve 2 yanlışla 69,50 net yaparak 96,5 puan aldı. Test maliyeti ise yalnızca 0,007 dolar olarak hesaplandı. Böylece benchmark'taki en yüksek net/maliyet oranlarından birine ulaştı.
GPT-5.6 Luna da aynı puanı ve aynı maliyeti paylaşarak tabloda benzer bir fiyat-performans sonucu ortaya koydu.
Bazı Modellerde Geçersiz Cevap Sorunu Yaşandı
Benchmark'ta yalnızca doğru ve yanlış cevaplar değil, geçersiz cevaplar da hesaba katıldı.
Örneğin Hy3 ve Nemotron 3 Ultra ikişer yanlış cevabın yanı sıra birer geçersiz cevap verirken, Gemma 4 26B A4B'nin yedi geçersiz cevabı dikkat çekti.
Paylaşılan değerlendirmede Gemma 4 26B A4B'nin yedi geçersiz cevabının bilgi eksikliğinden ziyade modelin cevap üretme biçimiyle ilgili olduğu özellikle vurgulanıyor. Modelin bu soruların cevaplarını doğru değerlendirdiği ancak beklenen formatta bir 'ANSWER: X' çıktısı üretmediği belirtiliyor.
Bu ayrıntı, yapay zeka benchmark'larında yalnızca modelin bilgi düzeyinin değil, istenen formatta cevap verebilme becerisinin de sonucu etkileyebileceğini gösteriyor.
Benchmark'ın Kendisi de Önemli Bir Uyarı Yapıyor
Sonuçların belki de en önemli kısmı, tablonun altında yer alan 'measurement warning' notu.
Buna göre test, modeller arasındaki farkları kesin biçimde ortaya koyabilecek kadar ayırt edici olmayabilir. 30 modelin 21'i birbirinden yalnızca 1-2 soru farkla ayrılıyor. Ayrıca 30 modelin tamamı 72 sorunun en az 56'sını doğru cevaplıyor.
Bu nedenle 98,3 puan alan bir modelin 96,5 puan alan bir modelden kesin olarak 'daha iyi' olduğu sonucunu çıkarmak doğru olmayabilir. Özellikle yalnızca bir veya iki sorunun sıralamayı değiştirebildiği bir testte, soru setinin seçimi sonucu ciddi biçimde etkileyebilir.
Başka bir ifadeyle bu çalışma, yapay zeka modellerinin tıp alanındaki performansına dair ilginç bir fotoğraf çekiyor ancak tek başına modeller arasında kesin bir 'en iyi' sıralaması oluşturmak için yeterli olmayabilir.
Yapay Zeka Tıp Eğitiminde Yeni Bir Rakip mi?
Alican Kiraz, çalışmayı hazırlarken yalnızca büyük teknoloji şirketlerinin modellerini değil, farklı bütçelere hitap eden ve API ya da yerel kullanım için tercih edilebilecek açık kaynak modelleri de dahil etmeyi amaçladığını belirtiyor.
Çalışmanın arkasındaki fikir de burada önem kazanıyor. Tıp ve biyoloji alanında yapay zeka kullanımının giderek yaygınlaşmasıyla birlikte öğrenciler, akademisyenler ve sağlık alanında çalışanlar için yalnızca en güçlü modeli değil, doğru maliyet-performans dengesini sunan modeli seçmek de önem kazanıyor.
TUS gibi tıbbi bilgi gerektiren bir sınavda 30 farklı modelin 56 ile 71 arasında doğru cevaplara ulaşması ise yapay zekanın tıp eğitimindeki potansiyelini yeniden gündeme getiriyor.
Yine de yüksek TUS performansı, bir yapay zeka modelinin gerçek klinik karar verme süreçlerinde güvenilir olduğu anlamına gelmiyor. Bu tür benchmark'lar modellerin belirli bir soru setindeki performansını ölçüyor; hekimlik pratiğinin gerektirdiği klinik muhakeme, hasta öyküsü, fizik muayene ve gerçek zamanlı karar verme gibi çok daha geniş becerileri kapsamıyor.
Şimdilik ortaya çıkan en dikkat çekici sonuç ise şu: Yapay zeka modelleri TUS sorularında birbirine yaklaşmış durumda. Bundan sonraki yarış yalnızca daha fazla doğru cevap vermek değil, aynı performansı daha düşük maliyetle ve daha güvenilir biçimde sunabilmek olacak.
Keşfet ile ziyaret ettiğin tüm kategorileri tek akışta gör!
Test
Gündem
Magazin
Video
İlginizi çekebilir;
Yorum Yazın