Alzheimer için yapay zekâ testinde gruplar kişi bazında ayrılınca doğruluk%100’den yaklaşık%46’ya düştü

Alzheimer araştırmalarında beyin MR görüntülerini sınıflandıran üç yapay zekâ modelinin OASIS veri setindeki ortalama test doğruluğu%100’den yaklaşık%46’ya düştü. Yaklaşık 54 yüzde puanlık fark, araştırmacılar eğitim ve test gruplarını kişi bazında ayırdığında ortaya çıktı.

Scientific Reports’ta 14 Kasım 2026’da yayımlanan çalışmada, Kaggle’da paylaşılan iki açık beyin MR veri seti incelendi. Araştırmacılar, 86.437 görüntü içeren OASIS setindeki dosya adlarından görüntülerin hangi kişilere ait olduğunu belirledi.

Görüntüleri tek tek rastgele dağıttıklarında, testteki her görüntünün ait olduğu kişinin eğitim grubunda da en az bir görüntüsü bulunduğunu gördüler.

Aynı kişinin MR kesitleri test sonucunu nasıl etkiliyor?

Tek bir beyin MR taramasından birden çok kesit elde edilebiliyor. Aynı kişinin kesitleri hem eğitimde hem testte yer aldığında model, eğitimde karşılaştığı kişiye özgü özellikleri başka bir kesitte tanıyabiliyor. Bu örtüşmeye veri sızıntısı deniyor.

Bir kişinin bütün görüntülerini tek grupta tutmak, modeli eğitimde görüntülerini görmediği kişiler üzerinde sınamayı sağlıyor.

Aynı dergide 2021’de yayımlanan bir deney, bu sorunu rastgele etiketlerle sınadı. Araştırmacılar her katılımcıya rastgele bir etiket atadı ve o kişinin bütün MR kesitlerinde aynı etiketi kullandı. Aynı kişilerin kesitleri eğitim ve test gruplarına dağıtıldığında ortalama doğruluk yaklaşık%95’e ulaştı.

Gruplar kişi bazında ayrıldığında ise sonuç, o deneyde rastgele tahminden beklenen yaklaşık%50 düzeyine indi.

İkinci veri setinde benzer görüntüler de sonucu etkiledi

Araştırmacılar, KAAD adını verdikleri ikinci veri setinde görüntülerin yaklaşık beşte birinin setteki başka bir görüntüye neredeyse tıpatıp benzediğini tahmin etti. Birebir kopyalar ve birbirine çok benzeyen görüntüler dikkate alınarak test düzeni değiştirildiğinde doğruluk%68’den%58,9–62,8 aralığına geriledi.

Yazarlara göre KAAD’ın temel görüntüleri de OASIS’in aynı katılımcı grubundan geliyor. Çalışma, mevcut iki görüntü koleksiyonunu yeniden analiz etti ve yeni bir klinik hasta grubu içermedi. Yaklaşık%46, üç modelin OASIS test görüntülerini doğru sınıflandırma oranının ortalaması.

Bu modellerin klinikte yeni hastalarda ne kadar doğru sonuç vereceği ayrı bir araştırma gerektiriyor.

KAYNAKLAR

1. Santhoshkumar V, Lanitha B. Patient-level and duplicate-image data leakage inflate reported accuracy in OASIS and KAAD MRI benchmarks. Scientific Reports, 14 Kasım 2026. DOI 10.1038/s41598-026-77108-1.