Değerlendirme metodolojisi
CARVIS bileşenleri açık veri kümeleri ve sistem-içi metriklerle test edilmektedir. Bu sayfa metodolojinin özetini sunar; sayısal sonuçlar metodoloji yayını ile birlikte paylaşılır.
Dört boyutta ölçüm
Değerlendirme yalnızca segmentasyon kalitesini değil sistemin iç tutarlılığını da ölçer.
Standart Dice katsayısı ve Hausdorff95 mesafesi ile maske kalitesi değerlendirilir.
Beyin için Harvard-Oxford eşleme tutarlılığı; karaciğer için Couinaud segment ataması güven düzeyi.
Bölüm bütünlüğü, kanıt-ifade örtüşmesi, desteklenmemiş ifade oranı, çelişki tespiti, okunabilirlik ve sözcüksel çeşitlilik.
Bağlam-kilitli yanıtların kaynak-örtüşmesi ve yüksek-risk soru sınıflandırma doğruluğu.
Değerlendirme dış geçerlilik içermez
Bu çalışma sistemin iç tutarlılığını ölçer; klinik koşullarda dış geçerliliği yerel kohortlar üzerinde ayrıca değerlendirilmelidir. Segmentasyon kalitesindeki herhangi bir bozulma, alt katmanlardaki tüm yorumlamaları tutarlı görünmesine rağmen yanıltıcı kılabilir.
Kütle etkisi ve orta hat kayması gibi türev göstergeler kantitatif biyobelirteç olarak değil heuristik uyarılar olarak rapor edilir. Histopatolojik veya moleküler tanı (örn. IDH/MGMT durumu) sistem kapsamına girmez.