Üç organ alanı için önceden eğitilmiş nnU-Net modelleri inference modunda çalıştırılır. Beyin için BraTS 2020 protokolüne uygun çoklu-modaliteli MR girdisi alınır; konfigürasyon 3D fullres olarak yapılandırılmıştır.

Akciğer modülü Medical Segmentation Decathlon Task06 (MSD Lung) veri kümesi üzerinde eğitilmiş nnU-Net modeliyle toraks BT görüntülerini işler. Pipeline iç yapısı: ön-işleme (resample · normalize) → patch-tabanlı sliding-window inference → son-işleme (bağlı bileşen birleştirme, belirsizlik haritası).

CARVIS yeni bir segmentasyon mimarisi önermez ve modelleri yeniden eğitmez; mevcut nnU-Net çıktılarını karar destek akışının başlangıç katmanı olarak kullanır.

Segmentasyon çıktısı kantitatif kalite kontrolden geçer: maskenin bağlı bileşen yapısı, hacim aralığı ve belirsizlik dağılımı eşiklere göre değerlendirilir.

Geçerli sayılmayan maskeler için akış erken sonlandırılır ("reject path"). Sistem, kötü maske üzerinden iç-tutarlı ama klinik olarak yanıltıcı bir rapor üretmek yerine açıkça başarısız olur.

Bu, "tüm aşağı akış açıklama kalitesi segmentasyon kalitesine bağlıdır" prensibinin pratik uygulamasıdır.

Beyin için lezyon merkezi, hasta hacminin MNI152 uzayına SimpleITK rigid + affine + histogram-matching ile kayıt edilmesinin ardından Harvard-Oxford kortikal ve subkortikal atlas etiketlerine eşlenir. Hemisfer, lob ve derinlik bilgisi raporda birlikte sunulur.

Karaciğer için Couinaud sınıflaması — IVC, falsiform ligament, sol/orta/sağ hepatik ven ve safra kesesi fossası gibi anatomik anchor noktalarına dayanan centroid-temelli bir heuristik ile uygulanır. Akciğer için lob bazlı haritalama kullanılır.

Atlas güveni düşük olduğunda akış "soften wording" dalına girer: rapor dilinde hedge ifadeleri ("yaklaşık", "lokalizasyon belirsizdir") otomatik olarak uygulanır.

Bağlam yükleme aşamasında oluşturulan patient_context yapısı tüm akışın merkezindedir. Hasta ID, yaş, cinsiyet, tarama tarihi ve modalite bilgisi burada toplanır.

Son-işleme adımı segmentasyon bulgularını bu yapıya yazar; metrik + bölge haritalama burada okur; Q&A motoru aynı yapıdan vakaya özel bağlamı çeker. Tek bir vaka boyunca tüm bileşenler aynı veriyi görür.

Bu paylaşılan durum, dil katmanının "klasik RAG"den farkını netleştirir: model serbest geri-getirme yapmaz, sadece patient_context içeriğini kullanır.

CARVIS dil katmanı, klasik açık-uçlu RAG yerine vaka için önceden üretilmiş patient_context tanımı üzerinden çalışır. Model bu bağlamın dışına çıkmaya izin verilmez.

Soru sınıflandırma + bağlam geri-getirme adımı yüksek-risk konuları tespit eder (örn. histopatolojik tanı talebi, tedavi kararı, prognoz hesabı). Bu sorular guardrail dalına yönlendirilir; sistem konuyu açıkça reddedip klinisyene yönlendirir.

Çalışma zamanında kullanılan model Qwen2.5-7B-Instruct (GGUF, q4_k_m). Çıkarım, gömülü llama.cpp sunucu süreci üzerinden yerel olarak yapılır; bulut çağrısı veya dış API yoktur.

Rapor iskeleti deterministik olarak üretilir: Clinical Context, Findings, Impression, Limitations, Suggested Clinical Correlation ve Disclaimer bölümleri sabit başlıklar olarak yer alır (sırasıyla: Klinik Bağlam, Bulgular, Klinik Değerlendirme, Sınırlılıklar, Klinik Korelasyon Önerisi, Yasal Uyarı).

Dil modeli yalnızca Clinical Context, Findings ve Impression bölümlerinde anlatım tonunu sağlar; ölçümler, lokalizasyon etiketleri, güven düzeyleri ve uyarılar şablon tarafından doğrudan yerleştirilir.

Bu yaklaşım, raporun klinik açıdan güvenli bir minimum yapı korumasını ve dil modeli çıktısının yapısal denetim altında kalmasını hedefler.

Akışın çıktısı Unity XR Viewer aracılığıyla VR/AR modlarında üç boyutlu olarak incelenebilir. Tümör maskesi, anatomik referans katmanı ve metrik etiketleri sahnede birlikte sunulur.

Bu bileşen ana karar akışının üstünde isteğe bağlı bir görselleştirme dalıdır; eğitim ortamlarında ve karmaşık vakaların hekimler-arası tartışmasında kullanılmak üzere tasarlanmıştır.

Unity XR sahnesi, raporun yanında kanıt katmanı olarak işlev görür. Web tanıtım sitesinde gördüğünüz Three.js tabanlı atlas, masaüstü uygulamadaki XR görüntüleyicinin tarayıcı eşdeğeridir.