Çevrimdışı Tıbbi Görüntüleme Platformu: VR İnceleme, QA ve Otomatik Raporlama
CARVIS; beyin, karaciğer ve akciğer için otomatik segmentasyon, üç boyutlu anatomik inceleme ve yapılandırılmış rapor üretimini tek bir çevrimdışı iş istasyonu uygulamasında birleştirir.
Radyolojik karar süreci, görselleştirme ile rapor arasında dağılır
Klinik radyolojide karar verme süreci üç ayrı düzlemde ilerler: ham hacim verisinin incelenmesi, anatomik referansla karşılaştırma ve bulgunun yapılandırılmış bir rapora aktarılması. Pratikte bu üç düzlem genellikle birbirinden kopuk yazılımlarda yürütülür: kesit viewer'da; çap, elle ölçüm aracında; rapor metni ayrı bir editörde.
CARVIS, üç düzlemi tek bir çevrimdışı iş istasyonu uygulamasında birleştirir. Otomatik segmentasyon sayısal bulguları üretir; atlas eşleme anatomik konumu sağlar; bağlama kilitlenmiş bir dil modeli, sayısal bulgu kümesini denetlenebilir bir anlatıma dönüştürür. Akışın çıktısı, radyolog onayı için hazır bir rapor taslağıdır.
Sistem bir tanı motoru değildir; yeni bir tanı yöntemi önermez. Yaptığı şey, klinisyenin zaten kullandığı karar destek unsurlarını (segmentasyon, lokalizasyon, ölçüm ve dil) denetlenebilir, çevrimdışı ve uçtan uca tek bir akışta birleştirmektir.
Üç organ alanı, ortak bir akış
Her organ alanı için ayrı bir segmentasyon modeli, ayrı bir anatomik referans şeması ve organa özgü bir rapor şablonu tanımlanmıştır. Klinisyen, üç farklı vaka tipini tek bir uygulamada sırayla inceler.
Beyin
Çoklu-modaliteli MR (FLAIR, T1, T1ce, T2) üzerinde gliom segmentasyonu; Harvard-Oxford atlas üzerinde lezyon lokalizasyonu ve hemisfer-lob-derinlik raporlaması.
- 12 anatomik bölge
- MNI152 kayıt
- BraTS protokol uyumu
Karaciğer
Hepatik lezyon segmentasyonu ve Couinaud segment haritalaması. IVC, falsiform ligament, sol/orta/sağ hepatik ven ve safra kesesi fossası anatomik anchor olarak kullanılır.
- 8 Couinaud segmenti
- Centroid-temelli heuristik
- Güven düzeyi raporlama
Akciğer
Pulmoner nodül ve kitle segmentasyonu, lob bazlı lokalizasyon. Medical Segmentation Decathlon Task06 veri kümesinde eğitilmiş nnU-Net modeli kullanılır.
- 5 lob etiketi
- Çap + hacim ölçümü
- Anatomik dağılım analizi
Platformu çalışırken görün
Dilim görüntüleyici, klinik soru-cevap motoru, 3B mesh ve hacim render: dört mod, tek çevrimdışı uygulama.
2D DilimlernnU-Net çıktısı anında üç anatomik düzlemde görüntülenir. NCR, Ödem ve ET katmanları bağımsız olarak açılıp kapatılabilir.
Görüntüden raporlanmış vakaya altı katmanlı akış
Veri, uçtan uca tek bir uygulamada işlenir; her katmanın çıktısı sonraki katmanın yapılandırılmış girdisidir.
Hacim yükleme
Hasta hacmi NIfTI veya DICOM olarak iş istasyonuna alınır; veri yerel diskten okunur. Bağlam yükleme adımı patient_context yapısını oluşturur.
Segmentasyon
Önceden eğitilmiş nnU-Net modelleri inference modunda çalıştırılır: ön-işleme, patch sliding-window, son-işleme (CC merge, belirsizlik).
Maske doğrulama
Maske kalite kontrolden geçer. Geçerli değilse akış erken sonlandırılır (reject). Kötü maske üzerinden iç-tutarlı ama yanıltıcı bir rapor üretilmez.
Lokalizasyon + metrik
Lezyon merkezleri Harvard-Oxford / Couinaud / lob etiketlerine eşlenir; hacim ve çap hesaplanır. Düşük güven varsa rapor dili otomatik yumuşatılır.
Hibrit rapor
Deterministik şablon sayısal bulguları yerleştirir; Qwen2.5-7B-Instruct yalnızca Clinical Context, Findings ve Impression bölümlerinin metnini üretir.
XR çıktı
Rapor + segmentasyon XR görüntüleyici aracılığıyla VR/AR modunda incelenebilir. Eğitim ve hekimler arası tartışma için isteğe bağlı çıktı.
Dil modeli sayıları üretmez. Sayıları üretenler segmentasyon ve atlas katmanlarıdır; dil katmanının görevi bu sayıları radyologun okuduğu cümleye denetlenebilir biçimde aktarmaktır.
Dört katman, tek veri akışı
Segmentasyon, lokalizasyon, klinik soru-cevap ve raporlama bileşenleri veri akışıyla birbirine bağlanır. Dil katmanı, deterministik çıktıların üzerinde sınırlı bir rol üstlenir.
Pratikte ne yapar
CARVIS'in klinik karar destek akışına eklediği ölçülebilir bileşenler.
Çevrimdışı çalışma
Tüm bileşenler (segmentasyon, atlas eşleme, dil modeli) klinik iş istasyonunda yerel olarak yürütülür. Bulut bağlantısı veya dış API çağrısı gerekmez.
Bağlam-kilitli yanıtlama
Klasik açık-uçlu RAG yerine vakaya özel yapılandırılmış bağlam tanımı (case descriptor) kullanılır. Dil modeli bu bağlamın dışına çıkamaz.
Hibrit deterministik üretim
Rapor iskeleti, sayısal bulgular ve güvenlik açısından kritik ifadeler deterministik kalır. Dil modeli yalnızca anlatım akışını üretir.
Anatomik referans katmanı
Beyin için Harvard-Oxford, karaciğer için Couinaud, akciğer için lob bazlı haritalama. Tüm lokalizasyonlar güven düzeyiyle birlikte raporlanır.
Sayısal bulgu çıkarımı
Lezyon çapı, hacim, anatomik dağılım ve kompozisyon (türetilmiş alt-bölge oranları) segmentasyon maskelerinden otomatik hesaplanır.
Denetlenebilir kanıt zinciri
Her ifade için kaynak (atlas etiketi, kesit aralığı, ölçüm) raporda izlenebilir. Klinisyen, sistemin neye dayanarak konuştuğunu görür.
Hasta verisi klinik istasyondan çıkmaz
CARVIS bir Electron tabanlı masaüstü uygulaması olarak dağıtılır. Segmentasyon, atlas eşleme ve dil modeli çıkarımının tamamı yerel donanımda yürütülür. Veri akışında bulut bileşeni yoktur; ağ kesintisi sırasında bile değerlendirme akışı kesilmez.
Bu yerel mimari iki amaca hizmet eder. Birincisi, hasta verisi kurum sınırları içinde kalır; çapraz-bulut veri sözleşmeleri gerekmez. İkincisi, dil modeli dahil her bileşen tek bir versiyon altında dondurulabilir; aynı vaka üzerinde tekrarlanabilir sonuçlar üretmek mümkündür.
Açık veri kümeleri üzerinde, çoklu metrik
Beyin modülü BraTS 2020 doğrulama kümesi üzerinde değerlendirildi; karaciğer için önceden eğitilmiş abdominal BT modeli, akciğer için Medical Segmentation Decathlon Task06 (MSD Lung) veri kümesi kullanıldı.
Değerlendirme yalnızca segmentasyon kalitesini değil, sistemin iç tutarlılığını da ölçer: bölüm bütünlüğü, kanıt örtüşmesi, desteklenmemiş ifade oranı, çelişki tespiti, okunabilirlik ve sözcüksel çeşitlilik. Sayısal sonuçlar metodoloji yayını ile birlikte paylaşılmaktadır.
Araştırma ve eğitim amaçlı karar destek prototipi
CARVIS bağımsız bir tanı aracı değildir. Üretilen segmentasyonlar, lokalizasyonlar ve metinler uzman radyolog ya da klinisyen tarafından doğrulanmadan klinik bir karara dönüştürülemez. Histopatolojik veya moleküler tanı (örn. IDH/MGMT durumu) sistem kapsamına girmez; bu kararlar doku tanısı gerektirir.