Acest toolkit are rolul de a realiza analiza automată a mamografiilor în vederea identificării leziunilor mamare (tumori). Obiectivul principal constă în segmentarea precisă a leziunilor mamare, cu accent deosebit pe analiza imaginilor ce conțin un număr mai mare de noduli, respectiv noduli de dimensiuni reduse. Astfel, a fost propus un pipeline în doi pași, conceput pentru a depăși limitele segmentării directe pe imagini de mamografie (Fig. 1):
- Detecție — utilizată pentru localizarea regiunilor de interes. O caracteristică importantă a implementării este extinderea regiunii detectate față de bounding box-ul nativ, asigurând un context spațial suficient pentru etapa de segmentare
- Segmentare — aplicată exclusiv pe regiunea decupată și extinsă, obținând o precizie semnificativ mai bună față de segmentarea pe imaginea întreagă
Fig. 1. Pipeline segmentare mamografii
Cercetarea se bazează pe două seturi de date publice cu caracteristici complementare:
- InBreast — set de date conținând leziuni relativ mari
- CBIS-DDSM — set de date cu leziuni de dimensiuni mai mici
Pentru a crește robustețea modelelor, au fost aplicate tehnici de augmentare a datelor, incluzând rotații, zoom și normalizare.
Realizarea celor doi pași din pipeline se realizează folosind modelele YOLOv10 (detecție), respectiv U-Net cu codificator ResNet34 (segmentare).
2. Exemple de rezultate
2.1 Caz cu leziune unică
Segmentarea fără detecție prealabilă produce rezultate imprecise sau incomplete, marcând eronat zone sănătoase (Fig. 2 stânga) sau ratând leziuni, față de cazul aplicării pipeline-ului propus în care mamografia este analizată corect (Fig. 2 dreapta).
Fig. 2. Stânga — aplicare segmentare cu rezultat eronat; Dreapta — aplicare pipeline detecție și segmentare cu rezultat corect
2.2 Caz cu leziuni multiple
În cazul imaginii din Fig. 3, prin aplicarea pipeline-ului propus este identificată și segmentată o singură leziune (leziunea marcată cu contur roșu).
Fig. 3. Mamografie în care este segmentată o singură leziune folosind pipeline-ul detecție și segmentare
În vederea localizării unor leziuni neidentificate de pipeline, s-au introdus mecanismele de explicabilitate Grad-CAM (Gradient-weighted Class Activation Mapping). Integrarea explicabilității urmărește două obiective complementare:
- Transparența deciziei — medicul poate verifica ce regiuni ale mamografiei au determinat predicția modelului
- Identificarea leziunilor nedetectate — harta Grad-CAM poate evidenția zone de activare ridicată neacoperite de pipeline-ul propus
Pe baza hărții de activare, s-a realizat o nouă decupare a imaginii asupra căreia s-a aplicat segmentarea, reușindu-se detectarea și segmentarea și pentru a doua leziune (Fig. 4).
Fig. 4. Identificarea leziunii pe baza rezultatelor explicabilității
