Acest toolkit are rolul de a realiza analiza automată a mamografiilor în vederea identificării leziunilor mamare (tumori). Obiectivul principal constă în segmentarea precisă a leziunilor mamare, cu accent deosebit pe analiza imaginilor ce conțin un număr mai mare de noduli, respectiv noduli de dimensiuni reduse. Astfel, a fost propus un pipeline în doi pași, conceput pentru a depăși limitele segmentării directe pe imagini de mamografie (Fig. 1):

• Detecție — utilizată pentru localizarea regiunilor de interes. O caracteristică importantă a implementării este extinderea regiunii detectate față de bounding box-ul nativ, asigurând un context spațial suficient pentru etapa de segmentare
• Segmentare — aplicată exclusiv pe regiunea decupată și extinsă, obținând o precizie semnificativ mai bună față de segmentarea pe imaginea întreagă

Cercetarea se bazează pe două seturi de date publice cu caracteristici complementare:

• InBreast — set de date conținând leziuni relativ mari
• CBIS-DDSM — set de date cu leziuni de dimensiuni mai mici

Pentru a crește robustețea modelelor, au fost aplicate tehnici de augmentare a datelor, incluzând rotații, zoom și normalizare.

Realizarea celor doi pași din pipeline se realizează folosind modelele YOLOv10 (detecție), respectiv U-Net cu codificator ResNet34 (segmentare).

2. Exemple de rezultate

2.1 Caz cu leziune unică

Segmentarea fără detecție prealabilă produce rezultate imprecise sau incomplete, marcând eronat zone sănătoase (Fig. 2 stânga) sau ratând leziuni, față de cazul aplicării pipeline-ului propus în care mamografia este analizată corect (Fig. 2 dreapta).

2.2 Caz cu leziuni multiple

În cazul imaginii din Fig. 3, prin aplicarea pipeline-ului propus este identificată și segmentată o singură leziune (leziunea marcată cu contur roșu).

În vederea localizării unor leziuni neidentificate de pipeline, s-au introdus mecanismele de explicabilitate Grad-CAM (Gradient-weighted Class Activation Mapping). Integrarea explicabilității urmărește două obiective complementare:

• Transparența deciziei — medicul poate verifica ce regiuni ale mamografiei au determinat predicția modelului
• Identificarea leziunilor nedetectate — harta Grad-CAM poate evidenția zone de activare ridicată neacoperite de pipeline-ul propus

Pe baza hărții de activare, s-a realizat o nouă decupare a imaginii asupra căreia s-a aplicat segmentarea, reușindu-se detectarea și segmentarea și pentru a doua leziune (Fig. 4).