Development of an Automatic Algorithm for Needle Segmentation for Multi-Modal Optical Imaging Modalities

L' imaging medico svolge un ruolo fondamentale nelle procedure di intervento che richiedono una guida visiva per l’inserimento di sonde o aghi, come la biopsia o la chirurgia. Quando l’ago è inserito all’interno dei tessuti, approcci di tracking basati su imaging possono essere usati per guidarlo nel sito di interesse. Il tracking consiste nella localizzazione di uno strumento in real-time nel caso di scarsa visibilità dello stesso, localizzazioni o anatomie complesse del sito di interesse o che richiedono un accesso preciso, riducendo i tempi delle procedure e migliorando la sicurezza. Il lavoro di tesi si pone come obiettivo quello di realizzare un algoritmo di tracking al fine di riconoscere e localizzare l’ago in immagini diagnostiche. Le principali tecniche di imaging utilizzate in questo lavoro sono la Tomografia a Coerenza Ottica e l’imaging fotoacustico. Su di esse si è lavorato per l’implementazione di un algoritmo di Deep Learning, che possa essere poi esteso su ulteriori modalità. Il dataset utilizzato per lo scopo si compone di 9 volumi OCT di dimensioni 512x896x896 acquisiti su fantoccio e 13 volumi PAT di dimensioni 950x288x288 acquisiti in supporto Gel, in fantoccio e in carne. In entrambe le tipologie di dataset, i volumi si distinguono per la diversa posizione dell’inserzione dell’ago. I dati sono stati poi opportunamente divisi in training set, validation set e test set. La pipeline di pre-processing si compone di diversi step. In primis, da ciascun volume sono state estratte singole immagini bidimensionali, sulle quali è stata effettuata la normalizzazione tra il 1° e il 99° percentile, al fine di riportare i valori dei pixel nel range 0-255, con conseguente aumento del contrasto. Segue il ridimensionamento delle stesse e l’applicazione di un filtro passa basso gaussiano per la rimozione del rumore. Si è poi passati al training della rete ResNet-34 per segmentazione automatica utilizzando il toolkit Monai in Google Colab e sfruttando l’algoritmo di accelerazione della GPU, con le singole tipologie di volume. Al training set è stata applicata la tecnica di Data Augmentation, al fine di migliorare le performance della rete. La funzione di loss utilizzata è la DiceLoss mentre la metrica di valutazione è il Mean Dice. Al fine di ridurre i tempi computazionali, in fase di inference è stata applicata una strategia che permettesse di selezionare ed effettuare la predizione sulle sole immagini del volume in cui fosse presente l’ago. Nel caso dei volumi OCT tale tecnica si basa sul calcolo della varianza dell’immagine, mentre nel caso dei volumi PA, sulla ricerca del contorno dell’ago. La metrica utilizzata per la validazione, il coefficiente Dice, raggiunge valori superiori all’80% in più del 60% dei campioni, con la presenza di qualche outlier dovuto anche al fatto che la segmentazione di riferimento non fosse estremamente accurata. L'implementazione della strategia in fase di predizione ha comportato una significativa riduzione dei tempi computazionali, passando dalle centinaia di secondi alle poche decine per ciascun volume. Infine, il lavoro si concentra anche sull’integrazione di dati multimodali, ovvero l’integrazione nello stesso modello di immagini OCT e PAT, al fine di elaborare un algoritmo generale con la prospettiva di poter espandere l’applicazione dello stesso su una pluralità di modalità di imaging. Lavori futuri potrebbero inoltre includere un ulteriore miglioramento in termini di riduzione dei tempi computazionali per rendere la procedura real-time.