Tracciamento markerless chirurgico: pipeline per la generazione di dati sintetici per la stima della posa di strumenti chirurgici = Markerless surgical tracking: a pipeline for synthetic data generation for surgical instrument pose estimation

Negli ultimi anni le tecniche di tracciamento ottico, il cui obiettivo è la localizzazione tridimensionale tramite sensori ottici per stimare la posizione e l’orientamento di oggetti nello spazio, hanno rappresentato un pilastro fondamentale in molteplici ambiti della Computer Vision. In particolare, la Pose Estimation markerless (PE-M) si configura come l’evoluzione naturale dei metodi marker-based tradizionali: essa permette di stimare la posizione e l’orientamento di un oggetto direttamente dalle sue caratteristiche visive, eliminando la necessità di marker fisici o rig di tracciamento; aspetto fondamentale nei contesti dove la loro introduzione risulta invasiva o poco pratica, come in sala operatoria. Le applicazioni della PE-M spaziano dalla manipolazione robotica alla guida autonoma, fino al settore biomedicale, dove la PE-M di strumenti chirurgici e strutture anatomiche abilita nuove forme di navigazione intraoperatoria, supervisione dei gesti e valutazione delle abilità chirurgiche, riducendo significativamente la complessità e l’ingombro dei setup rispetto alla controparte marker-based. Tuttavia, l’addestramento di modelli di deep learning per PE-M richiede un’enorme quantità di dati annotati, la cui acquisizione in ambienti reali risulta complessa e costosa. Questo lavoro si propone di sviluppare una pipeline end-to-end per la generazione di dati sintetici e la PE-M di strumenti chirurgici in ambiente Unity. La pipeline consente di produrre automaticamente immagini RGB, maschere di segmentazione, mappe di profondità e annotazioni 2D/3D, includendo keypoints e vertici delle bounding box tridimensionali. Sono stati modellati tre strumenti chirurgici rappresentativi: trapano, uno strumento di taglio e un puntatore marker-based; successivamente renderizzati in scenari sintetici con domain randomization di sfondi, illuminazione, materiali e posizionamento, così da aumentare la robustezza del modello e ridurre il domain gap rispetto ai dati reali. Il dataset sintetico generato è stato impiegato per l’addestramento di PVNet (Pixel-wise Voting Network), un modello di tipo instance-level, ossia progettato per riconoscere una specifica istanza di oggetto con elevata accuratezza. PVNet predice campi vettoriali direzionali verso i keypoints di interesse e calcola la posa tramite algoritmo Perspective-n-Point (PnP). L’addestramento è stato condotto su diverse configurazioni di iperparametri e varianti del dataset per individuare il miglior compromesso tra accuratezza e stabilità numerica, ottenendo alla fine un modello per la predizione di keypoints e uno per la predizione dei vertici della bounding box 3D. La validazione del metodo su dati reali, che prevede l’utilizzo di repliche fisiche degli strumenti stampate in 3D e una pipeline per la generazione delle annotazioni, costituisce la fase conclusiva del progetto ed è volta a quantificare l’effettivo trasferimento di conoscenza dal dominio sintetico a quello reale. I risultati preliminari evidenziano la validità dell’approccio proposto nella generazione automatizzata di dataset fotorealistici e nell’addestramento di modelli di PE-M basati su deep learning, confermando il potenziale dei dati sintetici come risorsa scalabile per applicazioni chirurgiche di realtà aumentata. In prospettiva, l’estensione del sistema a un numero maggiore di strumenti e l’integrazione in piattaforme AR per il supporto intraoperatorio potranno rappresentare un passo significativo verso un tracciamento markerless robusto e clinicamente applicabile.