Inglese

La stima della posa della mano in contesti chirurgici è un'attività cruciale per potenziare le applicazioni di realtà mista. Tuttavia, la sua efficacia è ostacolata da sfide complesse, quali le occlusioni causate da strumenti, tessuti e sangue, tipiche dell'ambiente operatorio. Questa tesi sviluppa e valuta modelli per la stima della posa 3D della mano, concepiti specificamente per tali scenari. Basandosi sul dataset POV-Surgery, il lavoro estende il modello THOR-Net, che integra Graph Convolutional Neural Networks (GCNN) e Transformers, e introduce OHRSA-Net, un'architettura alternativa più rapida che impiega YOLOv8 Pose per il rilevamento dei keypoint. Al fine di incrementare la robustezza alle occlusioni, vengono proposte e testate diverse estensioni architetturali, tra cui l'aumento della connettività nel grafo della mano, l'integrazione temporale multi-frame e una feature per la quantificazione della presenza di sangue. I risultati sperimentali evidenziano che, sebbene OHRSA-Net riduca notevolmente il tempo di inferenza, THOR-Net, arricchito con le estensioni, si dimostra superiore in termini di accuratezza. In particolare, le estensioni applicate a THOR-Net ne migliorano sostanzialmente le prestazioni, fino a ridurne l'errore di ricostruzione del 68%. Questa ricerca mette in luce un compromesso fondamentale tra accuratezza e velocità e stabilisce un punto di riferimento per futuri studi nel campo, dimostrando che l'integrazione del contesto temporale e di approcci architetturali mirati è essenziale per superare il problema delle occlusioni per scenari complessi come quello chirurgico.