Combination of Visual and Metadata Information for Accurate Lesion Classification using Deep Learning

La pelle è l’organo più esteso del corpo umano e le patologie che possono interessarla sono molteplici. Una delle forme più comuni di cancro a livello mondiale è il cancro alla pelle e ciò mette in evidenza la necessità di possedere strumenti diagnostici atti a rilevare precocemente e con precisione la natura maligna di alcune lesioni cutanee. L’obiettivo di questo lavoro di tesi è applicare il modello multimodale CLIP (Contrastive Language-Image Pretraining) di OpenAI per automatizzare la classificazione delle immagini di lesioni cutanee in benigne e maligne. Il punto di forza di CLIP è la sua capacità di integrare la visione artificiale alla comprensione del linguaggio naturale, consentendo al modello di combinare concetti visivi e testuali in modo sinergico. In questo studio è stato utilizzato un dataset contenente immagini dermoscopiche di lesioni cutanee e descrizioni testuali generate a partire dai metadati associati ad ogni immagine. Nello specifico, i metadati includono informazioni riguardanti il paziente come l’età e il genere e caratteristiche della lesione come la sua collocazione anatomica e la diagnosi clinica. Durante l'allenamento del modello, ogni immagine è stata presentata insieme alla sua descrizione testuale, permettendo a CLIP di apprendere le correlazioni tra i dati visivi e le informazioni testuali. Il modello CLIP è stato allenato su un dataset di training e validato su un development set, con l’obiettivo di ottimizzare i parametri in modo tale da massimizzare l’accuratezza e la precisione della classificazione. Infine, il modello è stato testato su un dataset di test contenente immagini mai viste dal modello e le sue performance sono state valutate utilizzando metriche come l’accuratezza, la sensibilità, la specificità, la precisione e l’F1-score. I risultati ottenuti mostrano che l’approccio basato sul modello CLIP può migliorare significativamente la rilevazione precoce del cancro alla pelle, fornendo un supporto ai dermatologi nella valutazione delle lesioni cutanee. L’utilizzo di modelli multimodali come CLIP rappresenta un’ulteriore innovazione nella pratica clinica, permettendo di giungere a diagnosi più accurate in modo tempestivo. Inoltre, questo lavoro apre nuove prospettive per nuove ricerche nel campo dell’intelligenza artificiale applicata alla dermatologia. In conclusione, questo studio dimostra che l’utilizzo del modello CLIP per la classificazione delle lesioni cutanee potrebbe portare alla rivoluzione la metodologia secondo la quale esse vengono diagnosticate, riducendo il carico di lavoro dei dermatologi e supportandoli nella valutazione, con benefici significativi per la salute pubblica.