Image-to-recipe, classificazione del cibo a partire da immagini = Image-to-recipe, food classification from images

Il cibo riveste un ruolo indispensabile per la sopravvivenza umana. Oltre a fornirci energia, esso è anche una parte essenziale della nostra identità e cultura. Nel corso del tempo però i modelli alimentari e la cultura della cucina stanno evolvendo. In passato, il cibo veniva principalmente preparato in casa, ma oggi spesso ci affidiamo ad altri, come take-away, fast food e ristoranti. Di conseguenza, l’accesso a informazioni dettagliate sui cibi consumati è limitato, rendendo difficile conoscere esattamente cosa stiamo mangiando. In molti contesti, come la prevenzione di malattie, il fitness, il mantenimento di una dieta bilanciata e la corretta gestione di allergie e intolleranze specifiche, risulta molto importante monitorare quello che una persona mangia, in particolare identificare i diversi ingredienti che compongono un piatto e le loro quantità, grazie alle quali, è possibile calcolare i valori nutrizionali (grassi, proteine, carboidrati, ecc.) presenti in qualsiasi cibo consumato. Un modo pratico per effettuare queste analisi sarebbe scattare una foto del piatto che si intende consumare, attraverso uno smartphone e utilizzare un classificatore automatico in grado di riconoscere il cibo e gli ingredienti di cui è composto, con elevata precisione. Lo scopo della presente tesi di laurea è quindi quello di realizzare un classificatore che, ricevuto come input l’immagine di un cibo, sia in grado di riconoscerlo e identificare gli ingredienti che lo compongono. Per fare ciò, viene analizzata e studiata una delle più grandi collezioni pubblicamente disponibili di dati sulle ricette, Recipe1M[1], che nella sua ultima versione, Recipe1M+[2], contiene oltre un milione di ricette culinarie e 13 milioni di immagini di cibo. Sulla base di questo dataset, viene quindi realizzata una collezione di ricette più incentrata sui piatti tipici della tradizione italiana, che viene utilizzata come base per gli esperimenti. Inoltre vengono analizzate diverse tecniche di apprendimento automatico/deep learning e i relativi modelli, con lo scopo di ottenere un classificatore in grado di riconoscere con buona precisione il cibo rappresentato nell’immagine e gli ingredienti da cui è composto. I modelli analizzati in particolare sono: • Un modello neurale multimodale, in grado di apprendere congiuntamente la rappresentazione delle ricette e delle relative immagini in uno spazio comune, con l’aggiunta di un high-level classification task, per la regolarizzazione semantica [2]; • Un sistema che genera una ricetta culinaria, contenente un titolo, gli ingredienti e le istruzioni di cottura direttamente dall’immagine [3]; • Un modello multimodale, implementato tramite Transformer gerarchici che supera significativamente i modelli basati su LSTM, rappresentando lo state of the art per i modelli di recupero delle ricette [4];