I Transformer, una rivoluzione nel campo dell'intelligenza artificiale, hanno avuto un impatto significativo sull'elaborazione del linguaggio naturale (NLP) e sulla visione artificiale, con modelli come ViT, GPT e BERT che hanno spinto il progresso. Questi modelli hanno dimostrato prestazioni eccezionali in una varietà di compiti, tra cui la traduzione automatica, il riassunto di testo e l'analisi del suo tono emotivo. Il loro successo è dovuto in gran parte all'uso dei layer di self-attention, che consentono di elaborare sequenze di dati di grandi dimensioni in modo efficiente supportando al contempo il training parallelizzato. Tuttavia, l'implementazione delle architetture basate su Transformer su piattaforme più piccole presenta sfide sostanziali, particolarmente a causa dei loro elevati requisiti computazionali e di risorse, soprattutto in contesti che richedono elaborazioni in tempo reale e con risorse limitate.