In-depth study of state-of-the-art Transformer implementations for FPGAs

I Transformer, una rivoluzione nel campo dell'intelligenza artificiale, hanno avuto un impatto significativo sull'elaborazione del linguaggio naturale (NLP) e sulla visione artificiale, con modelli come ViT, GPT e BERT che hanno spinto il progresso. Questi modelli hanno dimostrato prestazioni eccezionali in una varietà di compiti, tra cui la traduzione automatica, il riassunto di testo e l'analisi del suo tono emotivo. Il loro successo è dovuto in gran parte all'uso dei layer di self-attention, che consentono di elaborare sequenze di dati di grandi dimensioni in modo efficiente supportando al contempo il training parallelizzato. Tuttavia, l'implementazione delle architetture basate su Transformer su piattaforme più piccole presenta sfide sostanziali, particolarmente a causa dei loro elevati requisiti computazionali e di risorse, soprattutto in contesti che richedono elaborazioni in tempo reale e con risorse limitate. Per affrontare queste sfide, i Field Programmable Gate Array (FPGA) sono emersi come una soluzione promettente. Gli FPGA sono circuiti integrati versatili e riconfigurabili che offrono una combinazione unica di flessibilità, parallelismo ed efficienza energetica, rendendoli ideali per applicazioni specializzate come l'inferenza. Tuttavia, implementare i Transformer su FPGA è un compito complesso che richiede una vasta gamma di competenze. Comprende diversi passaggi, dalla ottimizzazione della rete neurale per l'inferenza quantizzata alla progettazione di un'architettura che massimizzi l'uso efficiente delle risorse del FPGA. Questo lavoro fornisce una panoramica completa degli sviluppi più recenti negli acceleratori di Transformer basati su FPGA. Inoltre, esamina i progressi più recenti delle architetture su FPGA, approfondendo varie strategie di implementazione e tecniche di ottimizzazione.