Ex-situ transfer of deterministic and bayesian neural networks to resistive memory inference hardware

Il lavoro consisteva nella valutazione di diverse reti neurali (NN) basate su memorie resistive (RRAM). Tutti i circuiti neuromorfici progettati avevano una topologia "fully connected" e avevano due "hidden layers". L’architettura neuromorfica utilizza una coppia di RRAM per memorizzare i pesi delle sinapsi e dei bias. La scelta della funzione di attivazione è una parte importante del design. La funzione tanh ha funzionato meglio delle funzioni sigmoid e relu per le due applicazioni testate, MNIST e ECG classificazione. I pesi sinaptici e i bias vengono calcolati ex situ utilizzando T ensorF low. Le outputs, i pesi desiderati, devono essere trasferiti alle RRAM programmate in più livelli di conduttanza. Poiché i livelli di conduttanza sono programmati su livelli specifici, si verifica un errore di trasferimento tra i pesi desiderati ei valori di conduttanza reali. Abbiamo dimostrato che l’inferenza degli NN ha una forte resistenza alle imperfezioni degli RRAMs (variabilità della conduttanza e rilassamenti della conduttanza). Infine, abbiamo studiato le reti neurali Bayesiane (BNN). I BNN necessitano di più RRAM per ottenere le stesse prestazioni di classificazione. Il vantaggio principale dei BNN è che hanno la capacità di misurare la certezza delle loro previsioni, il che li rende competitivi per le applicazioni in cui la sicurezza è fondamentale.