In questo articolo per la rivista Elettronica Open Source avevamo già visto sia la teoria sia la pratica su come realizzare un modello con Simulink (Matlab) e System Generator di una semplice rete neurale artificiale (ANN) perceptron e come eseguirne l’addestramento con NNTOOL. Seguendo un procedimento analogo possiamo implementare il nostro perceptron su un FPGA.
Tech Stack
[1] Vivado 2017.3
[2] Matlab R2017a
[3] System Generator 2017.3
Perceptron
Vogliamo realizzare un semplice perceptron a due ingressi $${ x }_{ 1 },{ x }_{ 2 }$$ ed una sola uscita $$y$$ in grado di svolgere il connettivo logico “OR” utilizzando la funzione di trasferimento Hardlim.
La prima parte della rete calcola il potenziale di attivazione $$a$$ del neurone, corrispondente alla somma di tutti gli ingressi $${ x }_{ 1 },{ x }_{ 2 }$$ moltiplicati per i corrispettivi pesi sinaptici $${ w }_{ 1 },{ w }_{ 2 }$$ (weights) con l’aggiunta di una soglia di lavoro $$\theta$$ come ingresso fittizio chiamato bias $$b$$.
$$\sum _{ i=1 }^{ n }{ { w }_{ i } } { x }_{ i }={ w }_{ 1 }{ x }_{ 1 }+{ w }_{ 2 }{ x }_{ 2 }-\theta >0$$
La seconda parte, invece, serve a calcolare il valore del segnale di uscita $$y$$ della rete neurale sulla base della funzione di trasferimento che abbiamo scelto. Ora dobbiamo riscrivere la formula d’uscita del perceptron:
$$y=T(\sum _{ i=1 }^{ n }{ { w }_{ i } } { x }_{ i }={ w }_{ 1 }{ x }_{ 1 }+{ w }_{ 2 }{ x }_{ 2 }-\theta >0)$$
Hardlim
La funzione di trasferimento $$T$$ HardLim attiva il perceptron solo quando il suo potenziale di attivazione (activation) è maggiore di zero $${ a>0 }$$
$$ y=T\left( a \right) =\begin{cases} 1\quad a\quad \ge \quad 0 \\ 0\quad a\quad <\quad 0 \end{cases}$$
System Generator include il blocco M-Code che può essere utilizzato per scrivere il codice Matlab per la funzione di trasferimento.
|
1 2 3 4 5 6 7 8 |
function [FT] = Fhardlim (sums,bias) activation= sums + bias; if activation >= 0 ft1 = 1; else ft1 = 0; end FT=ft1; |
L’immagine seguente mostra com’è il blocco dopo che il modello è stato compilato:
– due ingressi (sums, bias)
– una sola uscita (FT).
System generator
Simulink è un ambiente grafico per il Model-Based design che supporta la progettazione , la simulazione, la generazione automatica del codice, il testing e la verifica di sistemi embedded.
System Generator (SysGen) è un toolbox per la modellazione hardware fornito da Xilinx integrato con ISE Design Suite o Vivado HLx che consente di lavorare in ambiente Simulink attraverso un block-set con più di 80 funzioni.
I blocchi di SysGen non convertono automaticamente i numeri a virgola mobile (floating point) di Simulink in virgola fissa (fixed point). Infatti dobbiamo utilizzare i blocchi Gateway In e Gateway Out per convertire da floating point a fixed point e viceversa.
I nomi che associamo ai gateways in input e output corrisponderanno a quelli della entity del codice VHDL generato da SysGen. Quindi avremo i due inputs $${ x }_{ 1 },{ x }_{ 2 }$$ del neurone e un solo ouput $${y }$$
Addestriamo la rete neurale
In Prontuario filo-logico per un elettronico avevamo già visto come il connettivo OR risulta falso solo se entrambi i valori sono falsi (0+0=0), vera se almeno uno dei due valori è vero (1+0=1;0+1=1;1+1=1).
Dalla Command Window di Matlab dichiariamo i valori della nostra tavola di verità come una matrice in entrata (inputs) e in uscita (target) con i valori che la rete dovrà apprendere.
|
1 2 |
>> inputs = [0 0 1 1;0 1 0 1]; >> target = [ 0 1 1 1]; |
Ora dobbiamo inizializzare l’oggetto perceptron indicando che abbiamo come valori minimi e massimi di addestramento i due inputs con un range [0 1] e che la nostra rete è composta da un solo neurone.
|
1 |
>> perceptron = newp([0 1; 0 1],1); |
Ogni ciclo di apprendimento della rete neurale viene detto epoca (epoch) e dobbiamo indicarne un numero sufficiente perché la nostra rete possa apprendere correttamente. Addestriamo il perceptron ad esempio per 10 epoche anche se di solito ne impiega solo 3 essendo una rete molto semplice.
|
1 2 |
>> perceptron.trainParam.epochs = 10; >> perceptron = train(perceptron,inputs,target); |
Di default i pesi sinaptici (weights) e bias hanno un valore iniziale di $$0$$, ma dopo l’addestramento vengono aggiornati.
|
1 2 3 4 5 |
>> perceptron.IW{1} %weights ans = 1 1 |
Non ci resta che inserire i valori ottenuti nei corrispettivi constant blocks di SysGen
|
1 2 3 4 5 |
>> net.b{1} %bias ans = –1 |
System Generator Token
Il token System Generator è un blocco speciale della libreria Xilinx Blockset che
contiene le informazioni indispensabili per trasformare il nostro modello in Simulink in VHDL.
Dal modello facciamo doppio click nel token di System Generator e selezioniamo la scheda FPGA (1) a nostra dispozione e il tipo di compilazione (2) desiderata.
Infine selezioniamo la cartella di destinazione (3) di dove verranno generati i files.
Una volta clickato il pulsante Generate vengono aperte le finestre di stato di compilazione che indicano l’avanzamento del flusso per la generazione dei files VHDL.
Perceptron: IP-Core
Un progetto Vivado è organizzato in blocchi IP (Intellectual Property) di cui quello inserito per primo è il Top Module.
Con SysGen possiamo realizzare un modulo IP-Core del perceptron che possiamo ritrovare nel catalogo IP-Core di Vivado.
I tools per la descrizione hardware di Xilinx utilizzano due tipi di files diversi per la location dei IO pins: UCF (user contraits files) e XDC (xilinx design contraints). Usati rispettivamente da ISE e Vivado.
Ora da Resource Center scarichiamo dalla sezione Design Resources il design contraints per il Nexys4, associando ad esempio il led ($$U3$$) all’uscita del perceptron ($$y$$).
Possiamo impostare il file XDC in due modi:
Creando il file .xdc manualmente
|
1 2 3 4 5 6 7 8 9 10 |
create_clock –period 20.000 –name clk [get_ports clk] set_property IOSTANDARD LVCMOS33 [get_ports clk] set_property IOSTANDARD LVCMOS33 [get_ports {x1[0]}] set_property IOSTANDARD LVCMOS33 [get_ports {x2[0]}] set_property IOSTANDARD LVCMOS33 [get_ports {y[0]}] set_property PACKAGE_PIN U3 [get_ports {y[0]}] set_property PACKAGE_PIN E3 [get_ports clk] set_property PACKAGE_PIN U4 [get_ports {x1[0]}] set_property PACKAGE_PIN V2 [get_ports {x2[0]}] |
Oppure utilizzando la GUI di Vivado
Dobbiamo ricordarci di selezionare I/O Standard LVCMOS33 è un standard CMOS a bassa tensione che usa la tensione di alimentazione di 3.3V.
Bibliografia
[1] Donald O. Hebb, L’organizzazione del comportamento: una teoria neuropsicologica, Franco Angeli, 1975
[2] David Rumelhart,James McClennand, Parallel Distributed Processing, 1986
[3] Silvio Cammarata, Reti neuronali, dal perceptron alle reti caotiche e neuro-fuzzy,1997
[4] James A. Anderson, Edward Rosenfeld, Talking Nets, An oral History of Neural Networks, Mit, 2000
Nexys
[1] Nexys 4, Digilent
[2] Nexys 4 Reference Manual, Digilent
Vivado
[1] Vivado Design Suite:Model-Based DSP Design Using System Generator, Xilinx,UG948, 2016
[2] Sanjay Churiwala, Designing with Xilinx FPGAs: Using Vivado, Springer, Springer, 2016
JEDEC Standard
[1] Interface Standard for Nominal 3 V/3.3 V Supply Digital Integrated Circuits, JESD8C.01, 2007
Model-based design
[1] Ali Behboodian, Model-based design: a Methodology that adresses today’s growing challenges of designing embedded systems, DSP Magazine,2006