I fondamenti matematici delle reti neurali

Le reti neurali artificiali (RNA) sono uno dei pilastri dell'intelligenza artificiale e dell'apprendimento automatico. Esse sono ispirate, anche se in modo astratto, alla struttura e al funzionamento del cervello umano. Tuttavia, il loro funzionamento si basa su una serie di principi matematici solidi, che consentono di modellare processi complessi e di apprendere da grandi quantità di dati. In questo articolo esploreremo i principali fondamenti matematici alla base delle reti neurali, concentrandoci su concetti come le funzioni, le matrici, l'ottimizzazione e le derivate, che sono alla base del loro funzionamento.

1. Funzioni di attivazione

Un componente cruciale di ogni rete neurale è la funzione di attivazione. Ogni neurone (o nodo) in una rete neurale prende in ingresso un insieme di valori numerici, li somma e applica una funzione di attivazione per determinare l'output. Questa funzione introduce non linearità nel modello, permettendo alla rete di apprendere relazioni complesse.

$\sigma \left(x\right)=\frac{1}{1+e^{-x}}$

- ReLU (Rectified Linear Unit):

$\mathrm{ReLU}\left(x\right)=\max (0,x)$

- Tangente iperbolica:

$\tanh \left(x\right)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

2. Spazi vettoriali e matrici

Le reti neurali fanno largo uso dell'algebra lineare, in particolare delle matrici e degli spazi vettoriali, per gestire l'elaborazione di dati ad alta dimensione. Ogni livello di una rete può essere rappresentato come una trasformazione lineare di un vettore di input attraverso una matrice di pesi.

$z=Wx+b$

dove $W$ è la matrice dei pesi, $x$ è il vettore degli input e $b$ è il vettore dei bias.

3. Derivate e gradiente

Un altro concetto matematico fondamentale per le reti neurali è il calcolo differenziale, in particolare la derivata. La derivata misura la variazione di una funzione rispetto ai suoi input ed è alla base della procedura di backpropagation, utilizzata per addestrare le reti neurali.

Derivata e gradiente:

La derivata di una funzione $f\left(x\right)$ rispetto alla variabile $x$ indica quanto velocemente cambia il valore di $f\left(x\right)$ quando $x$ cambia.

Il gradiente è il vettore delle derivate parziali di una funzione rispetto a tutti i suoi parametri. Per una funzione $L(W,b)$, dove $L$ è la funzione di perdita e $W$ e $b$ sono i pesi e i bias della rete, il gradiente ci dice in che direzione e di quanto dobbiamo modificare i pesi per ridurre l'errore.

$\nabla L(W,b)=(\frac{\partial L}{\partial W{1}_{}},\dots \frac{\partial L}{\partial b{n}_{}})$

4. Ottimizzazione: discesa del gradiente

La discesa del gradiente è l'algoritmo di ottimizzazione più comune usato per addestrare le reti neurali. Lo scopo della discesa del gradiente è minimizzare la funzione di perdita $L(W,b)$, regolando i pesi $W$ e i bias $b$ affinché la rete neurale possa fare previsioni più accurate.

L'aggiornamento dei pesi avviene tramite la formula:

$W_{t+1}=W_t-\eta \nabla L\left(W_t\right)$

dove:

• $W_t$ rappresenta i pesi alla $t$-esima iterazione,
• $\eta$ è il tasso di apprendimento (learning rate),
• $\nabla L\left(W_t\right)$ è il gradiente della funzione di perdita rispetto ai pesi.

5. Funzioni di perdita

La funzione di perdita è un altro concetto matematico essenziale nelle reti neurali. Serve a quantificare quanto è lontano il risultato prodotto dalla rete dal valore desiderato. La funzione di perdita guida l'ottimizzazione, fornendo un feedback su quanto bene la rete stia performando.

Le funzioni di perdita comuni includono:

• Errore quadratico medio (MSE):

$L(y,\hat{y})=\frac{1}{n}\sum _{i=1}^n(y_i-\underset{y_i}{\overset{}{^}}{)}^2$

dove $y$ è il valore reale e $\hat{y}$ è il valore predetto.

• Cross-entropy:

$L(y,\hat{y})=-\sum _{i=1}^n{y}_{i}log\left(\hat{y}{i}_{}\right)$

6. Insiemi e probabilità

In molte applicazioni delle reti neurali, specialmente nel riconoscimento di immagini o nel processamento del linguaggio naturale, si ricorre a concetti di probabilità e teoria degli insiemi. Ad esempio, la softmax è una funzione che trasforma un vettore di valori in probabilità:

$\mathrm{softmax}\left(z_i\right)=\frac{e^{z_i}}{\sum _{j=1}^n}$

Questa funzione è ampiamente usata nei modelli di classificazione per interpretare l'output come una distribuzione di probabilità su più categorie.

7. Reti neurali profonde e composizione di funzioni

Le reti neurali possono essere viste come una composizione di più funzioni. Ogni livello della rete applica una trasformazione ai dati, e l'intera rete può essere rappresentata come una funzione composita:

$f\left(x\right)=f^{\left(L\right)}\left(f^{(L-1)}\right({\dots }^1)$

dove $f^i$ è la funzione corrispondente al livello $i$ della rete. L'apprendimento della rete neurale consiste nel trovare i parametri (pesi e bias) di ciascuna di queste funzioni, che ottimizzano la funzione obiettivo complessiva.

Conclusione

Le reti neurali, pur ispirandosi al cervello umano, si basano su concetti matematici fondamentali che vanno dall'algebra lineare al calcolo differenziale, alla teoria delle probabilità. La loro potenza deriva dall'abilità di modellare processi complessi attraverso combinazioni di funzioni lineari e non lineari, utilizzando algoritmi di ottimizzazione che sfruttano i gradienti per minimizzare l'errore. Comprendere questi fondamenti matematici è essenziale per chiunque voglia approfondire il funzionamento delle reti neurali e partecipare al loro sviluppo e applicazione.