Questo è uno studio sperimentale che ho realizzato nell'ambito del Corso di Specializzazione post laurea in Psicologia Cognitiva e Reti Neurali. Il lavoro è poi stato pubblicato presso le Comunicazioni Scientifiche di Psicologia Generale.

Per scaricare una versione in pdf di questa pagina clicca qui
Il codice sorgente e gli eseguibili dell'ambiente di simulazione sono scaricabili da qui

Per qualsiasi informazione, osservazioni o commenti puoi inviarmi dei messaggi, saranno graditi :

Abstract 

Prendendo spunto dalle evidenze sperimentali circa il comportamento oscillatorio di alcune strutture del sistema nervoso, quali ad esempio il sistema talamo-corticale, il presente lavoro si prefige lo scopo di indagare il comportamento dinamico di alcuni sistemi neurali artificiali  realizzati in funzione di parametri che risultano fondamentali nella messa in scena delle variabili implicate nei sistemi biologici originali. A tal proposito, dopo  una breve presentazione delle evidenze sperimentali acquisite nello studio dei ritmi del cervello, la prima parte del lavoro presenta alcune simulazioni effettuate su modelli di reti neurali in grado di attivare diversi comportamenti oscillatori che vanno dal lineare al periodico o quasiperiodico fino alle dinamiche tipiche del caos deterministico.
Nella seconda parte, prendendo spunto dalla organizzazione strutturale del sistema talamocorticale, i modelli precedentemente studiati vengono organizzati in metamodelli ad architettura gerarchica o simmetrica al fine di esplorare la possibilità dell'emergenza di comportamenti oscillatori regolari e coerenti.
Nella terza parte  si è cercato di studiare l'apprendimento di una rete neurale Error Back Propagation (EBP) nel riconoscimento e nella anticipazione di segnali caotici risultanti dall'attività dei modelli precedentemente studiati.
Infine, tenendo conto sia dei risultati sperimentali osservati che dell'ormai abbondante quantità dei lavori teorici sul campo, vengono discusse alcune ipotesi circa il ruolo funzionale delle dinamiche caotiche  nell'attività nervosa e mentale del cervello.

1. INTRODUZIONE

Negli ultimi trenta anni, a partire dagli studi di Lorenz nel 1963, si è assistito ad una notevole proliferazione di studi sui sistemi dinamici complessi in quasi tutte le discipline scientifiche.
Anche nell'approccio connessionista allo studio della mente si è realizzato un progressivo aumento di interesse verso i comportamenti dinamici di sistemi al di là dei cicli limite. Sono apparsi così i lavori di Babloyantz (1981; 1985; 1986) sui segnali EEG nei diversi stati di vigilanza o il bellissimo lavoro di Skarda & Freeman (1987) sulla emergenza dal caos di dinamiche dotate di maggiore stabilità in seguito ad apprendimento o riconoscimento di tratti significativi dell'ambiente.

Al di là delle differenze di stile e di obiettivi, la maggior parte delle ricerche realizzate fino ad oggi sui ritmi del cervello ha permesso lo sviluppo di tre aspetti fondamentali:
 
i) A livello cellulare, è ormai accettato che alcuni tipi di cellule presentano intrinseche proprietà oscillatorie, e che queste attività sottendono i ritmi EEG;

ii) Nelle simulazioni con sistemi neurali artificiali si evidenzia il comportamento oscillatorio, caotico o meno, di diversi circuiti neurali (ad es. le strutture talamo-corticali e, di rimando, le cortico-talamiche), coinvolti nei diversi fenomeni mentali (ciclo sonno-veglia, comportamenti attentivi, apprendimento ecc.);

iii) A livello teorico si hanno svariati studi sulla possibilità che le reti si comportino come sistemi dinamici complessi con proprietà del caos deterministico.

Prendendo spunto da questi tre aspetti, e tenendo presenti le rispettive evidenze sperimentali, il presente lavoro si prefige fondamentalmente tre obiettivi:

1) Investigare le condizioni ed i fattori di emergenza di dinamiche caotiche o periodiche in piccoli sistemi neurali, realizzati con solo tre unità di attivazione, osservando la loro traiettoria evolutiva in funzione di tre variabili principali, cioè:
  
   a) il ruolo delle soglie interne dei neuroni;
   b) la competizione tra connessioni eccitatorie ed inibitorie;
   c) il ruolo del rientro dell' attivazione o feedback .

2) Studiare la dinamica di questi sistemi in interazione tra  loro.
Si tratta cioè di osservare il ruolo del rientro non solo tra unità dello stesso sistema ma anche tra unità di sistemi distinti;

3) Osservare il comportamento di una rete neurale a backpropagation (BP) nel corso dell'apprendimento di un segnale caotico risultante dalla attività dei suddetti sistemi.

Poiché i modelli ed i risultati delle sperimentazioni effettuate sono stati fortemente influenzati dalle evidenze sperimentali acquisite in relazione ai tre aspetti fondamentali sopraelencati, cercherò di esplicitare meglio le informazioni ed i dati che più mi hanno indirizzato nella realizzazione e nella interpretazione delle esperienze di simulazione.

2. LIVELLO CELLULARE DI ANALISI

Per quanto attiene il livello cellulare di analisi, particolarmente interessanti sono le proprietà dei neuroni reticolari-talamici (RE).
Questi, insieme alle cellule del sistema talamo-corticale (TCR), formano il principale sistema neurale talamico responsabile della generazione di segnali fusiformi.
I neuroni reticolo-talamici (RE)  presentano due fondamentali stati di attivazione, cioè uno stato tonico, ed uno ad improvvisi scoppi. Evidenze sperimentali (Jahnsen & Llinas, 1984) hanno mostrato che questi neuroni sono in grado di attivarsi ritmicamente in assenza di input esterni. Essi quindi si comporterebbero come degli oscillatori-pacemaker per altre strutture dell'encefalo.

Per quanto riguarda invece l'attività dei neuroni del sistema talamo-corticale (TCR) diversi studi si sono orientati a studiare il  ruolo di questa struttura durante i primi stadi del sonno, quando essa mostra un'attività di tipo fusiforme. Questa attività oscillatoria compare  nella maggior parte dei mammiferi con una frequenza di circa 7-14 Hz., formando dei fusi della durata di circa 1.5-2 sec. i quali ricorrono con periodo irregolare ogni 5-10 sec. (Lopes da Silva, 1991).

Si è potuto verificare (Steriade, 1985) che questo tipo di attività oscillatoria della struttura talamo-corticale non insorge quando la si deconnette dai nuclei del sistema reticolare-talamico, e questo mostra che la connessione tra queste due strutture è fondamentale ai fini della corretta attività del sistema talamo-corticale. Altri studi hanno permesso di indagare il peso di diverse variabili quali ad esempio l'intensità del segnale, l'entità delle connessioni e delle soglie, nella insorgenza dell'attività oscillatoria dei due sistemi RE e TCR.

In sintesi si può dire che la frequenza delle oscillazioni dipende fortemente dalle proprietà di membrana delle singole unità, sia dai potenziali di membrana che dalla forza delle interazioni sinaptiche. Naturalmente questa è solo una schematizzazione dell'attività congiunta di queste due strutture (RE & TCR). Altre vie ed altre strutture influiscono, sia pur in misura minore, nella insorgenza delle oscillazioni caratteristiche di queste strutture talamiche.

Proiezioni colinergiche, ad esempio, hanno una serie di effetti sulla iperpolarizzazione delle cellule RE, mentre il contributo degli input portati dalle fibre noradrenergiche determinano un aumento della frequenza nei segnali di attivazione delle cellule TCR.
Tuttavia ciò che mi sembra importante, nell'ambito di questo lavoro, è il fatto che l'attività oscillatoria di due strutture talamiche (RE & TCR) formi un unico sistema autorganizzato che, grazie alle dinamiche di rientro del segnale e di competizione tra stati di iperpolarizzazione e depolarizzazione delle membrane, sia  in grado di generare stati di oscillazione che sono in relazione ai livelli di vigilanza.
Peraltro l'organizzazione delle relazioni strutturali tra il talamo e la corteccia (Lopes da Silva, 1980) rivela la fondamentale importanza dell'attività oscillatoria dei neuroni talamici le cui proiezioni sulle aree corticali sono alla base dell'insorgenza di ritmi alfa correlati agli stati attentivi coscienti.
Sono stati fatti diversi studi sperimentali per valutare il peso delle proiezioni talamiche nella insorgenza di comportamenti oscillatori coerenti nella corteccia. Tuttavia questo rimane un campo estremamente difficile da investigare sperimentalmente a causa degli effetti incontrollati prodotti sia dalle tecniche invasive (deafferentazione talamica ecc...), che dai farmaci utilizzati durante gli esperimenti quali ad esempio barbiturici o vari altri sistemi di anestesia.

Esistono dei tentativi di valutazione basati su modelli teorici statistici, quali ad esempio il "Theoretical Thalamic Deafferentation" di Lopes da Silva (1980), ma questi portano con sé l'inevitabile tasso di incertezza riguardo alle reali condizioni bio-fisiche del sistema oggetto di studio.

Dopo questa breve schematizzazione del problema credo quindi sia pertinente, nell'ambito dell'approccio connessionista,  uno studio sperimentale che si ponga come obiettivo quello di analizzare il comportamento oscillatorio di alcuni modelli di rete neurale costruiti sulla base delle variabili fondamentali che caratterizzano i comportamenti oscillatori dei sistemi di cui sopra.

Questo spiega in parte la formulazione dei primi due punti in cui si suddivide questo lavoro, cioè:

1) Investigare le condizioni ed i fattori di emergenza di dinamiche chaotiche o periodiche in piccoli sistemi neurali, realizzati con solo tre unità di attivazione, osservando la loro traiettoria evolutiva in funzione di tre variabili principali, cioè:
  
   a) il ruolo delle soglie interne dei neuroni;
   b) la competizione tra connessioni eccitatorie ed inibitorie;
   c) il ruolo del rientro dell' attivazione, o feedback .

2) Studiare la dinamica di questi sistemi in interazione tra  loro.

Il terzo punto invece, quello relativo al comportamento di una rete neurale BP nell'apprendimento di un segnale chaotico, riguarda la questione dell'apprendimento da parte di un sistema neurale a riconoscere ed anticipare una dinamica.
E' una questione non banale in quanto il nostro sistema nervoso non ha solo il compito di riconoscere oggetti più o meno regolari, cioè dotati di un alto tasso di figuratività e di ridondanza, ma anche quello di riconoscere ed anticipare stati di attivazione interna molto complessi legati ad eventi quali ad esempio gli stati attentivi.
Il presente studio non ha certo la pretesa di realizzare un modello che funga da vero e proprio paradigma per la generazione di stati, quali il ritmo alpha o l'insorgenza di attività oscillatorie della corteccia o del talamo, legati a diversi eventi mentali. Piuttosto esso si pone ad un livello puramente esplorativo riguardo al comportamento dinamico di sistemi neurali regolati da parametri che risultano verosimili nella messa in scena delle variabili fondamentali implicate nei sistemi biologici originali.

3. DESCRIZIONE DEI MODELLI

Il primo modello di rete è costituito da tre neuroni ad attivazione non lineare. Non è presente nessun algoritmo di aggiornamento dei pesi sinaptici, mentre l'architettura della rete è quella riportata di seguito :

fig.1

La dinamica della rete è determinata dalle seguenti equazioni:

1)  U1 (t+dt) = F1 [ W1 U2 (t) + W2 U3 (t) ] ;
2)  U2 (t+dt) = F2 [ U1 (t) ] ;
3)  U3 (t+dt) = F3 [ U1 (t) ] ;

dove  F è la funzione sigmoide di attivazione nella forma:

4)  Fi (V)= ( 1 + exp [-Bi ( V – Thi )] )^-1 ;

con Bi una costante opportunamente scelta, mentre Thi e V sono rispettivamente la soglia relativa alla i-esima unità e la sommatoria dei contributi pesati delle attivazioni. Questo tipo di modelli sono stati oggetto di precedenti studi (F.Chapeau-Blondeau & G.Chauvet, 1992). Utilizzando come variabili indipendenti i parametri Bi Thi e Wi è possibile osservare diversi titpi di comportamento dinamico della rete, dagli stati stabili o quasi periodici fino ai regimi chaotici.

I fattori che maggiormente influiscono sulle dinamiche emergenti, fissati i parametri Bi , sono le soglie Thi , la rottura di simmetria nei pesi W1 e W2  e il ritardo nella trasmissione del segnale.
Nelle prove sperimentali ho scelto di discretizzare il tempo di ritardo secondo un rate di dt=1. Da un punto di vista neurobiologico la discretizzazione del tempo di scarica potrebbe emergere dai ritardi di trasmissione che avvengono tra i neuroni lungo determinati circuiti. Le variazioni sinaptiche infatti potrebbero facilmente indurre ritardi nella risposta di attivazione tra neuroni. La discretizzazione del tempo in queste condizioni potrebbe essere vista come una media a breve termine nella frequenza di spike che un neurone genera come conseguenza delle attivazioni ricevute in un qualche dt. Modelli con tempi di evoluzione discretizzati sono stati adottati in diverse sperimentazioni (Hopfield, 1982) fornendo risultati interessanti nella messa in scena di dinamiche diverse.

In questo lavoro, oltre a ripercorrere alcune di queste prove sperimentali, ci si prefige lo scopo di osservare l'insorgenza di diversi regimi oscillatori nella interazione di due sistemi tra loro, in condizioni di connessione sia simmetrica che asimmetrica.
L'architettura dei modelli utilizzati per questo tipo di prove sperimentali è riportata più avanti..
L'evoluzione dei regimi oscillatori, nei modelli isolati e in interazione, è stata studiata sia in condizioni di non variabilità dei parametri (Bi,Thi e Wi  fissi), sia in condizioni di variabilità dei soli pesi  W2  e  delle  soglie  Thi.
Nei modelli isolati, si tratta di osservare l'emergenza di diversi stati dinamici come conseguenza della competizione tra pesi eccitatori e pesi inibitori e come conseguenza del ritardo nella trasmissione dell'attivazione tra unità distinte.

Nei sistemi interattivi invece lo scopo è quello di osservare l'influenza tra sistemi dotati di diversi regimi oscillatori, sia in situazione di connessione gerarchica o asimmetrica che in situazioni di connessione simmetrica tra i sistemi, e questo nelle due condizioni di stabilità e cambiamento dei parametri critici (Bi ,Thi e Wi) durante il tempo di interazione.

Come ho accennato nella breve discussione degli aspetti cellulari, lo studio dei sistemi isolati è utile al fine di verificare le possibilità, anche in sistemi neurali semplici, della emergenza di diversi regimi oscillatori che potrebbero fungere da pacemaker per altre strutture neurali. L'osservazione del comportamento risultante dalla interazione di due sistemi trova invece giustificazione nelle evidenze sperimentali circa la connessione fisiologica e funzionale di alcune strutture del sistema nervoso (ad es. le relazioni tra i nuclei della sostanza reticolare e le strutture talamocorticali).

4. RISULTATI SPERIMENTALI

    4.1.  Dinamica del Modello isolato

La prima prova sperimentale si è concentrata sull'osseravazione del comportamento oscillatorio del sistema in funzione della competizione tra connessioni eccitatorie e connessioni inibitorie.

Tenendo fissi i parametri Bi , Thi e W1 , ed usando un criterio per il ritardo dell'attivazione di dt=1, ho scelto la W2 come variabile indipendente facendola variare, con un rate di dW2=0.00001, prima nell'intervallo 0>W2>-1 , quindi nell'intervallo -1>W2>-10.

I valori per i restanti parametri sono stati fissati a:

B1=7;  B2=7;  B3=13;  Th1=0.5;  Th2=0.3;  Th3=0.7;  W1=1.

In queste condizioni il sistema ha mostrato un comportamento oscillatorio estremamente interessante.
Utilizzando un sistema di rappresentazione grafica come quello riportato nella fig.2 è stato possibile effettuare una prima valutazione qualitativa della dinamica del sistema.

Nell'intervallo [0, -.8] il sistema mostra un comportamento tipico di molti sistemi caotici quali ad esempio la funzione logistica  X t+1 = X t  k (1- X t ) al variare del fattore k  nell'intervallo 0 < k < 4. Al variare di W2 il sistema passa da un comportamento caratterizzato da uno stato stabile, per W2>-4 ,ad un comportamento oscillatorio di periodo 2 (prima biforcazione)  per   -5.8 < W2 < -.4.
Per W2<-5.8 si può chiaramente osservare il passaggio ad un regime oscillatorio di periodo 4 (seconda biforcazione) quindi, appena oltre, alla insorgenza di oscillazioni di periodo 8 in rapida successione portano il sistema in  un regime caotico. La regione ad attivazione caotica è interrotta da brevi tratti di comportamento oscillatorio periodico, ma il comportamento della rete, nell'intervallo -1<W2<-.6, è decisamente caotico.
Per valori W2<-1 il sistema continuerà a mostrare il tipico comportamento del caos deterministico, fino a raggiungere regimi più stabili per valori W2<-5.
Per W2<-8 il sistema torna ad un comportamento stabile mostrando una debolissima attivazione.
Nelle tavole 1a-1b sono riportati alcuni grafici che mostrano in dettaglio l'attività oscillatoria dell'unità U1  in corrispondenza di diversi valori della connessione W2 .
In corrispondenza del valore di connessione W2=-.8 il calcolo della dimensione di correlazione, con il metodo di Grassberger & Procaccia (1983), per il segnale risultante è di  Dc=(0.96 + 0.03),  mentre con  W2=-5  risulta  Dc =(0.93 + 0.01).

    4.2  Dinamica dei Modelli in interazione

Utilizzando modelli come quelli riportati sopra (fig.1), dotati di più o meno unità, con diversi tempi di ritardo nella trasmissione del segnale, è possibile effettuare numerose sperimentazioni.
Tuttavia, in questo lavoro, mi sono limitato ad indagare l'interazione di due sistemi con identica architettura utilizzando come variabili sperimentali la connessione simmetrica o asimmetrica dei sistemi, eccitatoria o inibitoria, ed il valore delle rispettive connessioni W2 . Riporto di seguito nelle figure 3a-3b l'architettura dei modelli utilizzati per le prove sperimentali.

Per tutti i modelli, sia a connessione simmetrica che asimmetrica, il valore della connessione è stato posto uguale W i = 1. Poiché questi modelli sono stati costruiti utilizzando come modulo il sistema isolato originale, di cui abbiamo già potuto osservare le principali caratteristiche oscillatorie, tutti gli altri parametri sono rimasti invariati. Con riferimento alle equazioni 5-16 , si avrà:

B'1 = B1=7;       Th'1 = Th1 = 0.5;
B'2 = B2=7;        Th'2 = Th2=0.3;
B'3 = B3=13;      Th'3 = Th3=0.7;   
W'1 = W1=1.

Le prove sperimentali sono state condotte utilizzando come variabile sperimentale la connessione critica W2 dei sottosistemi ed osservando il loro comportamento durante l' interazione. Le equazioni che descrivono il comportamento del modello asimmetrico o gerarchico (fig. 3a) sono:

5)  U1 (t+dt) = F1 [ W1 U2 (t) + W2 U3 (t) + U'1 (t) ] ;
6)  U2 (t+dt) = F2 [ U1 (t) ] ;
7)  U3 (t+dt) = F3 [ U1 (t) ] ;

8)  U'1 (t+dt) = F1 [ W1 U'2 (t) + W'2 U'3 (t) ] ;
9)  U'2 (t+dt) = F2 [ U'1 (t) ] ;
10)  U'3 (t+dt) = F3 [ U'1 (t) ] ;

per il modello a connessione simmetrica tra i sottosistemi (fig. 3b) si avrà:

11)  U1 (t+dt) = F1 [ W1 U2 (t) + W2 U3 (t) + U'1 (t) ] ;
12)  U2 (t+dt) = F3 [ U1 (t) ] ;
13)  U3 (t+dt) = F3 [ U1 (t) ] ;

14)  U'1 (t+dt) = F1 [ W1 U'2 (t) + W'2 U'3 (t) + U1 (t)] ;
15)  U'2 (t+dt) = F2 [ U'1 (t) ] ;
16)  U'3 (t+dt) = F3 [ U'1 (t) ] ;

La F è la funzione sigmoide nella forma: 

Fi (V)= ( 1 + exp [-Bi ( V - Thi )] )^-1 

Per quanto riguarda il modello gerarchico (eq. 5-10) si è assistito a diversi tipi di comportamento oscillatorio del sistema Sp in interazione con Si , in funzione dei valori delle connessioni critiche W2 e W'2.
Nelle tavole 2a-2b vengono riportati dei tracciati relativi ad alcune simulazioni.

Con riferimento alla Tav.2a, il primo tracciato in alto si riferisce ad una simulazione effettuata con i pesi  W2=-5  e  W'2=-.5, rispettivamente per i sottosistemi Sp ed Si  del modello gerarchico. Il secondo tracciato è stato invece ottenuto con i pesi  W2 = -.8  e  W'2 = -.5 . Sono state eseguite diverse simulazioni utilizzando valori di W2 e  W'2  ogni volta diversi. In ogni simulazione il sottosistema con oscillazioni periodiche o quasiperiodiche costringeva sempre all'ordine il sottosistema ad attivazione caotica, mentre l'interazione tra sottosistemi entrambi caotici si risolveva in uno stato oscillatorio anch'esso caotico (terzo tracciato della Tav.2a).

Queste prime simulazioni potrebbero in parte chiarire il ruolo giocato dalle cellule di alcune strutture del sistema nervoso quali la sostanza reticolare.  Come ho già avuto modo di accennare, attraverso due principali tipi di attivazione, cioè un'attivazione tonica ed una ad improvvisi treni d'onda, alcuni nuclei di questa struttura  fungono da pacemaker per altre strutture talamiche e corticali. Il secondo tipo di attivazione (burst oscillations)  sembra essere alla base della generazione delle cosiddette spindle activatios nel talamo. 

Le simulazioni eseguite potrebbero rappresentare una parziale messa in scena di questo tipo di interazioni.
L'induzione di un tipo di attivazione fusiforme risulta poi ancora più evidente in alcune simulazioni effettuate con il modello simmetrico di attivazione tra i due sottosistemi.
Come si può osservare dai tracciati riportati nella Tav.2b, con valori di  W2 = -.8  e  W'2 = -5 per i due sottosistemi, si assiste ad un comportamento oscillatorio periodico, per entrambe i sottosistemi, con un tipo di attivazione fusiforme. Con questi valori delle connessioni critiche, e senza l'interazione, ogni sottosistema oscillerebbe in modo caotico, questo è stato chiaramente messo in evidenza dalle simulazioni effettuate sul modello isolato. L'interazione reciproca, in questo caso, porta i due sistemi ad oscillare in modo periodico, con segnali fusiformi e quasi in sincronia. 

5. APPRENDIMENTO E PREVISIONE DI UN SEGNALE CAOTICO IN UNA RETE NEURALE

L'ultimo obiettivo di questo lavoro consiste nell'osservare il comportamento di una rete neurale EBP (Error Back Propagation) nell'apprendimento di un segnale caotico. Il problema è pertinente in quanto questi segnali, tutt'altro che rari nell'attività del nostro sistema nervoso, sottendono spesso precisi eventi mentali soggetti, a loro volta, ad apprendimento.

Il segnale, in questo caso, è quello risultante dalle oscillazioni della rete semplice a tre unità di attivazione, precedentemente studiata, con un valore della connessione critica  W2=-.8. In corrispondenza di questo valore, come si è visto, il sistema mostra una dinamica tipica del caos deterministico.
Il compito di apprendimento che intendo sottoporre alla rete EBP è guidato in input dal segnale caotico di output del sistema dinamico esaminato precedentemente. La risposta in output della rete EBP viene invece forzata alla previsione della prima e della seconda iterazione nella dinamica del sistema.
Per quanto riguarda le caratteristiche della rete EBP ho utilizzato una architettura a connessione totale. La funzione di attivazione per le unità è la sigmoide nella sua forma classica, mentre l'algoritmo di apprendimento è il tipico Error Back Propagation (Rumelhart & McLelland, 1984), con aggiornamento sia dei pesi che delle soglie.

Le prime simulazioni sonostate effettuate con una rete feedforward 1-8-2, cioè con una unità in input (l'unità di output della rete caotica), otto unità hidden, due unità di output e nessun rientro del segnale.
Forzando la rete a rispondere trial by trial ad ogni epoca, anche utilizzando diversi accorgimenti per favorire l'apprendimento (momentum, apprendimento sulle soglie ecc...), il sistema non è quasi mai riuscito a completare l'apprendimento, neanche sulla prima iterazione. Per completare l'apprendimento in modo soddisfacente si è dovuto portare delle modifiche rilevanti.
Si è aumentato di due unità neurali lo strato hidden, quindi sono state aggiunte in input due unità neurali che rappresentano lo storico al tempo t-1 e t-2 del segnale più 2 unità di feddback sui valori di attivazione delle unità in output fornendo così alla rete una struttura tipica delle Reti Ricorrenti di Jordan:

Questa architettura si presta bene a mettere in scena la dinamica del rientro tipica dei circuiti reverberanti di Edelman. L'architettura Ricorrente (sia di Jordan sia di Elman) è stata impiegata in un lavoro sperimentale successivo per la simulazione degli effetti del cortical pruning sulla capacità di anticipare correttamente l'evoluzione del proprio ambiente di immersione, un fenomeno accentuato nelle sindromi di schizofrenia grave, particolarmente in relazione ai cosiddetti "sintomi positivi" (allucinazioni ed alterazioni della realtà).

Il sistema risultante dunque si presenta come una EBP 5-10-2.
Data la complessità del compito, dovuta al fatto che la rete è forzata a rispondere ed aggiornare i suoi pesi ad ogni input,  ho modificato la forma del momentum in modo da fornire alla rete più informazioni globali sulla dinamica da apprendere.

In queste condizioni la rete è riuscita sempre ad apprendere il compito. I tempi di apprendimento, con un criterio di 0.05 per l'errore, sono di circa 5.000 epoche per la prima iterazione e di circa 50.000 per la seconda iterazione. Un ulteriore modifica è stata portata introducendo il segnale di rientro in input per ogni unità di output della rete. Questo tipo di organizzazione ha permesso un ulteriore miglioramento dell'apprendimento  portando la rete a completare il primo target (anticipazione della prima iterazione sul segnale) in sole 2.700 epoche, mentre per la seconda iterazione sono occorse circa 25.000 epoche.

Riporto due schermate di due istanti diversi della simulazione nelle immagini che seguono:

In questa prima schermata vediamo l’istantanea di una delle diverse simulazioni effettuate. I primi due riquadri grafici in alto mostrano la mappa di Poincaré, o mappa iterativa, tracciata plottando il segnale al tempo t (in ascissa) contro il segnale al tempo t+1 (ordinata) e al tempo t+2 per la seconda mappa. Le mappe mostrano i segnali di teaching (ciò che la rete dovrebbe rispondere) ed i segnali di output (ciò che la rete neurale effettivamente risponde) plottati con colori diversi in modo da poter notare la progressione dell’apprendimento. Ad apprendimento ultimato infatti i punti si sovrappongono perfettamente.

Questo tipo di rappresentazione è molto utile sia per rendersi conto della complessità del segnale in input sia per verificare la progressione dell’apprendimento.

Per quanto riguarda la complessità del segnale, plottando i valori prodotti da una funzione periodica e regolare come, ad esempio, una sinusoide, avremmo un cerchio perfetto per la prima iterazione (prima mappa). Più il segnale è complesso e non stazionario più la geometria della figura tracciata nella mappa sarà irregolare e frastagliata.

La schermata che segue mostra la dinamica della rete in una fase avanzata di apprendimento:

Come si può notare i punti tracciati nelle due mappe (segnale di teaching contro il segnale di output) sono abbastanza ben sovrapposti, indicando qualitativamente l’avvenuto apprendimento della rete neurale.

L’architettura finale della rete neurale impiegata ha permesso un ulteriore miglioramento dell'apprendimento  portando la rete a completare il primo target (anticipazione della prima iterazione sul segnale) in sole 2.700 epoche, mentre per la seconda iterazione sono occorse circa 25.000 epoche.
E' importante notare che il rientro del segnale in input, il cui contributo risulta trascurabile all'inizio dell'apprendimento quando le risposte della rete sono molto distanti dal target, fornisce un contributo notevole man mano che il sistema inizia ad avvicinarsi agli obiettivi dell'apprendimento.

Sarebbe interessante analizzare l'evoluzione temporale delle unità nascoste nel corso dell'apprendimento. La presenza del segnale o di più segnali di rientro potrebbe favorire  la formazione di clusters nello strato delle unità nascoste con forti connessioni con i segnali di rientro. La presenza eventuale di queste "sottomappe" potrebbe, sia pure in parte, costituire una buona prova sperimentale a favore della teoria di Edelman sulla formazione di mappe di neuroni la cui funzione è quella di "storicizzare" l'attività del sistema nervoso (Edelman, 1988, 1989).

6. CONCLUSIONI

Questo breve lavoro ha messo chiaramente in evidenza che la stabilità di un piccolo sistema,  governato da poche variabili, non è affatto garantita e che l'interazione dinamica tra sistemi caotici non sempre da come risultante un meta-sistema a sua volta caotico.

Quando si prende in considerazione un sistema caotico, in genere, si pensa che debba essere governato da un numero piuttosto alto di parametri e variabili. Questo è spesso vero ed il sistema nervoso, con i suoi svariati miliardi di neuroni, rappresenta sicuramente un ottimo esempio di sistema dinamico complesso capace di lasciare emergere stati di attivazione più o meno caotici in diversi punti della sua totalità.

Tuttavia, occorre notare che lo stato attuale della conoscenza fisica e matematica dei sistemi dinamici caotici, per quanto molto avanti, raramente permette, partendo dalle diverse caratteristiche del sistema quali la dimensione frattale o altri indici,  di ricostruire le equazioni che governano l'esistenza del sistema oggetto di studio.

Occorre inoltre notare che dato il carattere altamente non stazionario delle serie temporali registate negli EEG risulta piuttosto ambiguo, oltre che molto difficile, poter calcolare degli indici di dimensione frattale che rispecchino fedelmente la "reale" complessità dei fenomeni sottostanti. Esistono algoritmi di calcolo più sensibili alla non-stazionarietà dei dati, quale ad esempio l'algoritmo PD2i di Skinner (Elbert T., Ray W.  et all., 1994), con i quali è possibile avere delle stime più "fedeli" della dimensione frattale. Tuttavia c'è da chiedersi che senso può mai avere andare alla ricerca di un invariante di un sistema per poi scoprire che la misura che dovrebbe esprimerne l'entità non è affatto "invariante".

Al di là dei problemi di calcolo c'è infine da considerare che per parlare di caos deterministico e comparare fisicamente dei sistemi caotici noi dovremmo poter determinare quanta energia occorre fornire ai rispettivi sistemi per portarli da uno stato ordinato ad uno turbolento o, se si vuole, caotico. Dovremmo cioè ricostruire esattamente le equazioni di stato dei sistemi che permettano di prevedere la loro evoluzione temporale. Questa operazione, in parte possibile in termodinamica, diventa una questione estremamente difficile, se non impossibile, nello studio di altri sistemi dinamici caratterizzati da stati tipici del caos deterministico.

Stando così le cose, una volta verificata l'esistenza di dinamiche instabili o caotiche in diverse strutture del sistema nervoso, dopo aver condotto delle simulazioni che diano una idea almeno parziale di come tali dinamiche potrebbero prendere forma, la questione più importante, da un punto di vista psicologico, è quella di comprendere quali ruoli potrebbero giocare tali dinamiche nella vita di un essere vivente. Alcune considerazioni, riguardo ad esempio alle interazioni tra strutture talamocorticali, sono state già fatte sia nella introduzione che durante lo svolgimento di questo lavoro.

Alcuni autori (Nicolis J.S., 1987) hanno preso in considerazione la possibilità che la memoria sia organizzata come un sistema di attrattori multipli coesistenti su un substrato biofisico. Il passaggio da un attrattore ad un altro, in seguito a stimolazioni ambientali o a percezioni dello stato interno del sistema, potrebbe essere favorito dalle attivazioni ascendenti talamocorticali.

Nella dinamica di richiamo alcuni nuclei di questa struttura  potrebbero fornire segnali capaci di stimolare alcuni attrattori del sistema corticale lasciandoli emergere, e quindi esaltandoli, rispetto al rumore di fondo dovuto alle innumerevoli fonti di stimoli provenienti dall'ambiente circostante. Innescando in alcune aree corticali delle dinamiche oscillatorie altamente sincronizzate questi pacemaker talamocorticali permetterebbero dunque il passaggio da un attrattore ad un altro.

Da un punto di vista psicofisiologico le ricerche di Freeman (Skarda & Freeman, 1987) hanno ben messo in evidenza stati di attivazione caotici che precedevano o seguivano stati di sincronizzazione parziale nel bulbo olfattifero del coniglio. Questi stati di sincronizzazione parziale erano sempre correlati ad eventi mentali di riconoscimento di alcuni oggetti noti.

In qualche modo sembra che il caos sia in grado di favorire l'improvvisa emergenza di processi di sincronizzazione parziale relativi a diverse realtà significative per il sistema. Esso dunque, aumentando i gradi di libertà di un sistema,  sembrerebbe giocare un ruolo funzionale di flessibilità nel passaggio a diversi stati di attivazione stabili per un qualche dt diverso da zero. Questo ruolo funzionale trova una parziale conferma quando si osserva lo stato di attivazione della corteccia durante una crisi epilettica (Babloyantz, 1981; 1985; 1986). In queste condizioni infatti il sistema appare fortemente sincronizzato in aree piuttosto vaste e per tempi relativamente più lunghi rispetto ai passaggi di stato che avvengono in seguito ad altri eventi mentali.

E' noto che, quando un plotone militare si accinge ad attraversare un ponte, l'ufficiale dà ordine di rompere il passo. La marcia a passo sincronizzato porterebbe in breve tutta la struttura ad oscillare con una risonanza distruttiva. In questo caso è l'ufficiale di turno a dare l'ordine  di desincronizzare la marcia per evitare effetti disastrosi.

E' possibile che il sistema nervoso, nella sua storia evolutiva, abbia maturato proprie strategie interne per "randomizzare" gli stati di attivazione ed evitare i disastrosi effetti della sincronia che possiamo osservare durante gli attacchi epilettici.

L'importanza della desincronizzazione appare ancora più evidente quando si prendano in considerazione i fenomeni dell'attivazione muscolare dove una vasta sincronizzazione dell'attivazione nei diversi motoneuroni porterebbe a fenomeni di  tremolio indesiderati, impedendo così la regolazione fine del movimento e dell'orientamento nello spazio.
   

Riferimenti Bibliografici

Abarbanel  H. D. (1993). The Analysis of Observed Chaotic Data in Physiccal Systems.  Reviews of Modern Physics, Vol. 65, N.4.

Babloyantz A. (1985). Evidence of chaotic dynamics of brain activity during the sleep cylce.  Phys. Lett. (A), 111:152-156.

Babloyantz A., Lourenco C. (1994). Computation with Chaos: A paradigm  for cortical activity.   Proc. Natl. Aad. Sci. USA, Vol.91.

Babloyantz A., Destexhe A. (1986). Low-dimensional chaos in an instance of epilepsy.  Proc. Ntl. Acad. Sci. USA, Neurobiology.

Babloyantz A. Destexhe A. (1991). Deterministic Chaos in a Model of  the Thalamo-Cortical System. In Self-Organization, Emerging Properties and Learning, Ed. by A. Babloyantz, NY.

Buscema, M. (1994).  Squashing Thory.  Ed. Armando.

Complex Systems Operational Approaches in Neurobiology, Physics and Computers. (1985). Proceedings of the Interntional Symposium  on Synergetics, May 6-11.  Ed. H. Hken.

Caglioti G. (1983).  Simmetrie Infrante. Ed. CLUP.

Chapeau F., Chauvet G. (1992). Stable, Oscillatory, and Chaotic regimes in the dynamics of small neural networks with delay.  Neural Networks, Vol. 5.

Dimensions and Entropies in Chaotic Systems. (1985). G. Mayer-Kress Springer- Verlag.

Degn H, Holden A.H., Olsen L.F. (1987). Chaos in Biological Systems.  NATO ASI Series, Vol. 138.

Edelman G.M. (1988).  Topobiology.  Ed. Basic Books.

Edelman G.M. (1991).  Il Presente Ricordato. Ed. Rizzoli.

Elbert T., Ray W.  et all. (1994). Chos and Physiology: Deterministic Chaos in   Excitable Cell Assemblies.  Physiological Reviews.

Grassberger P., Procaccia I. (1983). Measuring The Strangeness of Strange Attractors.  Physica 9D, 198-208. 

Haken H. (1987).  Information Compression in Biological Systems. Biol. Cybern. 56, 11-17.

Handbook of Physiology. (1987) Vol. 5, American Physiological Society.

Kaneko K. (1994). Relevance of Dynamic Clustering to Biological  Networks.  Physica D 75.

Lopes da Silva F. (1991). Neural mechanism underlying brain waves: from neural membranes to networks. Electroencephalography and clinical  Neurophysiology, 79: 81-93.

Molle M. , Marshall  L. et all. (1995). Dimensional complexity of the EEG  indicates a right fronto-cortical locus of attentional control.  Journal of Psycophysiology, 9.

Ott E. (1994).  Chaos in Dynamical Systems.  Cambridge University Press.

Pessa E.  Stabilità ed Auto-Organizzazione.  Ed. Veschi.

Pessa E. (1993).  Reti Neurali e Procssi Cognitivi. Armando  Ed.

Pratap R., Nampoori V.P.N. at all. (1988). Invariant Characterization of  Neural Systems.  Intern J. Neuroscience, Vol. 39.

Prigogine, Y., Stengers, I. (1989). Tra il Tempo e l'Eternità. Boringhieri

Pritchard W.S., Duke D.W. (1992). Measuring Chaos in the Brain.  Intern. J. Neuroscience, Vol. 67.

Rapp E.P., Zimmerman I.D. et all. (1985). Experimental Studies of Chaotic NeuralBehavior: Cellular Activity and Electroencephalographic Signals. In Lecture Notes in Biomathematics,  Springer Verlag.

Ravelli F., Antolini R. (1992). Complex Dynamics Underlying the Human  Electrocardiogram.   Biol. Cybern.. 67.

Ray W. et all. (1991). EEG and Chaos: Dimensional Estimation of Sensory and Hypnotic Processes.  In: Measuring Chaos in the Human Brain,   Ed. Duke D. & Pritchard W., World Scientific.

Rumelhart D.E., McClelland J.L. (1986). Parallel Distribuited Processing.   The MIT Press.

Scarda C.A., Freeman W. J. (1987). How brain make chaos in order to make sense of  the world. Behavioral and Brain Science, 10: 161-195.

Wright J.J. (1990). Reticular Activation and the Dynamics of Neuronal Networks.  Biol. Cybern. 62.