Pulsaktivierte Neuronen

Pulsaktivierte Neuronen und Neuronengeflechte

Neuronen, wie Sie in den meisten Implementierungen von künstlichen neuronalen Netzen verwendet werden, wandeln einen Eingangsreiz (Input oder Stimulus) mittels einer so genannten Aktivierungsfunktion in ein Ausgabesignal (Output oder Response) um. Das Ausgabesignal wird dann über eine Synapse (Link) an das folgende Neuron weitergeleitet, wobei es durch ein Gewicht (w) verstärkt oder abgeschwächt und auch umgekehrt werden kann. Die Aktivierungsfunktionen werden so gewählt, dass als Eingangsreiz reelle Zahlen verwendet werden können und das vom Neuron emittierte Signal ebenfalls eine reelle Zahl ist. Dabei stellt die Aktivierungsfunktion zumeist sicher, dass sich das emittierte Signal in einem wohldefinierten Bereich befindet.

Ein Beispiel hierfür ist die häufig eingesetzte hyperbolische Tangens-Aktivierungsfunktion y=a*tanh(b*x), wobei x das Eingangssignal (Stimulus) darstellt. Die Konstanten a und b definieren den möglichen Ausgabebereich (a) sowie den Steigungswinkel (b).

Bild 1: Hyperbolische Tangens-Aktivierungsfunktion: Die Konstanten a und b definieren den möglichen Ausgabebereich (a) sowie den Steigungswinkel (b). Der Stimulus wird vom Neuron nichtlinear transformiert, eine wesentliche Voraussetzung für die Lösung diverser komplexerer Probleme.

Diese Arten von Aktivierungsfunktionen transformieren den Eingangsreiz in der Regel nichtlinear in ein Ausgabesignal. Ein reelles Eingangssignal wie zum Beispiel eine Zeitreihe kann direkt in das Netz geleitet werden, solange es sich in einem für die Aktivierungsfunktion sinnvollen Bereich bewegt. Erreicht wird dies durch Transformationen und Normalisierung der Zeitreihen. So lässt sich zum Beispiel die Zeitreihe der Close-Kurse eines Wertpapiers zunächst durch die Tag-zu-Tag-Prozentabweichungen ausdrücken; der so erzeugte Oszillator kann dann normalisiert werden, so dass sich alle Werte innerhalb der Zeitreihe in einem Bereich zwischen +1.8 und -1.8 bewegen, ein Optimum bei der Verwendung von Neuronen mit der tanh-Aktivierungsfunktion mit den Konstanten a=1.7159 und b=2/3.

Es ist offensichtlich, dass solche künstlichen Neuronen die Aktivitäten in einem organischen Gehirn nur unzureichend abbilden. Ein Neuron in unserem Gehirn multipliziert nicht und kann auch keine tanh-Funktion berechnen. Eine neuere Art von künstlichen Neuronen kommt der Funktionsweise biologischer Neuronen deutlich näher: Pulsaktivierte oder auch Spiking Neuronen.

Während Neuronen mit kontinuierlichen Aktivierunsfunktionen ein reelles Eingangssignal in einen reelles Ausgangssignal transformieren und somit in lediglich einer Dimension agieren, handelt es sich bei pulsaktivierten Neuronen um ereignisgesteuerte Transformatoren. Wenn der Stimulus einen bestimmten Schwellwert überschreitet, löst das Neuron ein Ereignis aus: Ein so genannter Spike wird emittiert. Dieses Ereignis hat mehrere Auswirkungen.

1. Das Neuron emittiert mit einer optionalen zeitlichen Verzögerung ein Ausgabesignal (Postsynaptic Potential, PSP), das über die Synapse an folgende Neuronen weitergeleitet wird. Das PSP steigt zunächst an, erreicht einen Höchstwert und konvergiert schliesslich gegen Null. Das Ereignis hat somit eine zeitabhängige, andauernde Auswirkung auf die folgenden Neuronen.
2. Das Neuron setzt dem Eingangsreiz bei einem Spike für eine gewisse Zeitspanne einen Widerstand entgegen, um einen sofortigen erneuten Spike zu verhindern. Somit hat das Spiking (auch "Feuern") des Neurons zusätzlich einen zeitabhängigen Einfluss auf die Reizempfänglichkeit des Neurons selbst.

Bild 2: Das Reiz-Reaktionsmuster eines Spiking Neurons unterscheidet sich wesentlich von dem eines Neurons mit einer sigmoidalen Aktivierungsfunktion, wie sie in Bild 1 dargestellt ist. Ob ein Signal (PSP) ausgegeben wird, hängt davon ab, ob das Neuron zuvor einen Spike generiert hat. Die Höhe des ausgegebenen Potentials wird durch verschiedene Zeitkonstanten sowie die seit dem Zeitpunkt des letzten Spikes verstrichene Zeit bestimmt. Entsprechend liefert ein Spiking Neuron - anders als Sigmoidal-Neuronen - keinen kontinuierlichen Output.

Es wird deutlich, dass pulsaktivierte Neuronen im Gegensatz zu den anfangs beschriebenen Neuronen in zwei Dimensionen operieren: Sie transformieren einen Reiz in Ereignisse (Spikes) und Ereignisreaktionen (PSPs), wobei die Zeit eine zentrale Rolle spielt. Neuronen mit den eingangs beschriebenen Aktivierungsfunktionen liefern ein permanentes Ausgangssignal, das jeweils direkt und mathematisch korrekt an das Eingangssignal gekoppelt ist. Ein pulsaktiviertes Neuron reagiert anders. Es liefert lediglich dann ein Ausgangssignal (PSP), wenn zuvor ein bestimmtes Reizniveau erreicht und damit ein Spike ausgelöst wurde. Der Level des Ausgangssignals ist dann abhängig vom zeitlichen Abstand zum Ereignis des letzten Spikes.

Betrachten wir zum einfacheren Verständnis zunächst ein einzelnes Neuron. Für eine mathematische Beschreibung des gewünschten Verhaltens müssen zwei Funktionen herangezogen werden.

1. Response-Kernel
   Als Reaktion auf einen Spike ausgegebenes postsynaptisches Potential (PSP):
   
   Für die Berechnung des Response-Kernels wird die Zeitspanne (s) seit dem letzten Spike - abzüglich einer optionalen synaptischen Verzögerung - benötigt. Die Konstante definiert, über welche Zeitspanne das PSP emittiert wird. Je grösser ist, desto länger wirkt sich ein Spike in Form eines PSP auf folgende Neuronen aus. Die Funktion H(s) ist eine Step-Funktion: Sie ist 1 für s>0, andernfalls 0. Somit generiert das Neuron nur dann ein PSP als Ausgangssignal, wenn
   • in der Vergangenheit ein Spike aufgetreten ist und
   • die seit dem letzten Spike verstrichene Zeit grösser als die optionale synaptische Verzögerung ist.
   Ein Beispiel für das Aussehen eines PSP nach diesem Response-Kernel mit = 50 zeigt Bild 2.
2. Resistance-Kernel
   Als Reaktion auf einen Spike dem Eingangsreiz entgegengesetzer Widerstand des Neurons:
   
   Auch hier wird für die Berechnung die Zeitspanne seit dem letzten generierten Spike (s) benötigt. Die Schwellwert-Konstante gibt an, bei welchem maximalen Ladungspotential des Neurons ein Spike generiert wird. Die Zeit-Konstante steuert, über welche Zeitspanne das Neuron nach einem Spike keinen weiteren Spike generieren kann. Auch in dieser Formel steht H(s) für eine Step-Funktion, deren Wert für s>0 gleich 1 ist, andernfalls 0.
   Bild 2 zeigt die Auswirkung des Resistance-Kernels auf das Ladungspotential des Neurons. Unmittelbar nach einem Spike wird das Potential auf 0 zurückgesetzt und sinkt für eine gewisse Zeit auf ein negatives Niveau (Ruhepotential).

Bild 3: Ein Spiking Neuron kann die Emittierung eines PSP optional verzögern. Die Verzögerungszeit kann konstant oder als justierbare und damit lernbare Grösse implementiert werden. In Abhängigkeit von steigt das PSP mit einer zeitlichen Verzögerung an, ist im übrigen jedoch mit einem PSP bei = 0 identisch. Da es sich um eine Verzögerungsvariable handelt, muss positiv sein.

Das PSP eines pulsaktivierten Neurons wird in der Regel über eine Synapse (Link) zu einem Folgeneuron transportiert. Dabei wird das PSP gewichtet. Das Gewicht (in diesem Fall auch als synaptische Effizienz bezeichnet) vergrössert oder verringert die Amplitude des ausgegebenen PSP, nicht jedoch dessen Form. Bild 4 zeigt die Auswirkung positiver und negativer Gewichte auf ein PSP.

Bild 4: Das vom Neuron emittierte PSP wird von der Synapse verstärkt oder gedämpft. Das Gewicht (auch synaptische Effizienz) verändert dabei lediglich die Amplitude des PSP, nicht jedoch dessen Dauer oder zeitlichen Beginn. Ein positives Gewicht w>0 erzeugt ein anregendes PSP (Excitatory PSP = EPSP). Ein negatives Gewicht hingegen emittiert ein dämpfendes PSP (Inhibitory PSP = IPSP). Es hat die gleiche Form wie das dargestellte EPSP, ist jedoch um die Null-Achse nach unten gespiegelt.

Während das synaptische Gewicht lediglich die Amplitude des PSP verändert, hat die Variable Einfluss auf die Länge des emittierten PSP, wie in Bild 5 dargestellt. Je grösser gewählt wird, desto später erreicht das PSP seinen Höchstwert und desto länger bewegt es sich in einem mathematisch relevanten Bereich > 0. (Mathematisch betrachtet impliziert die für den Response-Kernel vorgeschlagene Funktion, dass die Auswirkung eines Spikes mit der Zeit zwar gegen 0 konvergiert, jedoch nie 0 wird. Allerdings bewegt sich die abklingende Reaktion nach einer Zeitspanne wenig grösser als in einem vernachlässigbaren Bereich. Das Intervall muss bei der Implementierung so gewählt werden, dass es grösser ist als die Zeitspanne eines abzubildenden Phänomens.

Bild 5: Das Response-Intervall wirkt sich auf die Dauer des emittierten PSP aus. Je grösser gewählt wird, desto länger generiert das Neuron nach einem Spike ein Reaktionssignal, das am Folgeneuron einen Spike auslösen könnte. Je nach Problemstellung, die es zu lösen gilt, muss daher so gewählt werden, dass am Folgeneuron noch ein Spike auftreten kann (Überschreiten des Schwellwertes ). Ist das zeitliche Verhalten des Eingangssignals unbekannt, so dass nicht mit Bestimmtheit gewählt werden kann, lassen sich in einem Netz von Spiking Neuronen so genannte Referenz-Neuronen integrieren. Diese emittieren in gleichmässigen auf abgestimmten Abständen unabhängig vom Eingangssignal PSPs.

Mit Hilfe des Response- und des Resistance-Kernels lässt sich nun der Informationsfluss zwischen pulsaktivierten Neuronen beschreiben. Wir verwenden hierfür eine Subscript-Schreibweise, um die Zugehörigkeit einer Variable zu einem bestimmten Neuron zu kennzeichnen. Zum einfacheren Verständnis sollen zunächst lediglich zwei durch eine Synapse verbundene Neuronen betrachtet werden, wobei das Neuron i als Source- und das Neuron j als Ziel-Neuron betrachtet wird. Entsprechend sind die Variablen zu interpretieren. So steht für den Zeitpunkt des letzten an Neuron i aufgetretenen Spike und für die Emissionsverzögerung an Neuron j. Die Variable schliesslich bezeichnet das Gewicht (Effizienz) einer Synapse, die Neuron i mit Neuron j verbindet.

Die Ladung an Neuron j zum Zeitpunkt t ergibt sich aus dem Response-Kernel auf die Spikes an Neuron i sowie dem Resistance-Kernel als Reaktion auf Spikes am Neuron j.

In den meisten Fällen ist das Neuron j mit mehreren Neuronen i verbunden, die über Synapsen Spike-Reaktionen an das Neuron j weiterleiten. In diesen Fällen ergibt sich die Ladung an Neuron i aus der Summe aller Spike-Reaktionen der Neuronen, die Neuron i direkt vorangehen. Bezeichnet man die Menge aller dieser direkten Vorgängerneuronen als , lässt sich formulieren:

In beiden Fällen kommt es zur Emission eines Spike an Neuron j bei .

Kritisiert man an den sigmoidalen Neuronen, dass ihre mathematischen Operationen weit entfernt von der tatsächlichen neuronalen Aktivität sind, stellt sich bei diesen noch komplexer wirkenden Formeln für pulsaktivierte Neuronen die Frage, ob hier das Problem nicht noch eher verstärkt ist. Ein genauerer Blick auf die erzeugten PSPs sowie den Resistance-Kernel macht jedoch deutlich, dass die exponentiellen Vorgänge die Ionen-Emissionen und elektrischen Weiterleitungen in einem organischen Neuronengeflecht wesentlich getreuer nachempfinden. Die entscheidende Annäherung an das natürliche Vorbild ist jedoch die unterschiedliche Interpretation des Eingangssignals als ein von Ereignissen getriebener zeitdynamischer Prozess.

Die praktische Anwendung hat gezeigt, dass Netzwerke pulsaktivierter Neuronen die gleiche Verarbeitungskraft besitzen wie sigmoidale Netzwerke - bei einer häufig geringeren Menge benötigter Neuronen. Bei aller theoretischen Nähe zum natürlichen Vorbild und der potentiellen Leistungsfähigkeit ergeben sich beim Einsatz pulsaktivierter Netzwerke jedoch auch Schwierigkeiten:

• Eine andere Art von Rezeptoren wird benötigt, oder aber das Eingangssignal muss durch ein geeignetes Preprocessing in Abfolgen von Spikes (Spike Trains) umgesetzt werden. Nicht alle Zeitreihen kontinuierlicher Inputs eignen sich für die Einspeisung in ein Netz pulsaktivierter Neuronen.
• Eine grössere Anzahl freier Parameter muss in einem Lernprozess justiert werden. Neben den Gewichten (w) sind die synaptischen Verzögerungen sowie die Streckungsfaktoren und Kandidaten für die Ermittlung in einem Lernprozess.
• Bilden pulsaktivierte Neuronen die Reaktionsschicht des Netzwerkes (Output Layer), erhält man statt eines kontinuierlichen reelen Outputs die Signalisierung eines bestimmten Reizzustandes. Der Einsatz von Hybrid-Netzen aus unterschiedlichen Neuronentypen kann hier Abhilfe schaffen, wobei jedoch die Komplexizität eines geeigneten Lernalgorithmus steigt.

Wir sehen dennoch auch und gerade bei der Analyse von Zeitreihen in pulsaktivierten Netzwerken ein enormes Potential. Die direkte Berücksichtigung der Dimension Zeit in der Codierung der Eingangssignale sowie bei der Verarbeitung löst bzw. entschärft viele Probleme der Analyse von Zeitreihen mittels sigmoidaler Netzwerke.

Wenn Sie weiterführende wissenschaftliche Dokumente zum Thema pulsaktivierter Neuronen und Netzwerke suchen, klicken Sie bitte hier. Eine Zusammenstellung der wichtigsten neueren wissenschaftlichen Beiträge zu diesem Thema finden Sie in "Pulsed Neural Networks" (Redaktion: Wolfgang Maas/Christopher M. Bishop), zu finden bei Amazon als Hardcover oder auch als Paperback.