Gedächtnisstrukturen

Gedächtnisstrukturen in Neuronengeflechten

Betrachten wir Gedächtnisstrukturen in neuronalen Softwaresystemen, haben wir es vor allem mit der Kunst des geordneten Vergessens zu tun. Einfaches Speichern von Daten bringt einem neuronalen System kaum oder gar keinen Informationsgewinn. Die Frage ist weniger: Was müssen wir uns merken? Sie lautet vielmehr: Was müssen wir wann und wie vergessen?

Neuronale Gedächtnisstrukturen sind in der Regel keine exakten Speicher. In diesem Punkt ähneln sie unserem Gedächtnis. Werden wir beispielsweise befragt, wie hoch die Lufttemperatur letzten Montag war, können wir diese Frage höchstwahrscheinlich nicht exakt beantworten. Wir können uns aber vielleicht erinnern, ob es wärmer oder kälter war als heute.

Die Techniken, die bei der Implementierung neuronaler Gedächtnisstrukturen eingesetzt werden, sind vielen Anhängern von technischer Analyse und technischem Trading bestens vertraut. Denn viele von ihnen setzen so genannte Gleitende Durchschnitte bei der Analyse von Zeitreihen und Charts ein. Den wenigsten Anwendern ist dabei allerdings klar, dass ein Gleitender Durchschnitt - ganz gleich, wie er berechnet wird - eine Gedächtnisstruktur darstellt. Meist wird dieses mathematische Hilfsmittel lediglich als Filter eingesetzt, um eine grosse Zahl von Informationen sinnvoll zu verallgemeinern. Sollten wir beispielsweise die Menge der natürlichen Zahlen zwischen 1 und 10 möglichst genau in nur einer einzigen Zahl beschreiben, bietet sich hierfür der Durchschnitt dieser Zahlen an:

Der Durchschnitt gibt das Zentrum des Bereiches an, in dem sich die einzelnen Elemente der Menge bewegen. Bei einem Gleitenden Durchschnitt wird eine Gesamtzeitreihe in Zeitfenster der Länge m zerlegt. Dieses Zeitfenster wird dann schrittweise verschoben, so dass man für jeden Punkt n der Zeitreihe mit n >= m einen Durchschnittswert der letzten m Datenpunkte erhält. Der Parameter m ist die Laufweite des Gleitenden Durchschnitts.

Wir erhalten eine Reihe von Werten, die für jeden Tag n mit n >= m das Zentrum des Bereichs angibt, in dem sich die jeweils letzten m Datenpunkte der Originalzeitreihe bewegt haben. Somit können wir uns an jedem Tag n an den ungefähren Bereich der letzten m Datenpunkte erinnern. Die Durchschnittswerte ergeben eine neue Zeitreihe, die zusammen mit der originalen Zeitreihe in einem Koordinatensystem dargestellt werden kann (s. Bild 1).

Da bei diesem Verfahren ein festes Fenster über die Zeitreihe verschoben wird, spielen Datenpunkte, die länger als m Schritte zurückliegen, für die Berechnung keine Rolle mehr. Sie fallen gewissermassen aus dem Erinnerungshorizont. Die Laufweite m des Gleitenden Durchschnitts kann daher auch als Erinnerungshorizont (Memory Depth) betrachtet werden.

Ein solcher einfacher gleitender Durchschnitt (Simple Moving Average = SMA) hat mehrere Nachteile. Erstens liefert er erst ab dem Datenpunkt m gültige Werte; zweitens ist der Erinnerungshorizont starr. Datenpunkte, die aus dem Erinnerungshorizont herausfallen, spielen keinerlei Rolle mehr. Sie sind vergessen. Darüber hinaus benötigt ein System, das nach diesem Modell vorgeht, Speicherplatz für die m letzten Datenpunkte. Dieser Umstand kann schnell zum Problem werden.

Bild 1: Die dargestellten Kurven verdeutlichen die unterschiedlichen Charakteristika der einzelnen Verfahren. Die Gedächtnis-Typen weisen unterschiedliches Reaktionsverhalten gegenüber starken und schwachen Eindrücken auf. Man kann sehen, dass ein Simple Memory auf Basis eines Simple Moving Average (SMA) wenig Informationsgewinn bringt, da das Erinnerungsfenster starr ist. Gamma und Adaptive Memory hingegen weisen neben dem Kurzzeit-Gedächtniseffekt auch Elemente von längerfristigem Gedächtnis auf. So genügt ein Blick auf die Anfangspunkte der grünen und roten Kurve, um zu wissen, dass der Preis in der nicht dargestellten Vergangenheit höher gewesen sein muss, da die Memory-Kurven deutlich über der Preiskurve liegen.

Unser Kurzzeitgedächtnis funktioniert flexibler. Der Erinnerungshorizont ist in gewissen Grenzen variabel. Starke Eindrücke spielen über eine längere Zeit eine Rolle, während schwächere Eindrücke schneller an Relevanz verlieren. Ein solches Verhalten lässt sich mit einer alternativen Variante der Berechnung eines Gleitenden Durchschnitts nachvollziehen.

Ein Exponentieller Gleitender Durchschnitt (Exponential Moving Average = EMA) benötigt nur Speicher für einen einzigen Wert und liefert bereits ab n = 2 gültige Werte. Für einen Erinnerungshorizont P werden zwei Exponenten berechnet.

Mit Hilfe dieser Exponenten kann nun für jeden Datenpunkt n > 1 ein gültiger Wert für den Exponentiellen Gleitenden Durchschnitt berechnet werden.

Das so genannte Neuronale Gamma Memory verwendet genau diesen Algorithmus. Die Formel bewirkt, dass länger als P zurückliegende Ereignisse grosser Bedeutung länger erinnert werden. Ihre Bedeutung nimmt langsamer ab, und sie verschwinden erst später aus dem Erinnerungshorizont. Gamma Memory kann in einem Neuronengeflecht mit nur zwei Neuronen und einer Synapse gebildet werden, wobei die Synapse ein Signal für die Zeit zwischen zwei Eindrücken speichern muss (s. Bild 2).

Bild 2: Obiges Bild zeigt den Informationsfluss in einer Gamma-Memory-Struktur zwischen zwei Neuronen. Das aktuelle Signal von aussen (x) wird abgeschwächt und mit dem ebenfalls abgeschwächten Wert der Memory-Zelle (m) ergänzt. Das resultierende Signal (s) wird als gewichteter Reiz (y) an das Neuron B weitergeleitet. Ausserdem speichert die Synapse den Wert von s in der Memory-Zelle (m). Das gewichtete Signal enthält somit Information über den aktuellen Reiz und das Reizniveau der Vergangenheit.

Betrachtet man den Informationsfluss im Gamma Memory (s. Bild 2), wird deutlich, dass es einen wesentlichen Unterschied gibt zwischen Gedächtnisstrukturen unseres Gehirns und denen eines künstlichen Neuronengeflechts. Das Gamma Memory kennt nur feste Zeitschritte - von einem Reiz zum nächsten. Bei der Analyse von Zeitreihen ist dies unproblematisch, da hier in der Regel zwei Datenpunkte in der Zeitreihe den gleichen zeitlichen Abstand haben. In unserem Gehirn spielt der Faktor Zeit eine bedeutendere Rolle. In Abhängigkeit von der Zeit schwächt sich das gespeicherte Signal in der Memory-Zelle (m) ab. Ohne Folgereize, die m erneut stimulieren, sinkt das Energie-Niveau in m. Fällt es bis auf Null, haben wir den Reiz vergessen.

Bei der Analyse von Zeitreihen fester Zeitschritte mit Hilfe von neuronalen Softwarebausteinen kann man demnach mit Gamma-Strukturen relativ gut Gedächtnis auf unterschiedlichen Zeithorizonten emulieren.

Das Gamma-Memory macht deutlich, dass sich Algorithmen für die Implementierung von Gedächtnisstrukturen auf die Formeln für die Berechnung gleitender Durchschnitte reduzieren lassen, solange die zeitlichen Abstände zwischen zwei Reizen gleich bleiben.

Entsprechend lassen sich in Neuronengeflechten auch Gedächtnisstrukturen etablieren, die Eigenschaften von Adaptiven Gleitenden Durchschnitten (Adaptive Moving Average = AMA) oder Gleitenden Regressionpunkten (Moving Linear Regression = MLR) aufweisen. Für die Verwendung in unseren Analyse-Systemen haben wir spezielle Memory-Strukturen entwickelt, die auf Regressionsverfahren beruhen und diese mit Merkmalen des Adaptive Memory kombinieren. Das Ivorix Adaptive Regression Memory implementiert so eine Mischform aus Lang- und Kurzzeitgedächtnis mit vorausschauenden Effekten. Es ermöglicht einem neuronalen Softwarebaustein intelligente Reaktionen auf Basis kürzer oder auch länger zurückliegender Erfahrungen.

Bemühen wir nochmals ein Beispiel aus dem Leben: Wenn sich der Himmel an einem Sommertag plötzlich verdunkelt, vermuten wir, dass es bald ein Gewitter geben wird. Gamma Memory kann nur die Information bereitstellen, dass es momentan dunkler ist als während der letzten Stunden. Das Ivorix Adaptive Regression Memory kann in der gleichen Situation ein Signal liefern, das warnt: Es wird bald regnen.

Genau hier wird der Unterschied deutlich zwischen dem Abruf von gespeicherten Informationen und tatsächlicher künstlicher Intelligenz. Der blosse Strom von Reizen durch das Neuronengeflecht bekommt plötzlich eine Bedeutung, die es dem neuronalen System ermöglicht, in einer sinnvollen Art zu reagieren.