Künstliche Intelligenz
This site is best viewed in a browser that conforms to web standards.
"Eine exakte Lösung für eine Näherung
ist nicht das gleiche
wie eine Näherung für ein exaktes Problem"
(Ian Stewart)
Die weitaus meisten Systeme "künstlicher Intelligenz" sind heute damit befasst, Lösungen und Lösungswege zu wiederholen, die ihnen zuvor von einem Menschen beigebracht wurden. Ein guter Lehrer bringt seinen Schülern jedoch bei, wie man lernt. Er bereitet ihnen eine Umgebung, in der sie ihre Fähigkeiten und speziellen Talente bestmöglich ausbilden und nutzen können und fördert diese. Betrachtet man den Status Quo im Bereich der neuronalen KI-Anwendungen, stellt sich heraus, dass der Mensch als Lehrer dieser Systeme nicht eben eine gute Figur macht.
Haben Sie sich schon einmal gefragt, warum Computer (noch) nicht denken können? Es gibt eine - freilich provokante - Antwort auf diese Frage: Weil wir es (noch) nicht zulassen.
Seit über 15 Jahren werden neuronale Netze in veschiedensten Anwendungsbreichen - von der Schrifterkennung bis zur Zeitreihenanalyse - eingesetzt. Von den Erfolgen in der Schrifterkennung und anderen Klassifizierungsproblemen ermutigt, wurden die entwickelten Trainingsalgorithmen in nahezu unveränderter Form in andere Anwendungsbereiche überführt - mit zum Teil fragwürdigem Erfolg.
Während es bei der Schrifterkennung darum geht, sichere Klassifizierungen vorzunehmen und Muster wiederzuerkennen, findet man beim Einsatz in der Regelungstechnik oder auch bei Finanzanalysen eine gänzlich andere Problematik vor.
Betrachten wir zunächst ein Schrifterkennungsproblem. Hier muss von einer Informationsart (Bild) in eine andere Informationsart (bspw. ein bestimmter Buchstabe) übersetzt werden. Ein in gewissen Grenzen unscharfes Erinnerungsvermögen spielt hierbei die grösste Rolle. Im Trainingsprozess wird dem Netzwerk in Form eines Bildes ein Reiz sowie die gewünschte Antwort präsentiert - beispielsweise: "Das war ein E".
Betrachtet man dagegen Regelungs- oder Prognoseprobleme, stehen andere wünschenswerte Eigenschaften im Vordergrund. Das Mapping von einem bestimmten Input zu einem bestimmten Output muss hier vom neuronalen Netz in Form eines mathematischen Modells erlernt werden, wobei der äussere Reiz, formuliert in einem Vektor reeller Zahlen (Inputs) eine Reaktion hervorruft, die ebenfalls in einer einzelnen reellen Zahl oder einem Vektor reeller Zahlen (Outputs) besteht. Diesem grundlegenden Unterschied wird Rechnung getragen, indem eine andere Topologie für das Netz gewählt wird, die geeignet ist, eine solche Umsetzung als kontinuierliche Funktion darzustellen. Im übrigen jedoch kommen sehr ähnliche Trainingsmethoden zum Einsatz. Dem Netzwerk werden Reiz und gewünschter Output präsentiert, und der aufgetretene Fehler dient als Basis einer Justierung der inneren Netzwerkparameter. Das Training zielt also darauf ab, eine bestmögliche Annäherung an eine vom Lehrer vorgegebene Lösung zu erreichen.
Das elektronische Miniaturgehirn wird dazu gezwungen, etwas auswendig zu lernen, um möglichst genau auf eine bestimmte Eingabe mit der erwünschten Ausgabe zu reagieren. Im Nachhinein werden dann Regulierungsalgorithmen eingesetzt, um dieses übergenaue Memorieren (Overfitting) zu bekämpfen: ein zumindest fragwürdiges Vorgehen.
Ist Informationsspeicherung gleich Intelligenz? - Verstehen wir Intelligenz als die Fähigkeit, Kenntnisse und Wissen zu erwerben und zielgerichtet in bekannter und unbekannter Umgebung zur Lösung eines Problems einsetzen zu können, wird schnell klar, dass beim Training neuronaler Netze nur auf einen Aspekt Wert gelegt wird: Die Fähigkeit, Kenntnisse zu erwerben. Bei der Überführung in lebendiges Wissen wird es hingegen schon schwierig. Und ganz problematisch stellt sich die Situation dar, wenn wir neuronale Systeme auf Eigenschaften wie Kreativität und Flexibilität hin untersuchen.
In den neuronalen Trainingsalgorithmen spielt die Minimierung des Fehlers zwischen dem gewünschten und dem tatsächlichen Output des Netzes eine zentrale Rolle. Zwei Annahmen werden hierbei vom menschlichen "Lehrer" getroffen:
Beide Annahmen sind jedoch - bei näherer Betrachtung - sehr angreifbar.
Betrachten wir die Problematik an einem Beispiel aus dem Finanzbereich: Ein neuronales Netz soll per Prognose den Handel mit einem Wertpapier unterstützen. Als Vehikel dazu soll es den täglichen Return (Prozentabweichung) des Papiers auf den nächsten Handelstag prognostizieren. Die übliche Herangehensweise verwendet die tatsächliche Prozentabweichung zum Folgetag als Trainingsbeispiel - in der Hoffnung, dass sich innerhalb des Neuronengeflechts durch fortlaufende schrittweise Parameteranpassung ein stabiles Mapping vom (bekannten) Input zum (unbekannten) Output herausbildet. Eine solche eindeutige Funktion existiert, wenn der nächste Punkt einer Sinuskurve prognostiziert werden soll. Sie existiert jedoch mit hoher Wahrscheinlichkeit nicht, wenn das zu prognostizierende Target Resultat eines teilweise chaotischen und/oder stark verrauschten komplexen Basisprozesses ist (wie bei Finanzdaten häufig der Fall).
Für Trainingsbeispiele, die nicht in eine Annäherungsfunktion passen, behilft sich das Netz. Bereiche des Neuronengeflechts, die nicht zur generellen Annäherungsfunktion beitragen, speichern die Antwort auf das nicht hinreichend genau abbildbare Beispiel. Diese Bereiche sind dann auf dieses eine oder wenige Samples überspezialisiert (overfitting). Damit erzielt ein solches Netz in der Trainingsumgebung gute Resultate. Das auswendig gelernte Beispiel hilft jedoch nicht bei der Bewährung an nicht gelernten Samples - die eigentliche Aufgabe eines solchen Prognose-Netzwerks. Im Gegenteil: Da in einem künstlichen Neuronengeflecht - anders als in unserem Gehirn - ein Aussenreiz durch alle Regionen des Netzwerkes fliesst, können diese überspezialisierten Regionen später im praktischen Einsatz Störungen hervorrufen und zu grösseren Fehlern führen.
Übergenaue Imitation führt zu Überspezialisierung. Dies liesse sich verhindern, indem Trainingsszenarien und -algorithmen verwendet werden, die nicht auf Imitation abzielen, indem sie eine und nur eine Lösung als Beispiel präsentieren.
Ein Ausweg ist die Formulierung eines Lösungsraumes, der einen hinreichend grossen Spielraum für verschiedene Lösungsansätze bietet. Hier wird davon ausgegangen, dass wir die optimale Lösung für ein bestimmtes Problem nicht kennen. Am Beispiel des 1-Tages-Forecasts der Bewegung einer Aktie lässt sich dies verdeutlichen: Wir verfolgen ja mit diesem Forecast ein Ziel, nämlich profitabel zu handeln. Formulieren wir das Problem direkt so, wie es sich uns stellt: Das Netzwerk soll Empfehlungen für den Handel aussprechen, die eine stabile monatliche Rendite über dem Geldmarktsatz gewährleistet. Der reine 1-Tages-Forecast ist nun nur noch ein - vielleicht sogar kleiner - Teil der Problemlösung; und es führen viele verschiedene Lösungsansätze zum Ziel.
Die Herangehensweise der Fehlerminimierung ist noch aus einem anderen Grund problematisch. Betrachten wir folgende Grafik:
Bild 1: Das Bild zeigt drei Datenpunkte einer Zeitreihe (durchgezogene Linie) sowie die an den jeweiligen Zeitpunkten ausgegebenen Prognosen zweier neuronaler Modelle (gestrichelte und gepunktete Linie). Bestimmt man den Prognose-Fehler der Modelle, ergibt sich für beide Modelle exakt der gleiche Fehler: An jedem Datenpunkt ist die Abweichung beider Modell-Prognosen von der tatsächlichen Beobachtung gleich gross. Dennoch ist das Modell 1 offensichtlich genauer, denn es trifft genau den Kurvenverlauf und weicht lediglich im Niveau von der Beobachtung ab. Herkömmliche Trainingsalgorithmen bewerten beide Modelle gleich.
Das Beispiel zeigt sehr deutlich, dass eine solche Fehlerbestimmung zwar mathematisch korrekt ist, jedoch häufig an den Bedürfnissen des Anwenders vorbeigeht. Stellen wir uns vor, dass es sich bei der dargestellten Reihe um den Kursverlauf einer Aktie handelt und wir auf Basis der Prognosen handeln wollen. Folgen wir den Prognosen des Modells 2, verlieren wir an allen Tagen. Obgleich der Fehler von Modell 1 gleich gross ist, würden wir hingegen mit den Prognosen dieses Modells gewinnen.
So stehen ganz am Beginn des Lernprozesses in den herkömmlichen Anwendungsformen neuronaler Netze zumindest zwei irrige Annahmen. Man kann es provokant formulieren: Das Problem ist, dass wir den Neuronengeflechten weniger zutrauen, als sie können. Wir formulieren die Probleme nicht in der Komplexität, die sie tatsächlich haben (z. B. Handelstrategie statt Forecast).
Beim menschlichen Lernen schliesst Förderung Forderung mit ein. Das ist zunächst vor allem eine Herausforderung für den Lehrer, denn er muss ein geeignetes Lernumfeld bereiten und intelligente Lösungen zulassen; sonst können sie sich auch nicht entwickeln.
Eine ganz ähnliche Problematik finden wir vor beim Einsatz evolutionärer Ansätze im Umfeld neuronaler Netzwerke. Genetische Algorithmen werden hier vor allem eingesetzt, um optimale Topologien für die Netzwerke zu finden. Bei der Bewertung der Fitness einer bestimmten Topologie werden aber die gleichen angreifbaren Fehlerbetrachtungen herangezogen wie beim Trainingsprozess, mit dem Ergebnis, dass nicht Intelligenz sich durchsetzt sondern der beste Imitator des Lehrers.
Gerade in evolutionären Lernumgebungen führen reine Fehlerbetrachtungen nur noch tiefer in die Overfitting-Falle. Wenn wir von Auslese und Spezialisierung in einem an evolutionäre Prinzipien angelehnten Lernumfeld die Beförderung von künstlicher Intelligenz erwarten, müssen wir zunächst unsere Intelligenz investieren und Kriterien für die Bewertung aufstellen, die kreative und generalisierende Ansätze belohnen und befördern.
Den derzeit etablierten Technologien im Bereich der neuronalen Netze fehlt es an Mut. In den künstlichen Neuronengeflechten stecken viel mehr Möglichkeiten, als ihnen bisher entlockt worden sind. Der Mensch - Entwickler und Lehrer der Netze - behindert die optimale Entfaltung des Potentials dieser Technologie. Pikanterweise kämpfen nicht nur die Wissenschaftler und Entwickler mit diesen Problemen, sondern auch viele potentielle Anwender...
Die Ursache sind archetypische Verhaltensmuster. Da ist die Angst vor dem Verlust der Kontrolle, die Angst vor dem künstlichen "Anderen", das Probleme ganz anders und womöglich viel effizienter löst als wir. Auch Überlegenheitsdenken spielt eine Rolle: Das Geschöpf darf den Schöpfer nicht überflügeln. Eine Lösung, die wir nicht gänzlich verstehen, ist keine brauchbare Lösung, auch wenn Sie alle übrigen Anforderungen erfüllt.
Ist es die Angst vor dem HAL-Phänomen(1, die dazu führt, dass wir schon im Ansatz des Einsatzes von KI-fähigen Systemen erfolgreich die Herausbildung von KI behindern?
Im Mittelpunkt der Forschung und Produktentwicklung von Ivorix steht evolving software: Programme und Programmbausteine, die in der Lage sind, zu lernen und sich an veränderliche Umgebungsbedingungen anzupassen. Um eine solche Intelligenz entwickeln zu können, müssen die Applikationen ihre Umgebung wahrnehmen und verstehen. Sie müssen Gedächtnisstrukturen und Abstraktionsvermögen ausbilden, um zwischen tauglichen und untauglichen Lösungen zu unterscheiden.
Unsere Methodik im Umfeld der neuronalen Netze hat zum Ziel, das Unbekannte zuzulassen. Um die Entwicklung tatsächlicher KI zu ermöglichen und zu befördern, werden die Probleme so formuliert, wie sie sich in der praktischen Anwendung tatsächlich stellen. Dabei werden lediglich unverzichtbare Eigenschaften der gewünschten Lösung beschrieben, der Weg zur Lösung des Problems - wenn überhaupt bekannt - jedoch nicht.
Zu den technologischen Erweiterungen gehören tauglichere Fehlerbestimmungen, vor allem aber modfizierte Trainingsszenarien, die dem Netzwerk allgemein taugliche Lösungen abverlangen. Zum Teil erstmalig praktisch einsetzbar gemachte Regularisierungsmethoden dienen lediglich der "sanften Richtungsweisung". Eine konsequent auf die Beförderung gut generalisierender neuronaler Modelle ausgerichtete Evolutionsumgebung macht blossen Imitatoren das "Leben" schwer.
In diesem Umfeld können sich neuronale Softwarebausteine entwickeln, die uns nicht lediglich Gewesenes wiederholen, sondern Lösungen und Annäherungen an Lösungen präsentieren für diverse Probleme, die wir bislang für nicht oder kaum lösbar hielten.
Benjamin Stein - Mitbegründer & Chief Technology Officer Ivorix