Neuronale Netzwerke: Chaos zahlt sich aus
Jülich, 30. Juni 2021 – Das kreative Genie hat es schon immer gewusst: Chaos steigert das Denkvermögen. Zumindest auf der Ebene vernetzer Nervenzellen kann es tatsächlich nützlich sein. Das zeigt nun eine wissenschaftliche Arbeit des Forschungszentrums Jülich. Der neu entdeckte Mechanismus könnte außerdem dazu beitragen, künstliche neuronale Netzwerke zu beschleunigen, wie sie in Anwendungen der künstlichen Intelligenz und des maschinellen Lernens eingesetzt werden.
Christian Keup aus der Forschungsgruppe “Theory of multi-scale neuronal networks” von Prof. Moritz Helias am Institut für Neurowissenschaften und Medizin (INM-6) berichtet über die aktuellen Ergebnisse, die in der Fachzeitschrift Physical Review X erschienen sind.
Herr Keup, um welche neue Erkenntnis geht es hier?
Wir konnten zeigen, dass sich zuverlässige Informationsverarbeitung und Chaos nicht ausschließen. In bestimmten Fällen begünstigen sie sich sogar! Dieses Ergebnis ist überraschend, weil chaotische Systeme normalerweise als unzuverlässig gelten. Ein Beispiel ist das Wetter: Es ist sehr schwer, das Wetter für mehr als zwei Wochen vorherzusagen, aber machbar für ein paar Tage – diese Unzuverlässigkeit tritt also nur langfristig auf.
In neuronalen Netzen erweist sich das Chaos kurzfristig sogar als nützlich: Jede kleine Änderung des Ausgangszustands des Netzwerks wird dadurch verstärkt. Daher werden bei der Versorgung des Netzwerks mit sensorischen Eingaben auch alle Unterschiede zwischen ihnen verstärkt. Unsere Ergebnisse zeigen, dass stark chaotische neuronale Netzwerke besser geeignet sind als weniger chaotische Netzwerke, um beispielsweise bestimmte Muster in Klassen einzuordnen. Das ist erstaunlich, denn durch das Chaos werden nicht nur informative Änderungen, sondern auch unwichtige Änderungen enorm verstärkt.
Inwieferin sind die Ergebnisse für die Forschung und für die Praxis relevant?
Man weiß schon lange, dass biologische Neurone mit kurzen elektrischen Impulsen kommunizieren. Künstliche Neurone, die in Computeranwendungen verwendet werden, beispielsweise für das maschinelle Lernen, senden dagegen kontinuierliche Signale.
Unsere Ergebnisse zeigen, dass die gepulste biologische Kommunikation auf eine andere Art und Weise Chaos verursacht, die zu einer sehr kurzen Verarbeitungszeit führt, wie sie auch in biologischen Netzwerken zu beobachten ist. Eine Reihe von Vorhersagen, die sich aus der Theorie ergeben, können nun in neurowissenschaftlichen Experimenten getestet werden, und sie lädt auch die Forschung dazu ein, die chaotische Dynamik als Vorbild zu nehmen und für das maschinelle Lernen und neuromorphe Computing zu nutzen. Diese Art Querverbindungen zwischen Neurowissenschaft und künstlicher Intelligenz sind häufig sehr nützlich – man muss nur eine entsprechend generelle mathematische Formulierung finden, um sie zu sehen.
Gibt es eine Erklärung, warum chaotische Netzwerke Information so schnell verarbeiten können?
Ein chaotisches Netzwerk führt dazu, dass sich alle Aktivitäts-Trajektorien, also die Signalverläufe, die gerade nahe beieinander liegen, schnell voneinander entfernen. Der größere Abstand erleichtert dann das Ordnen und Gruppieren, zum Beispiel das Erkennen von Gesichtern oder die Kategorisierung des Geruchs eines Weins. Natürlich werden auch unwichtige Unterschiede verstärkt, aber die Berechnungen in unserer Arbeit zeigen, dass in Netzwerken mit sehr vielen Neuronen der vorteilhafte Effekt in der Kurzzeitphase überwiegt.
Man kann sich das vielleicht so ähnlich vorstellen wie einen ungelösten Rubik's-Cube. Normalerweise muss man den Würfel vielfach verdrehen, um die verschiedenen Farben voneinander zu trennen. In höheren Dimensionen könnte man die einzelnen Steine dagegen –anschaulich gesprochen – einfach auseinderziehen, was der chaotischen Dynamik entspricht, und dann eine Hyperebene, also eine Art hochdimensionale Gardine, zwischen den verschiedenen Farben einziehen, und diese so ganz leicht voneinander separieren.
Wir – das sind Moritz Helias, Tobias Kühn und David Dahmen und ich – haben auch den optimalen Zeitpunkt für das Auslesen der Information berechnet. Denn die Verbesserung der Trennbarkeit ist nur temporär. Wartet man zu lange, beginnt die Dynamik alles zu mischen. Dies ist die sogenannte Entropieproduktion, für die chaotische Systeme bekannt sind. Wobei “chaotisch” nicht ’unvorhersehbar’ bedeutet. Der Zustand des neuronalen Netzwerks entwickelt sich weitgehend deterministisch. Auf lange Sicht hingegen führt die starke Empfindlichkeit auf Störungen dazu, dass diese Vorhersehbarkeit praktisch nicht mehr gegeben ist.
Mit welcher Methode wurden die Ergebnisse erzielt?
Wir benutzen die sogenannte statistische Feldtheorie, um die Wahrscheinlichkeitsverteilungen von den Aktivitäts-Trajektorien der Netze zu beschreiben. Es handelt sich dabei um eine mathematische Technik aus der theoretischen Physik. Um nun die chaotische Dynamik zu verstehen, das heißt, wie sich Trajektorien voneinander entfernen, haben wir eine Replica-Rechnung gemacht: Der Trick ist das Netzwerk zu kopieren, sodass man zwei Trajektorien gleichzeitig verfolgen kann - so können wir berechnen wie sich die Distanz zwischen beiden entwickelt.
Originalpublikation:
Christian Keup, Tobias Kühn, David Dahmen, Moritz Helias
Transient Chaotic Dimensionality Expansion by Recurrent Networks
Physical Review X (25 June 2021), DOI: 10.1103/PhysRevX.11.021064
Weitere Informationen:
Ansprechpartner:
Prof. Dr. Moritz Helias
Institut für Neurowissenschaften und Medizin, Computational and Systems Neuroscience (INM-6 / IAS-6)
Tel.: +49 2461 61-9647
E-Mail: m.helias@fz-juelich.de
Christian Keup
Institut für Neurowissenschaften und Medizin, Computational and Systems Neuroscience (INM-6 / IAS-6)
Tel.: +49 2461 61-7620
E-Mail: c.keup@fz-juelich.de
Pressekontakt:
Tobias Schlößer
Pressereferent, Forschungszentrum Jülich
Tel.: +49 2461 61-4771
E-Mail: t.schloesser@fz-juelich.de