Wissenschaftler des IBM Forschungszentrums in Rüschlikon haben erstmals zufällig feuernde Neuronen aus Phase-Change-Material hergestellt. Diese Phase-Change-Neuronen können ähnlich wie ihre Vorbilder im menschlichen Gehirn Daten speichern und verarbeiten. Die vorliegende Arbeit ist ein bedeutender Schritt in der Erforschung von energieeffizienten neuromorphen Computern, in denen Speicher- und Verarbeitungseinheiten sehr dicht integriert sind. Solche sogenannten Neurocomputer stellen einen Ansatz dar, um große Datenmengen, insbesondere bei IoT- oder Cognitive-Computing-Anwendungen, viel effizienter und schneller zu verarbeiten. Die Arbeit ist in der heute veröffentlichten August-Ausgabe des renommierten Journals Nature Nanotechnology erschienen und wurde auch für das Cover ausgewählt.
Inspiriert durch die Funktionsweise des menschlichen Gehirns haben Wissenschaftler jahrzehntelang versucht, die vielseitigen Verarbeitungsfähigkeiten von Neuronengruppen nachzubilden. Bislang war es jedoch eine große Herausforderung, entsprechende Dichten und Energiebudgets zu erreichen, die vergleichbar sind mit denen in der Biologie.
„Seit mehr als einem Jahrzehnt erforschen wir nun Phase-Change-Materialien für Speicheranwendungen und unsere Fortschritte in den letzten zwei Jahren sind beachtlich“, sagt Dr. Evangelos Eleftheriou, IBM Fellow und Leiter des Departementes Cloud & Computing Infrastructure bei IBM Research – Zürich. „In dieser Zeit wurden neue Memory-Technologien entwickelt, wie Projected Memory und Multi-Bit-PCM mit 3 Bits pro Zelle. Nun haben wir Phase-Change-Neuronen demonstriert, die verschiedene elementare Berechnungen wie die Erkennung von Datenkorrelationen und nicht überwachte Lernprozesse mit großer Geschwindigkeit und geringem Stromverbrauch durchführen können.“
Die künstlichen Neuronen bestehen aus Germanium-Antimon-Tellurid, das zwei stabile Zustände –einen amorphen (ungeordnete Struktur der Atome, geringe Leitfähigkeit) und einen kristallinen (gleichmässige Struktur der Atome, hohe Leitfähigkeit) – aufweist. Aus diesem Material werden zum Beispiel wiederbeschreibbare Blu-ray DVDs hergestellt. Die künstlichen Neuronen speichern Informationen allerdings nicht digital, sondern analog.
Durch eine Serie von elektrischen Impulsen werden die einzelnen Neuronen stimuliert. Dadurch kristallisiert das Material mehr und mehr, bis das Neuron das Signal letztendlich weiterleitet. In den Neurowissenschaften wird dieses Funktionsprinzip als „integrate-and-fire-Eigenschaft“ von biologischen Neuronen bezeichnet. Dieser Vorgang ist im Prinzip vergleichbar mit der Reaktion des Gehirns auf einen äußeren Reiz und bildet damit die Grundlage der ereignisbasierten Datenverarbeitung. Schon ein einzelnes Phase-Change-Neuron kann so zur Erkennung von Mustern und Korrelationen in einer Vielzahl von ereignisbasierten Datenströmen genutzt werden.
Darüber hinaus ordneten die Forscher hunderte künstliche Neuronen in Gruppen an, um schnelle und komplexe Signale zu verarbeiten. Die künstlichen Neuronen überstanden nachweislich Milliarden von Schaltzyklen, was einem mehrjährigen Betrieb bei einer Update-Frequenz von 100 Hz entspricht. Für jedes Update – also jeden einzelnen elektrischen Impuls – wurden weniger als fünf Pikojoule und durchschnittlich weniger als 120 Mikrowatt verbraucht. Zum Vergleich: eine 60 Watt Glühbirne verbraucht 60 Millionen Mikrowatt. Die jedem Neuron zugrundeliegende Phase-Change-Zelle wurde in 90-nm-Technologie gefertigt. Die Forscher konnten prinzipiell die technische Machbarkeit der Signalverarbeitung in größeren Populationen und damit das Potenzial der Technologie für zukünftige Big-Data-Anwendungen aufzeigen.
Beispielsweise, im Internet der Dinge könnten Sensoren auf Basis von Phase-Change-Neuronen große Mengen an Wetterdaten erfassen, auswerten und so schneller, hochaufgelöste Vorhersagen ermöglichen. Außerdem könnte die Technologie Muster in Finanztransaktionen in nahezu Echtzeit aufzeigen oder neue Trends in Daten aus sozialen Netzwerken entdecken. Größere Gruppen dieser sehr schnellen und energieeffizienten Neuronen könnten außerdem in neuromorphen Co-Prozessoren mit kombinierten Speicher- und Verarbeitungs-Einheiten verwendet werden.
„Gruppen von Phase-Change-Neuronen könnten zusammen mit anderen neuromorphen Bauteilen wie künstliche Synapsen ein wichtiger Schlüssel für die Entwicklung einer neuen Generation von sehr dichten Neurocomputersystemen sein“, sagt Dr. Tomas Tuma, Erstautor des Papers.
Die Arbeit “Stochastic phase-change neurons” von Tomas Tuma, Angeliki Pantazi, Manuel Le Gallo, Abu Sebastian und Evangelos Eleftheriou erschien in Nature Nanotechnology (2016), doi:10.1038/nnano.2016.70
Eine weitere Arbeit des IBM Teams, in dem sie demonstrieren, wie sie Phase-Change-Neuronen mit Phase-Change-Synapsen kombinieren können, wurde ebenfalls in IEEE Electron Device Letters veröffentlicht: „Detecting correlations using phase-change neurons and synapses“, Tomas Tuma, Manuel Le Gallo, Abu Sebastian, Evangelos Eleftheriou, 10.1109/LED.2016.2591181, URL: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=7511711&newsearch=true&queryText=tuma%20neurons
Inspiriert durch die Funktionsweise des menschlichen Gehirns haben Wissenschaftler jahrzehntelang versucht, die vielseitigen Verarbeitungsfähigkeiten von Neuronengruppen nachzubilden. Bislang war es jedoch eine große Herausforderung, entsprechende Dichten und Energiebudgets zu erreichen, die vergleichbar sind mit denen in der Biologie.
„Seit mehr als einem Jahrzehnt erforschen wir nun Phase-Change-Materialien für Speicheranwendungen und unsere Fortschritte in den letzten zwei Jahren sind beachtlich“, sagt Dr. Evangelos Eleftheriou, IBM Fellow und Leiter des Departementes Cloud & Computing Infrastructure bei IBM Research – Zürich. „In dieser Zeit wurden neue Memory-Technologien entwickelt, wie Projected Memory und Multi-Bit-PCM mit 3 Bits pro Zelle. Nun haben wir Phase-Change-Neuronen demonstriert, die verschiedene elementare Berechnungen wie die Erkennung von Datenkorrelationen und nicht überwachte Lernprozesse mit großer Geschwindigkeit und geringem Stromverbrauch durchführen können.“
Die künstlichen Neuronen bestehen aus Germanium-Antimon-Tellurid, das zwei stabile Zustände –einen amorphen (ungeordnete Struktur der Atome, geringe Leitfähigkeit) und einen kristallinen (gleichmässige Struktur der Atome, hohe Leitfähigkeit) – aufweist. Aus diesem Material werden zum Beispiel wiederbeschreibbare Blu-ray DVDs hergestellt. Die künstlichen Neuronen speichern Informationen allerdings nicht digital, sondern analog.
Durch eine Serie von elektrischen Impulsen werden die einzelnen Neuronen stimuliert. Dadurch kristallisiert das Material mehr und mehr, bis das Neuron das Signal letztendlich weiterleitet. In den Neurowissenschaften wird dieses Funktionsprinzip als „integrate-and-fire-Eigenschaft“ von biologischen Neuronen bezeichnet. Dieser Vorgang ist im Prinzip vergleichbar mit der Reaktion des Gehirns auf einen äußeren Reiz und bildet damit die Grundlage der ereignisbasierten Datenverarbeitung. Schon ein einzelnes Phase-Change-Neuron kann so zur Erkennung von Mustern und Korrelationen in einer Vielzahl von ereignisbasierten Datenströmen genutzt werden.
Darüber hinaus ordneten die Forscher hunderte künstliche Neuronen in Gruppen an, um schnelle und komplexe Signale zu verarbeiten. Die künstlichen Neuronen überstanden nachweislich Milliarden von Schaltzyklen, was einem mehrjährigen Betrieb bei einer Update-Frequenz von 100 Hz entspricht. Für jedes Update – also jeden einzelnen elektrischen Impuls – wurden weniger als fünf Pikojoule und durchschnittlich weniger als 120 Mikrowatt verbraucht. Zum Vergleich: eine 60 Watt Glühbirne verbraucht 60 Millionen Mikrowatt. Die jedem Neuron zugrundeliegende Phase-Change-Zelle wurde in 90-nm-Technologie gefertigt. Die Forscher konnten prinzipiell die technische Machbarkeit der Signalverarbeitung in größeren Populationen und damit das Potenzial der Technologie für zukünftige Big-Data-Anwendungen aufzeigen.
Beispielsweise, im Internet der Dinge könnten Sensoren auf Basis von Phase-Change-Neuronen große Mengen an Wetterdaten erfassen, auswerten und so schneller, hochaufgelöste Vorhersagen ermöglichen. Außerdem könnte die Technologie Muster in Finanztransaktionen in nahezu Echtzeit aufzeigen oder neue Trends in Daten aus sozialen Netzwerken entdecken. Größere Gruppen dieser sehr schnellen und energieeffizienten Neuronen könnten außerdem in neuromorphen Co-Prozessoren mit kombinierten Speicher- und Verarbeitungs-Einheiten verwendet werden.
„Gruppen von Phase-Change-Neuronen könnten zusammen mit anderen neuromorphen Bauteilen wie künstliche Synapsen ein wichtiger Schlüssel für die Entwicklung einer neuen Generation von sehr dichten Neurocomputersystemen sein“, sagt Dr. Tomas Tuma, Erstautor des Papers.
Die Arbeit “Stochastic phase-change neurons” von Tomas Tuma, Angeliki Pantazi, Manuel Le Gallo, Abu Sebastian und Evangelos Eleftheriou erschien in Nature Nanotechnology (2016), doi:10.1038/nnano.2016.70
Eine weitere Arbeit des IBM Teams, in dem sie demonstrieren, wie sie Phase-Change-Neuronen mit Phase-Change-Synapsen kombinieren können, wurde ebenfalls in IEEE Electron Device Letters veröffentlicht: „Detecting correlations using phase-change neurons and synapses“, Tomas Tuma, Manuel Le Gallo, Abu Sebastian, Evangelos Eleftheriou, 10.1109/LED.2016.2591181, URL: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=7511711&newsearch=true&queryText=tuma%20neurons
