Nach zweijähriger Standardisierungsarbeit hat die „Moving Picture Experts Group“ (MPEG) einen Standard zur Kompression von Neuronalen Netzen für Multimedia-Anwendungen verabschiedet, den sogenannten NNR-Standard. An der Forschung und Entwicklung des neuen Standards war das Fraunhofer Heinrich-Hertz-Institut (HHI) maßgeblich beteiligt. Der NNR-Standard ist der erste internationale Standard, der die hocheffiziente Kompression von Neuronalen Netzen erlaubt. Er basiert auf der Kompressionsmethode DeepCABAC (context-based adaptive binary arithmetic coding for deep neural network compression), die am Fraunhofer HHI entwickelt wurde. Am Standardisierungsprozess waren neben dem Fraunhofer HHI unter anderem die Unternehmen Nokia, Interdigital, Huawei und Tencent mit aktiven Beiträgen beteiligt.
Mit den Kodierungsmethoden des neuen NNR-Standards lässt sich die Größe von neuronalen Netzen typischerweise um 90 bis 95 Prozent reduzieren, ohne dass dabei Leistungsverluste entstehen. Der NNR-Standard umfasst eine Toolbox von hochentwickelten Kodierwerkzeugen, unter anderem zur Parameterreduktion, Quantisierung und Entropiekodierung. Je nach Bedarf und Anwendungsszenario können diese Tools individuell miteinander kombiniert werden. Weiterhin kann der Standard problemlos in gängige Industrie-Formate für neuronale Netze integriert werden.
Neuronale Netze bilden die Grundlage für viele Ansätze der Künstlichen Intelligenz (KI) und sind über die letzten Jahre beträchtlich gewachsen, was ihre Topologie, also die Anzahl ihrer Schichten, Verknüpfungen und Parameter angeht. Entsprechend benötigen sie ein zunehmendes Maß an Rechenkapazität und Arbeitsspeicher, sodass sie ohne hinreichend effiziente Kompression beispielsweise kaum in Mobiltelefone integrierbar sind. Um diese anspruchsvollen Anforderungen zu erfüllen, haben die Abteilungen „Videokommunikation und Applikationen“ und „Künstliche Intelligenz“ des Fraunhofer HHI bei der gemeinsamen Entwicklung der Basistechnologie DeepCABAC des NNR-Standards eng zusammengearbeitet.
„Wir haben unsere langjährige Erfahrung und Expertise auf dem Feld der Videokodierung erfolgreich in das Standardisierungsverfahren eingebracht,“ sagt Dr. Detlev Marpe, Abteilungsleiter „Videokommunikation und Applikationen“ am Fraunhofer HHI. „Als Basis für die neue Technologie benutzen wir das am HHI entwickelte Verfahren CABAC (Context-Based Adaptive Binary Arithmetic Coding). CABAC ist eine effektive Methode zur verlustfreien Komprimierung und ist Bestandteil der weltweiten Videokodierstandards H.264/AVC, H.265/HEVC und H.266/VVC, die wir maßgeblich mitentwickelt haben.“
Durch die enge Zusammenarbeit mit der Abteilung „Künstliche Intelligenz“ und ihrer Deep-Learning-Kompetenz konnte die CABAC-Technologie für die Kompression neuronaler Netzwerke angepasst werden. Dabei erlaubt DeepCABAC mit seiner adaptiven, kontextbasierten Ratenmodellierung eine optimale Quantisierung und Kodierung der Gewichtsmatrizen des neuronalen Netzes und somit eine sehr effiziente Kompression ohne Leistungsverluste.
„MPEG sucht stets Technologien, die breit aufgestellt und zuverlässig anwendbar sind. Daher sind wir stolz darauf, dass unsere Technologien einen beträchtlichen Teil des neuen Standards ausmachen,“ kommentiert Dr. Wojciech Samek, Abteilungsleiter „Künstliche Intelligenz“ am Fraunhofer HHI. „Insgesamt konnten wir bisher dazu 18 MPEG-Inputdokumente einbringen und vier Paper zur NNR-Technologie publizieren.“
Es gibt schon jetzt zahlreiche Anwendungsszenarien, die vom Einsatz des NNR-Standards profitieren werden. Dazu gehören 5G-Anwendungen, die Bild- und Videokompression sowie KI-Technologien zur Mobilität wie autonomes Fahren.
Auf dem letzten MPEG-Meeting im April 2021 wurde der „Final Draft Industrial Standard“ (FDIS) des NNR-Standards verabschiedet. Damit ist dieser technisch finalisiert und muss nur noch von der ISO, dem globalen Zusammenschluss der nationalen Standardisierungsorganisationen, und der IEC, der Internationalen Elektrotechnischen Kommission, als federführende Standardisierungsorganisationen formal ratifiziert werden. Dies ist in sechs Monaten geplant.
Das Fraunhofer HHI wird in der zweiten Jahreshälfte 2021 eine offene und frei verfügbare Implementierung des Standards zur Verfügung zu stellen. Darüber hinaus arbeiten die Forschenden an Erweiterungen des NNR-Standards. Der Fokus liegt dabei momentan auf der inkrementellen Kompression neuronaler Netze um Updates von Netzen in verteilten Anwendungen, wie beispielsweise beim förderalen Lernen, effizient zu kodieren.
Mit den Kodierungsmethoden des neuen NNR-Standards lässt sich die Größe von neuronalen Netzen typischerweise um 90 bis 95 Prozent reduzieren, ohne dass dabei Leistungsverluste entstehen. Der NNR-Standard umfasst eine Toolbox von hochentwickelten Kodierwerkzeugen, unter anderem zur Parameterreduktion, Quantisierung und Entropiekodierung. Je nach Bedarf und Anwendungsszenario können diese Tools individuell miteinander kombiniert werden. Weiterhin kann der Standard problemlos in gängige Industrie-Formate für neuronale Netze integriert werden.
Neuronale Netze bilden die Grundlage für viele Ansätze der Künstlichen Intelligenz (KI) und sind über die letzten Jahre beträchtlich gewachsen, was ihre Topologie, also die Anzahl ihrer Schichten, Verknüpfungen und Parameter angeht. Entsprechend benötigen sie ein zunehmendes Maß an Rechenkapazität und Arbeitsspeicher, sodass sie ohne hinreichend effiziente Kompression beispielsweise kaum in Mobiltelefone integrierbar sind. Um diese anspruchsvollen Anforderungen zu erfüllen, haben die Abteilungen „Videokommunikation und Applikationen“ und „Künstliche Intelligenz“ des Fraunhofer HHI bei der gemeinsamen Entwicklung der Basistechnologie DeepCABAC des NNR-Standards eng zusammengearbeitet.
„Wir haben unsere langjährige Erfahrung und Expertise auf dem Feld der Videokodierung erfolgreich in das Standardisierungsverfahren eingebracht,“ sagt Dr. Detlev Marpe, Abteilungsleiter „Videokommunikation und Applikationen“ am Fraunhofer HHI. „Als Basis für die neue Technologie benutzen wir das am HHI entwickelte Verfahren CABAC (Context-Based Adaptive Binary Arithmetic Coding). CABAC ist eine effektive Methode zur verlustfreien Komprimierung und ist Bestandteil der weltweiten Videokodierstandards H.264/AVC, H.265/HEVC und H.266/VVC, die wir maßgeblich mitentwickelt haben.“
Durch die enge Zusammenarbeit mit der Abteilung „Künstliche Intelligenz“ und ihrer Deep-Learning-Kompetenz konnte die CABAC-Technologie für die Kompression neuronaler Netzwerke angepasst werden. Dabei erlaubt DeepCABAC mit seiner adaptiven, kontextbasierten Ratenmodellierung eine optimale Quantisierung und Kodierung der Gewichtsmatrizen des neuronalen Netzes und somit eine sehr effiziente Kompression ohne Leistungsverluste.
„MPEG sucht stets Technologien, die breit aufgestellt und zuverlässig anwendbar sind. Daher sind wir stolz darauf, dass unsere Technologien einen beträchtlichen Teil des neuen Standards ausmachen,“ kommentiert Dr. Wojciech Samek, Abteilungsleiter „Künstliche Intelligenz“ am Fraunhofer HHI. „Insgesamt konnten wir bisher dazu 18 MPEG-Inputdokumente einbringen und vier Paper zur NNR-Technologie publizieren.“
Es gibt schon jetzt zahlreiche Anwendungsszenarien, die vom Einsatz des NNR-Standards profitieren werden. Dazu gehören 5G-Anwendungen, die Bild- und Videokompression sowie KI-Technologien zur Mobilität wie autonomes Fahren.
Auf dem letzten MPEG-Meeting im April 2021 wurde der „Final Draft Industrial Standard“ (FDIS) des NNR-Standards verabschiedet. Damit ist dieser technisch finalisiert und muss nur noch von der ISO, dem globalen Zusammenschluss der nationalen Standardisierungsorganisationen, und der IEC, der Internationalen Elektrotechnischen Kommission, als federführende Standardisierungsorganisationen formal ratifiziert werden. Dies ist in sechs Monaten geplant.
Das Fraunhofer HHI wird in der zweiten Jahreshälfte 2021 eine offene und frei verfügbare Implementierung des Standards zur Verfügung zu stellen. Darüber hinaus arbeiten die Forschenden an Erweiterungen des NNR-Standards. Der Fokus liegt dabei momentan auf der inkrementellen Kompression neuronaler Netze um Updates von Netzen in verteilten Anwendungen, wie beispielsweise beim förderalen Lernen, effizient zu kodieren.
