Open Source oder Open Weight – die Begriffe werden häufig gleichgesetzt, beschreiben jedoch unterschiedliche Ansätze bei KI-Modellen. Prof. Alexander Fraser vom TUM Campus Heilbronn erklärt die Unterschiede, zeigt die jeweiligen Stärken und Schwächen und erläutert, warum Open Weight-Modelle derzeit für viele Anwendungen in Forschung und Wirtschaft die praktikablere Lösung sind.
Ob digitale Souveränität, Datensicherheit oder Transparenz von KI-Modellen – Open-Source- und Open-Weight-Modelle gelten als wichtige Bausteine einer unabhängigen KI-Infrastruktur. Alexander Fraser, Professor für Data Analytics and Statistics am TUM Campus Heilbronn, forscht seit Jahren zu unterschiedlichen Ansätzen im Bereich der Sprachmodelle. Warum ist die Unterscheidung zwischen Open Source und Open Weight so wichtig?
Open Source und Open Weight unterscheiden
Der wichtigste Unterschied liegt in der Definition: „In der Forschung sprechen wir nur dann von Open Source, wenn man ein Modell nachbauen kann.“ Daher fielen die Llama-Sprachmodelle von Meta, die als Open Source vermarktet werden und zu den leistungsfähigsten offen verfügbaren Modellen weltweit zählen, in Wirklichkeit gar nicht in diese Kategorie: „Wir kennen weder die Daten noch die genauen Schritte zur Erstellung der Modelle. Wir könnten sie zwar herunterladen und dann anhand eines bestimmten Datensatzes feinabstimmen, aber wir können sie nicht von Grund auf neu erstellen – und das ist es eigentlich, was wir unter Open Source verstehen.“
Llama – wie auch die ähnlich leistungsfähigen Qwen-Modelle vom chinesischen Technologiekonzern Alibaba Cloud – dagegen gehört zur Kategorie der Open Weight-Modelle, bei denen die Modellgewichte – also die mathematische Repräsentation des gespeicherten Wissens – aber nicht die Trainingsdaten frei zugänglich sind. Auch Open Weight-Modelle haben große Vorteile gegenüber API-Modellen, die über eine Programmierschnittstelle (API) als Cloud-Dienst bereitgestellt werden. „API-Modelle wie ChatGPT, Claude oder Gemini sind teuer und intransparent“, erklärt Fraser. „Welche Version des Modells im Hintergrund genutzt wird und wann der Anbieter sie aktualisiert, bleibt unklar. Es ist also eine Black Box. Bei Open Weight-Modellen hingegen kann man steuern, welche Version des Modells man verwendet, weil man es herunterlädt und lokal ausführt. Außerdem werden die eingegebenen Daten nicht weiterverbreitet.“ Ein Nachteil vieler Open Weight-Modelle liege allerdings in der Qualität und Geschwindigkeit – zumindest wenn kleinere Modelle lokal auf wenig leistungsstarker Hardware betrieben werden. Außerdem sei die Lizenzvergabe oft sehr restriktiv.
Hier kommen die echten Open Source-Modelle ins Spiel: „Bei ihnen kann man die Trainingsdaten herunterladen und das Modell selbst trainieren. Dadurch ist man nicht an die Lizenzbedingungen gebunden und erhält ein eigenes Modell. Da die Daten offengelegt werden, lässt sich komplett nachvollziehen, auf welchen Quellen das Modell trainiert wurde.“
Open Weight-Modelle überzeugen in der Praxis
In seinen eigenen Forschungsprojekten setzt Fraser die drei Modelltypen je nach Bedarf ein: „In einem aktuellen Projekt untersuchen wir, inwieweit Sprachmodelle Metaphern verstehen können. Dabei arbeiten wir auf allen drei Ebenen. Doch nur beim Open-Source-Modell können wir die Trainingsdaten durchgehen und sicher sein, dass die Metapher darin nicht vorkommt.“
Beim EPICAL-Projekt, in dem Sprachaktivistinnen und Sprachaktivisten mithilfe von Chatbots Texte in ihren Sprachen verfassen, kommen hauptsächlich Open Weight-Modelle zum Einsatz. „Für ressourcenarme Sprachen wie Obersorbisch können wir leistungsfähige Modelle für verwandte Sprachen wie Deutsch oder Tschechisch herunterladen und anschließend auf die jeweilige Sprache feinabstimmen.“ Open Weight-Modelle seien hier für viele Anwendungsfälle der beste Kompromiss zwischen der mangelnden Transparenz von API-Modellen und der geringeren Leistungsfähigkeit heutiger Open Source-Modelle.
Auch außerhalb der Universität werden sie bereits häufig eingesetzt und seien besonders für die Industrie zu empfehlen: „Man kann kontrollieren, was abgerufen wird und welche Dokumente in die Eingabeaufforderungen aufgenommen werden. Ein mittelständisches Unternehmen könnte also seine eigene private Datenbank anbinden.“
Open Source holt auf – braucht aber Zeit
In den kommenden Jahren könnte sich auch die Leistungsfähigkeit von API- und Open Weight-Modellen weiter angleichen: „Allmählich gehen uns die leicht zugänglichen Textdaten im Internet aus – ChatGPT wurde möglicherweise bereits auf einen Großteil aller digitalen Texte im World Wide Web trainiert. Dadurch könnten sich Open Weight-Modelle in den nächsten Jahren der Leistung von ChatGPT annähern – vielleicht irgendwann auch Open Source-Modelle.“
Frasers Einschätzung nach wird Letzteres aber noch mindestens fünf Jahre dauern. Doch die Dinge kommen ins Rollen: „Es gibt vielversprechende Ansätze wie das „Open Language Model“ (OLMo) vom gemeinnützigen Allen Institute for AI (Ai2), ein besonders transparentes Sprachmodell, bei dem fast der gesamte Entwicklungsprozess nachvollziehbar ist und weiterentwickelt werden kann.“ Besonders interessant sei auch Apertus, das erste große, vollständig offene Sprachmodell der Schweiz und eines der transparentesten großen Sprachmodelle (LLMs) weltweit: „Es wurde komplett von Forschern der École polytechnique fédérale de Lausanne (EPFL) und der ETH Zürich trainiert, wäre also reproduzierbar. Ich kann mir gut vorstellen, Apertus im Unterricht einzusetzen und damit Forschungsprojekte durchzuführen.“
Ob digitale Souveränität, Datensicherheit oder Transparenz von KI-Modellen – Open-Source- und Open-Weight-Modelle gelten als wichtige Bausteine einer unabhängigen KI-Infrastruktur. Alexander Fraser, Professor für Data Analytics and Statistics am TUM Campus Heilbronn, forscht seit Jahren zu unterschiedlichen Ansätzen im Bereich der Sprachmodelle. Warum ist die Unterscheidung zwischen Open Source und Open Weight so wichtig?
Open Source und Open Weight unterscheiden
Der wichtigste Unterschied liegt in der Definition: „In der Forschung sprechen wir nur dann von Open Source, wenn man ein Modell nachbauen kann.“ Daher fielen die Llama-Sprachmodelle von Meta, die als Open Source vermarktet werden und zu den leistungsfähigsten offen verfügbaren Modellen weltweit zählen, in Wirklichkeit gar nicht in diese Kategorie: „Wir kennen weder die Daten noch die genauen Schritte zur Erstellung der Modelle. Wir könnten sie zwar herunterladen und dann anhand eines bestimmten Datensatzes feinabstimmen, aber wir können sie nicht von Grund auf neu erstellen – und das ist es eigentlich, was wir unter Open Source verstehen.“
Llama – wie auch die ähnlich leistungsfähigen Qwen-Modelle vom chinesischen Technologiekonzern Alibaba Cloud – dagegen gehört zur Kategorie der Open Weight-Modelle, bei denen die Modellgewichte – also die mathematische Repräsentation des gespeicherten Wissens – aber nicht die Trainingsdaten frei zugänglich sind. Auch Open Weight-Modelle haben große Vorteile gegenüber API-Modellen, die über eine Programmierschnittstelle (API) als Cloud-Dienst bereitgestellt werden. „API-Modelle wie ChatGPT, Claude oder Gemini sind teuer und intransparent“, erklärt Fraser. „Welche Version des Modells im Hintergrund genutzt wird und wann der Anbieter sie aktualisiert, bleibt unklar. Es ist also eine Black Box. Bei Open Weight-Modellen hingegen kann man steuern, welche Version des Modells man verwendet, weil man es herunterlädt und lokal ausführt. Außerdem werden die eingegebenen Daten nicht weiterverbreitet.“ Ein Nachteil vieler Open Weight-Modelle liege allerdings in der Qualität und Geschwindigkeit – zumindest wenn kleinere Modelle lokal auf wenig leistungsstarker Hardware betrieben werden. Außerdem sei die Lizenzvergabe oft sehr restriktiv.
Hier kommen die echten Open Source-Modelle ins Spiel: „Bei ihnen kann man die Trainingsdaten herunterladen und das Modell selbst trainieren. Dadurch ist man nicht an die Lizenzbedingungen gebunden und erhält ein eigenes Modell. Da die Daten offengelegt werden, lässt sich komplett nachvollziehen, auf welchen Quellen das Modell trainiert wurde.“
Open Weight-Modelle überzeugen in der Praxis
In seinen eigenen Forschungsprojekten setzt Fraser die drei Modelltypen je nach Bedarf ein: „In einem aktuellen Projekt untersuchen wir, inwieweit Sprachmodelle Metaphern verstehen können. Dabei arbeiten wir auf allen drei Ebenen. Doch nur beim Open-Source-Modell können wir die Trainingsdaten durchgehen und sicher sein, dass die Metapher darin nicht vorkommt.“
Beim EPICAL-Projekt, in dem Sprachaktivistinnen und Sprachaktivisten mithilfe von Chatbots Texte in ihren Sprachen verfassen, kommen hauptsächlich Open Weight-Modelle zum Einsatz. „Für ressourcenarme Sprachen wie Obersorbisch können wir leistungsfähige Modelle für verwandte Sprachen wie Deutsch oder Tschechisch herunterladen und anschließend auf die jeweilige Sprache feinabstimmen.“ Open Weight-Modelle seien hier für viele Anwendungsfälle der beste Kompromiss zwischen der mangelnden Transparenz von API-Modellen und der geringeren Leistungsfähigkeit heutiger Open Source-Modelle.
Auch außerhalb der Universität werden sie bereits häufig eingesetzt und seien besonders für die Industrie zu empfehlen: „Man kann kontrollieren, was abgerufen wird und welche Dokumente in die Eingabeaufforderungen aufgenommen werden. Ein mittelständisches Unternehmen könnte also seine eigene private Datenbank anbinden.“
Open Source holt auf – braucht aber Zeit
In den kommenden Jahren könnte sich auch die Leistungsfähigkeit von API- und Open Weight-Modellen weiter angleichen: „Allmählich gehen uns die leicht zugänglichen Textdaten im Internet aus – ChatGPT wurde möglicherweise bereits auf einen Großteil aller digitalen Texte im World Wide Web trainiert. Dadurch könnten sich Open Weight-Modelle in den nächsten Jahren der Leistung von ChatGPT annähern – vielleicht irgendwann auch Open Source-Modelle.“
Frasers Einschätzung nach wird Letzteres aber noch mindestens fünf Jahre dauern. Doch die Dinge kommen ins Rollen: „Es gibt vielversprechende Ansätze wie das „Open Language Model“ (OLMo) vom gemeinnützigen Allen Institute for AI (Ai2), ein besonders transparentes Sprachmodell, bei dem fast der gesamte Entwicklungsprozess nachvollziehbar ist und weiterentwickelt werden kann.“ Besonders interessant sei auch Apertus, das erste große, vollständig offene Sprachmodell der Schweiz und eines der transparentesten großen Sprachmodelle (LLMs) weltweit: „Es wurde komplett von Forschern der École polytechnique fédérale de Lausanne (EPFL) und der ETH Zürich trainiert, wäre also reproduzierbar. Ich kann mir gut vorstellen, Apertus im Unterricht einzusetzen und damit Forschungsprojekte durchzuführen.“
