Cloudera hat die Integration von Apache Spark in Apache-Hadoop-Umgebungen mit wichtigen Errungenschaften rund um die Bedienbarkeit und Interoperabilität über das gesamte Jahr weiter zur Reife gebracht. Um die Möglichkeiten dieser leistungsfähigen Datenverarbeitungs-Engine für Unternehmen weiter auszubauen, hat Cloudera in die kürzlich angekündigte Version 5.5 von Cloudera Enterprise und CDH die Unterstützung für Spark SQL und MLlib aufgenommen.
Dank seiner einfachen Entwicklung und flexiblen Datenverarbeitung ist die Popularität von Spark innerhalb der Open-Source-Community und bei konkreten Kundenprojekten stark gestiegen. Mit mehr als 800 Entwicklern aus über 200 Unternehmen ist Spark mittlerweile das aktivste Projekt der Apache Software Foundation (ASF). Das Spark-Team von Cloudera hat die für Unternehmen relevanten Funktionen von Spark aktiv vorangetrieben und Spark mit Hadoop vereint, um Kundenbedürfnisse zu erfüllen und den produktiven Einsatz zu fördern.
„Die Akzeptanz von Spark seitens der Entwickler-Community und Clouderas Anstrengungen zur weiteren Verbreitung im vergangenen Jahr waren schlicht bemerkenswert“, sagt Doug Cutting, Chief Architect bei Cloudera. „Bei den meisten Kunden, die Spark in Verbindung mit Hadoop nutzen, haben wir bei der Erweiterung der Enterprise-Funktionen von Spark für Hadoop-Implementierungen in verschiedenen Branchen und Anwendungsfällen bereits beeindruckende Fortschritte erzielt. Mit der Ergänzung der Cloudera-Plattform um Spark SQL und MLlib sowie einem klaren, gemeinsamen Fahrplan mit der One Platform Initiative, wird sich die Akzeptanz von Spark in Einsatzgebieten wie Batch, Streaming und maschinellem Lernen weiter fortsetzen.“
Spark-Einsatz im IoT und bei Datenstreaming in Echtzeit
Im vergangenen Jahr hat Cloudera bemerkenswerte Fortschritte dabei gemacht, Spark ausreifen zu lassen, um letztlich eine größere Bandbreite von Anwendungsfällen bei der Datenverarbeitung abzudecken, etwa durchgehende Lösungen für das Internet der Dinge (IoT), vereinfachte Batch-Verarbeitung und natives Machine Learning.
Immer mehr Kunden wollen sich die Vorteile des Internets der Dinge und von Datenstreaming in Echtzeit zunutze machen. Vor diesem Hintergrund wächst der Bedarf nach einer Unternehmenslösung zur maschinellen Verarbeitung der Datenströme im Rahmen der jeweiligen Anwendungen. Um dieses Problem zu lösen, lenkte Cloudera die Entwicklung auf die Belastbarkeit von Spark im Streaming-Einsatz, auf die Vermeidung von jedwedem Datenverlust sowie die Anpassung an Produktionsstandards. Dank dieser entscheidenden Verbesserungen — und durch die Integration von Apache Kafka in die Plattform — sind Cloudera-Kunden nunmehr in der Lage, komplette IoT-Anwendungen innerhalb einer einheitlichen Plattform aufzubauen, was zugleich weit reichende Auswirkungen auf die Akzeptanz von Spark-Streaming hatte.
Um ein einfacheres, leistungsfähigeres Batch-Processing zu ermöglichen und dazu beizutragen, die Position von Spark als Standard-Ausführungsmaschine innerhalb von Hadoop zu festigen, veröffentlichte Cloudera in diesem Jahr auch die Beta-Version von Apache Hive-on-Spark. Die Hive-Integration mit der Spark-Verarbeitungsmaschine stellt als Werkzeug der Wahl zur ETL-Entwicklung einen wichtigen Meilenstein dar, wenn es um die Unterstützung von Workloads zur Datenintegration der nächsten Generation und um die Akzeptanz von Spark als Nachfolger von MapReduce geht.
Breite Kundenakzeptanz
Die im vergangenen September von Cloudera angekündigte One Platform Initiative setzt die beschleunigte Entwicklung von Apache Spark für Unternehmen innerhalb des Hadoop-Ökosystems fort. Bei der Verbesserung der Sicherheit von Spark, der Skalierbarkeit, der Verwaltung und der Streaming-Funktionen konnte Cloudera erhebliche Fortschritte verzeichnen. Dieser Bereich wird auch im kommenden Jahr zu den vorrangigen Entwicklungsschwerpunkten zählen.
Cloudera verfügt über die größte Erfahrung bei der Unterstützung von Spark als Teil von Hadoop: Auf der Plattform wird der Einsatz von Spark auf Hadoop von mehr Kunden genutzt, als bei allen anderen Anbietern zusammengenommen. Damit wird einer der zurzeit größten Multi-Tenant Spark-Cluster betrieben, einschließlich der Bereitstellung von mehr als 800 Netzknoten.
Mehr als 170 Kunden aus den unterschiedlichsten Branchen - darunter Finanzwesen, Gesundheitswesen, Einzelhandel und Versicherungen - setzen Spark bereits auf der Cloudera-Plattform ein. Cloudera hat auf diese Weise dazu beigetragen, dass zahlreiche Nutzer eine breite Palette an Anwendungsfällen der nächsten Generation bereits heute realisieren können.
Darüber hinaus wurden durch das Cloudera Accelerator Program für Spark Dutzende robuster Spark-Anwendungen und -Integrationen mit führenden Drittanbieter-Tools vorangetrieben, was zu einer zusätzlichen Erweiterung der Spark-Funktionalität gegenüber den Anwendern führt. Zu den wichtigsten Partnern des Programms zählen Datameer, Informatica, Oracle, Paxata, Pentaho, Platfora, StreamSets, Syncsort und Talend.
Dank seiner einfachen Entwicklung und flexiblen Datenverarbeitung ist die Popularität von Spark innerhalb der Open-Source-Community und bei konkreten Kundenprojekten stark gestiegen. Mit mehr als 800 Entwicklern aus über 200 Unternehmen ist Spark mittlerweile das aktivste Projekt der Apache Software Foundation (ASF). Das Spark-Team von Cloudera hat die für Unternehmen relevanten Funktionen von Spark aktiv vorangetrieben und Spark mit Hadoop vereint, um Kundenbedürfnisse zu erfüllen und den produktiven Einsatz zu fördern.
„Die Akzeptanz von Spark seitens der Entwickler-Community und Clouderas Anstrengungen zur weiteren Verbreitung im vergangenen Jahr waren schlicht bemerkenswert“, sagt Doug Cutting, Chief Architect bei Cloudera. „Bei den meisten Kunden, die Spark in Verbindung mit Hadoop nutzen, haben wir bei der Erweiterung der Enterprise-Funktionen von Spark für Hadoop-Implementierungen in verschiedenen Branchen und Anwendungsfällen bereits beeindruckende Fortschritte erzielt. Mit der Ergänzung der Cloudera-Plattform um Spark SQL und MLlib sowie einem klaren, gemeinsamen Fahrplan mit der One Platform Initiative, wird sich die Akzeptanz von Spark in Einsatzgebieten wie Batch, Streaming und maschinellem Lernen weiter fortsetzen.“
Spark-Einsatz im IoT und bei Datenstreaming in Echtzeit
Im vergangenen Jahr hat Cloudera bemerkenswerte Fortschritte dabei gemacht, Spark ausreifen zu lassen, um letztlich eine größere Bandbreite von Anwendungsfällen bei der Datenverarbeitung abzudecken, etwa durchgehende Lösungen für das Internet der Dinge (IoT), vereinfachte Batch-Verarbeitung und natives Machine Learning.
Immer mehr Kunden wollen sich die Vorteile des Internets der Dinge und von Datenstreaming in Echtzeit zunutze machen. Vor diesem Hintergrund wächst der Bedarf nach einer Unternehmenslösung zur maschinellen Verarbeitung der Datenströme im Rahmen der jeweiligen Anwendungen. Um dieses Problem zu lösen, lenkte Cloudera die Entwicklung auf die Belastbarkeit von Spark im Streaming-Einsatz, auf die Vermeidung von jedwedem Datenverlust sowie die Anpassung an Produktionsstandards. Dank dieser entscheidenden Verbesserungen — und durch die Integration von Apache Kafka in die Plattform — sind Cloudera-Kunden nunmehr in der Lage, komplette IoT-Anwendungen innerhalb einer einheitlichen Plattform aufzubauen, was zugleich weit reichende Auswirkungen auf die Akzeptanz von Spark-Streaming hatte.
Um ein einfacheres, leistungsfähigeres Batch-Processing zu ermöglichen und dazu beizutragen, die Position von Spark als Standard-Ausführungsmaschine innerhalb von Hadoop zu festigen, veröffentlichte Cloudera in diesem Jahr auch die Beta-Version von Apache Hive-on-Spark. Die Hive-Integration mit der Spark-Verarbeitungsmaschine stellt als Werkzeug der Wahl zur ETL-Entwicklung einen wichtigen Meilenstein dar, wenn es um die Unterstützung von Workloads zur Datenintegration der nächsten Generation und um die Akzeptanz von Spark als Nachfolger von MapReduce geht.
Breite Kundenakzeptanz
Die im vergangenen September von Cloudera angekündigte One Platform Initiative setzt die beschleunigte Entwicklung von Apache Spark für Unternehmen innerhalb des Hadoop-Ökosystems fort. Bei der Verbesserung der Sicherheit von Spark, der Skalierbarkeit, der Verwaltung und der Streaming-Funktionen konnte Cloudera erhebliche Fortschritte verzeichnen. Dieser Bereich wird auch im kommenden Jahr zu den vorrangigen Entwicklungsschwerpunkten zählen.
Cloudera verfügt über die größte Erfahrung bei der Unterstützung von Spark als Teil von Hadoop: Auf der Plattform wird der Einsatz von Spark auf Hadoop von mehr Kunden genutzt, als bei allen anderen Anbietern zusammengenommen. Damit wird einer der zurzeit größten Multi-Tenant Spark-Cluster betrieben, einschließlich der Bereitstellung von mehr als 800 Netzknoten.
Mehr als 170 Kunden aus den unterschiedlichsten Branchen - darunter Finanzwesen, Gesundheitswesen, Einzelhandel und Versicherungen - setzen Spark bereits auf der Cloudera-Plattform ein. Cloudera hat auf diese Weise dazu beigetragen, dass zahlreiche Nutzer eine breite Palette an Anwendungsfällen der nächsten Generation bereits heute realisieren können.
Darüber hinaus wurden durch das Cloudera Accelerator Program für Spark Dutzende robuster Spark-Anwendungen und -Integrationen mit führenden Drittanbieter-Tools vorangetrieben, was zu einer zusätzlichen Erweiterung der Spark-Funktionalität gegenüber den Anwendern führt. Zu den wichtigsten Partnern des Programms zählen Datameer, Informatica, Oracle, Paxata, Pentaho, Platfora, StreamSets, Syncsort und Talend.
