„Ineffizient zugeordnete Daten-Workloads sind in Unternehmen weit verbreitet und verursachen kostspielige Verzögerungen, Fehler und Komplexität. Für beste Hadoop-Ergebnisse benötigen die Kunden aber umfassende Einblicke in ihre Workloads und geeignete Handlungsempfehlungen“, sagt Charles Zedlewski, Vice President Products von Cloudera. „Als Teil von Cloudera Enterprise 5.5, bietet die Beta-Version des Cloudera Navigator Optimizers den Anwendern Einblicke in ihre Workloads und hilft, diejenigen Workloads zu identifizieren, die für den Einsatz auf Hadoop am besten geeignet sind, um so Entwicklungszeiten zu reduzieren und die Leistung zu verbessern.“
In jedem Unternehmen können über mehrere Systeme hinweg jederzeit unzählige Workloads ablaufen, wobei Änderungen auf Grundlage der Tageszeit und geschäftlicher Anforderungen erfolgen können. Viele solcher Workloads weisen ähnliche Schwachstellen auf: Etwa Störungen in ETL-Pipelines, lange Wartezeiten für BI-Berichte, erhöhten Systemdruck aufgrund von Adhoc-Abfragen und unnötig komplexe Abfragen. Im Ergebnis gehen dadurch Zeit und Geld verloren. Dabei ist die Nachvollziehbarkeit der Workloads für die Kunden bei der Übernahme neuer Systeme auf Basis von Hadoop von entscheidender Bedeutung, damit entsprechende Leistungsschwächen erkannt und die passenden Workloads den jeweils geeigneten Systemen zugeordnet werden können, um optimale Ergebnisse zu erzielen.
Der Cloudera Navigator Optimizer analysiert auf Anhieb vorhandene Workloads und macht deutlich, welche Prozesse am wichtigsten sind, auf welche Daten am meisten zugegriffen wird und wie diese Daten genutzt werden. Die gewonnenen Informationen werden dann automatisch in Optimierungsempfehlungen für beste Ergebnisse mit Hadoop umgewandelt. Über ein intuitives Dashboard erhalten die Kunden Handlungsempfehlungen, worauf Entwicklungsaufwendungen konzentriert werden sollten, um die größte Wirkung zu erzielen. Dabei geht es vor allem um die Identifizierung von Doppeleinträgen, die Aufdeckung von Komplexität und den Einsatz kompatibler Ökosystem-Tools wie Impala und Apache Hive.
Der Cloudera Navigator Optimizer wird vom Big Data Integration Service (BDIS) des Unternehmens Xplain.io angetrieben, das im Februar 2015 von Cloudera übernommen wurde. BDIS liefert umfassende Einblicke in Datenbestände und sorgt bei weltweiten Gesundheitsfirmen ebenso für eine Optimierung der Prozesse wie wie bei Finanzdienstleistern. Die Analyse millionenfacher Abfragen führt im Ergebnis zur Einsparung von Kosten in Millionenhöhe.
„Cloudera Enterprise ist zu einem immer wichtigeren Teil der Datenmanagement-Infrastruktur von Visa geworden. Der Cloudera Navigator Optimizer hilft uns festzustellen, welche Workloads am besten auf Hadoop laufen sollten, so dass wir die Effizienz unseres gesamten IT-Stacks optimieren können“, sagt Hemanth Thota, Architekt für Design und Datenintegration der Datenplattform von Visa.
Über den Cloudera Navigator Optimizer hinaus umfasst Cloudera Enterprise 5.5 eine Reihe weiterer Funktionen, um die Analyse auf Hadoop-Basis zu stärken. Dazu zählen:
- Analyse komplexer Datenstrukturen - Impala unterstützt nun auch geschachtelte Datenarten einschließlich JSON, um Datenerkundung und Business Intelligence auszudehnen.
- Sicherheitsanalyse über das Gesamtunternehmen hinweg - Impala umfasst nun auch Sicherheit auf Spaltenebene, um eine fein abgestufte Zugangskontrolle für alle Nutzer zu ermöglichen. Cloudera Enterprise umfasst als weitere Schutzfunktion nun auch die Verwaltung von Berechtigungen, einschließlich der Passwort-Herausgabe.
- Automatisierte Datenführung und erweiterbare Steuerung - Der Cloudera Navigator erzwingt automatisch vollständige Daten-Lifecycle-Workflows, einschließlich der Aufbewahrung und Archivierung, damit die richtigen Daten immer zur Nutzung bereitstehen. Auf dem Cloudera Navigator Accelerator-Programm aufbauend eröffnet das neue Cloudera Navigator SDK zudem Herkunfts- und Metadaten-Funktionen zu den führenden Partner-Tools, um eine erweiterte Sichtbarkeit zu erreichen, ganz gleich, welche Tools zur Integration, Einschleusung oder Analyse von Daten eingesetzt werden.