Kontakt
QR-Code für die aktuelle URL

Story Box-ID: 1044832

JET-Software GmbH Edmund-Lang-Straße 16 64832 Babenhausen, Deutschland https://www.jet-software.com
Ansprechpartner:in Herr Amadeus Thomas +49 6073 711403
Logo der Firma JET-Software GmbH

❌ Pentaho Data Integration ❌ Extreme Beschleunigung in PDI (ehemals Kettle) von ETL plus sicheren Datenschutz für GDPR ❗

Funktionserweiterung & Verbesserung der Performance: 15x schnellere Sortierung, umfangreiche Datenmaskierung von Produktionsdaten und synthetische Testdaten ❗

(PresseBox) (Babenhausen, )
Herausforderungen: Pentaho Data Integration ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber einige (Sicherheits-)Mängel auf!

1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge.

2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden.

3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich.

Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung verbessern können und stellen dann Möglichkeiten vor, Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung zu erstellen.

Seit 1978 wird IRI CoSort eingesetzt, um Sortierfunktionen oder Sortierprozessschritte von Drittanbietern zu beschleunigen oder zu ersetzen. CoSort ist ein eigenständiges Produkt und die Standard-Datenmanipulations-Engine im Betrieb der IRI Voracity Datenmanagement-Plattform. Lizenznehmer beider Produkte können CoSort-Jobs in der kostenlosen IRI Workbench GUI, auf der Kommandozeile, von Pentaho aus, etc. ausführen.

Die Software Pentaho Data Integration (PDI) enthält eine native Sortierung, die für Ihre hochvolumigen Eingaben möglicherweise nicht schnell genug ist. Die PDI-Prozessabläufe unterstützen jedoch die Verwendung von Funktionen von Drittanbietern, so dass Daten extern sortiert werden können, ohne den Prozess zu unterbrechen. Durch die Verwendung des Shell-Skriptschritts von PDI zum Aufruf eines CoSort-Jobs (z. B. SortCL-Skript) können die Sortierzeiten drastisch reduziert werden.

Pentaho- und CoSort-Anwender können ein SortCL-Sortierskript in einem Texteditor oder über den neuen Sortierjob-Assistenten in der IRI Workbench GUI, die auf Eclipse™ aufbaut, erstellen.

Benchmarks zeigen, dass die Verwendung des Pentaho/CoSort-Hybrids 14-16 Mal schneller ist als die Verwendung des nativen Sortierschritts in Pentaho allein!

Über das Sortieren hinaus führt das CoSort SortCL-Programm eine Reihe zusätzlicher Transformationen zur gleichen Zeit durch und bereinigt, migriert, föderiert, schützt und berichtet über Daten in unterschiedlichen Quellen. Selbst wenn Sie Pentaho für viele Aktivitäten verwenden, können Sie also feststellen, dass es unter Umständen effizienter ist, bestimmte langsamer laufende Schritte an CoSort auszulagern, wenn Sie ein hohes Datenvolumen haben.

Klicken Sie hier für die Maskierung von Produktionsdaten in Pentaho, um so PII zu schützen und Datenschutzgesetze einzuhalten, oder hier um Testdaten für Pentaho synthetisch zu erstellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Website Promotion

Website Promotion

JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Für die oben stehenden Stories, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber (siehe Firmeninfo bei Klick auf Bild/Titel oder Firmeninfo rechte Spalte) verantwortlich. Dieser ist in der Regel auch Urheber der Texte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Bei Veröffentlichung senden Sie bitte ein Belegexemplar an service@pressebox.de.
Wichtiger Hinweis:

Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die unn | UNITED NEWS NETWORK GmbH gestattet.

unn | UNITED NEWS NETWORK GmbH 2002–2024, Alle Rechte vorbehalten

Für die oben stehenden Stories, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber (siehe Firmeninfo bei Klick auf Bild/Titel oder Firmeninfo rechte Spalte) verantwortlich. Dieser ist in der Regel auch Urheber der Texte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Bei Veröffentlichung senden Sie bitte ein Belegexemplar an service@pressebox.de.