Big Data Management seit 40 Jahren: Selbst nach Anwendung von Tuning-Maßnahmen ist die Transformation großer Datensätze (über eine Million Zeilen) in DataStage immer noch zeitaufwendig, insbesondere ohne teure Hardware-Upgrades oder Aktualisierungen der Software.
Besonders rechenintensive Aufgaben wie Sortieren, Zusammenführen, Aggregieren und Laden großer Datenmengen können zu Engpässen führen. Die Parallelisierung oder Optimierung in anderen Schichten oder Werkzeugen kann umständlich und kostenintensiv sein und gleichzeitig die Leistung für andere Benutzer beeinträchtigen.
In Bezug auf die Datensicherheit können die von IBM angebotenen Lösungen zur Datenmaskierung teuer oder umständlich sein und nicht alle Anforderungen für die Identifikation personenbezogener Daten (PII) oder den Datenschutz erfüllen.
Beschleunigung von DataStage-Transformationen: Um die Leistung von DataStage zu steigern, empfiehlt sich die Nutzung von CoSort in einer sequenziellen Dateistufe oder in einem Unterprogramm vor der eigentlichen Job-Routine. Dies ermöglicht das Sortieren, Aggregieren und Zusammenführen großer Daten in einem einzigen Durchgang, ohne die Leistung anderer DataStage-Jobs, Datenbanken oder BI-Tools zu beeinträchtigen. Zudem können Dateiformat- und Datentypkonvertierungen, Feldmaskierungsfunktionen, benutzerdefinierte Berichte und vorsortierte Ladedateien integriert werden. Eine weitere Verbesserung der Leistung erfolgt durch die Vorab-Sortierung der Dateien nach Trennschlüsseln mithilfe eines SortCL-Skripts, gefolgt von der Definition der sortierten Felder in der Aggregationsstufe.
Maskierung von PII in DataStage: Da sich sensible Daten, einschließlich personenbezogener Informationen, in Tabellen und Flat-Files innerhalb von DataStage befinden können, ist es wichtig, diese gemäß Vertraulichkeitsbeschränkungen und Datenschutzgesetzen zu schützen. IRI FieldShield bieten verschiedene Schutzmöglichkeiten für Felder in strukturierten Datensätzen in ODBC-verbundenen Datenbanken oder Flat-File-Formaten. Dabei können Geschäftsregeln wie AES-256-Verschlüsselung, FIPS-konforme OpenSSL-Verschlüsselung, 3DES, GPG-Verschlüsselung, Wertsubstitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilmaskierung oder benutzerdefinierte Feldfunktionen festgelegt werden.
Erzeugung von Testdaten in DataStage: IRI RowGen bietet die Möglichkeit, sichere und realistische Testdaten zu generieren, es verwendet COBOL- oder CoSort-Metadaten sowie .dsx-definierte Dateien und RDB-Datenmodelle über JDBC. RowGen ermöglicht die Erstellung konformer, realistischer Testdaten durch zufällige Generierung und/oder die Auswahl aus vordefinierten Set-Dateien. Zudem sind integrierte Datenmanipulations- und Formatierungsfunktionen verfügbar.
Re-Hosting von DataStage-Jobs: Die Migration von DataStage zu einem schnelleren und kostengünstigeren ETL-Betrieb in IRI Voracity wird durch Erwin Mapping Manager oder Code-Automation Frameworks (CATfx) erleichtert. Diese bewährten Technologien sowie die ADS Lite Speed Conversion Services ermöglichen ETL-Architekten und der CIO/CFO-Suite erhebliche Kosteneinsparungen und einen kosteneffizienten Betrieb in der Zukunft.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Besonders rechenintensive Aufgaben wie Sortieren, Zusammenführen, Aggregieren und Laden großer Datenmengen können zu Engpässen führen. Die Parallelisierung oder Optimierung in anderen Schichten oder Werkzeugen kann umständlich und kostenintensiv sein und gleichzeitig die Leistung für andere Benutzer beeinträchtigen.
In Bezug auf die Datensicherheit können die von IBM angebotenen Lösungen zur Datenmaskierung teuer oder umständlich sein und nicht alle Anforderungen für die Identifikation personenbezogener Daten (PII) oder den Datenschutz erfüllen.
Beschleunigung von DataStage-Transformationen: Um die Leistung von DataStage zu steigern, empfiehlt sich die Nutzung von CoSort in einer sequenziellen Dateistufe oder in einem Unterprogramm vor der eigentlichen Job-Routine. Dies ermöglicht das Sortieren, Aggregieren und Zusammenführen großer Daten in einem einzigen Durchgang, ohne die Leistung anderer DataStage-Jobs, Datenbanken oder BI-Tools zu beeinträchtigen. Zudem können Dateiformat- und Datentypkonvertierungen, Feldmaskierungsfunktionen, benutzerdefinierte Berichte und vorsortierte Ladedateien integriert werden. Eine weitere Verbesserung der Leistung erfolgt durch die Vorab-Sortierung der Dateien nach Trennschlüsseln mithilfe eines SortCL-Skripts, gefolgt von der Definition der sortierten Felder in der Aggregationsstufe.
Maskierung von PII in DataStage: Da sich sensible Daten, einschließlich personenbezogener Informationen, in Tabellen und Flat-Files innerhalb von DataStage befinden können, ist es wichtig, diese gemäß Vertraulichkeitsbeschränkungen und Datenschutzgesetzen zu schützen. IRI FieldShield bieten verschiedene Schutzmöglichkeiten für Felder in strukturierten Datensätzen in ODBC-verbundenen Datenbanken oder Flat-File-Formaten. Dabei können Geschäftsregeln wie AES-256-Verschlüsselung, FIPS-konforme OpenSSL-Verschlüsselung, 3DES, GPG-Verschlüsselung, Wertsubstitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilmaskierung oder benutzerdefinierte Feldfunktionen festgelegt werden.
Erzeugung von Testdaten in DataStage: IRI RowGen bietet die Möglichkeit, sichere und realistische Testdaten zu generieren, es verwendet COBOL- oder CoSort-Metadaten sowie .dsx-definierte Dateien und RDB-Datenmodelle über JDBC. RowGen ermöglicht die Erstellung konformer, realistischer Testdaten durch zufällige Generierung und/oder die Auswahl aus vordefinierten Set-Dateien. Zudem sind integrierte Datenmanipulations- und Formatierungsfunktionen verfügbar.
Re-Hosting von DataStage-Jobs: Die Migration von DataStage zu einem schnelleren und kostengünstigeren ETL-Betrieb in IRI Voracity wird durch Erwin Mapping Manager oder Code-Automation Frameworks (CATfx) erleichtert. Diese bewährten Technologien sowie die ADS Lite Speed Conversion Services ermöglichen ETL-Architekten und der CIO/CFO-Suite erhebliche Kosteneinsparungen und einen kosteneffizienten Betrieb in der Zukunft.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
