Informatica beschleunigen oder verlassen: ETL-Jobs beschleunigen oder neu gestalten!
Herausforderungen: PowerCenter-Transformationen sehr großer Datenmengen erfordern eine Partitionierung und können auch nach Rücksprache und Abstimmung langsamer laufen als gewünscht. Engpässe können bei großen Sortier-, Join-, Aggregations-, Lade- oder Entladevorgängen auftreten. Die ersten Optionen von Informatica zur "Push-Down-Optimierung" verlagern die Last in eine bereits ausgelastete Datenbank (Oracle) oder eine sehr teure/komplexe Plattform (Teradata).
Eine weitere ernste Notwendigkeit ist der Schutz sensibler Produktionsdaten, die durch das Informatica Data Warehouse, den Data Mart oder den Testbetrieb transportiert werden. Möglicherweise müssen Sie rollenbasierte Datensicherungen anwenden oder große Mengen realistischer, referenzfreier Testdaten für Prototypanwendungen erzeugen und bestimmte Ziele ausfüllen.
1. Pushdown-Optimierung: Um Transformationen, Berichte und Schutz auf Feldebene im Allgemeinen zu beschleunigen, sollten Sie die Verwendung von CoSort SortCL-Programmen neben Ihren PowerCenter- oder PowerMart-Betrieben in Betracht ziehen.
Die American Stock Exchange nutzt CoSort als "Push-Down-Optimierung", um die Transformationsleistung drastisch zu steigern. Auf einer 4-CPU IBM p640, die PowerCenter 20m:35s zum Sortieren benötigte, erledigte SortCL den gleichen Job in 1m:19s. Dies stellte nur eine nominelle inkrementelle Softwareinvestition dar und belastete ihre Datenbank nicht.
Führen Sie große Sortierungen, Joins, Aggregationen und Ladungen im Dateisystem durch, wo es viel schneller ist. Plus, konvertieren Sie Datei- und Datentypen, maskieren Sie PII und erstellen Sie benutzerdefinierte Berichte - alles gleichzeitig (im selben Job-Skript und I/O-Pass). Hier weitere Details.
2. Kostengünstige Datenmaskierung: Möglicherweise möchten Sie die von Informatica erworbene dynamische Datenmaskierungs-Software nicht verwenden. Das datenzentrische Sicherheitsprodukt von IRI, FieldShield, verfügt über mehr Methoden zum Schutz von Feldern in strukturierten Datensätzen und verwendet einfache, portable, Eclipse™-unterstützte Jobskripte.
Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen: formaterhaltende AES-256, Open SSL- und GPG-Verschlüsselung, Lookup-Value-Substitution (Pseudonymisierung), Zeichenmaskierung, benutzerdefinierte Ausdruckslogik, Benutzerfeld-Funktionen und vieles mehr.
3. Konformität der Testdaten: Benötigen Sie Testdaten für das Prototyping von Informatica ETL? Nutzen Sie IRI RowGen, um es schnell und kostengünstig zu generieren. Mit RowGen können Sie realistische, referenziell korrekte Testdaten erstellen, um Zieltabellen, Data Marts, Data Vault-Modelle, vollständige EDWs, Flat-Files und Produktionsberichte aufzufüllen und dabei Ihre Datenbankdatenmodelldateien (.DDL) und Informatica Metadaten zu nutzen.
4. Re-Plattform: Sie können ETL-Aufträge in Informatica nun automatisch über die Erwin (ehemals AnalytiX DS) Code-Automation Frameworks (CATfx) Technologie in Voracity konvertieren. Sowohl Informatica- als auch Voracity-Metadaten sind in Erwin Mapping Manager modelliert, so dass Sie Projekte problemlos zwischen den beiden Plattformen verschieben können. Voracity ist im Vergleich zu Informatica PowerCenter um ein Vielfaches schneller und kostengünstiger und mit dieser bewährten Technologie ist es endlich möglich, zu wechseln.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Herausforderungen: PowerCenter-Transformationen sehr großer Datenmengen erfordern eine Partitionierung und können auch nach Rücksprache und Abstimmung langsamer laufen als gewünscht. Engpässe können bei großen Sortier-, Join-, Aggregations-, Lade- oder Entladevorgängen auftreten. Die ersten Optionen von Informatica zur "Push-Down-Optimierung" verlagern die Last in eine bereits ausgelastete Datenbank (Oracle) oder eine sehr teure/komplexe Plattform (Teradata).
Eine weitere ernste Notwendigkeit ist der Schutz sensibler Produktionsdaten, die durch das Informatica Data Warehouse, den Data Mart oder den Testbetrieb transportiert werden. Möglicherweise müssen Sie rollenbasierte Datensicherungen anwenden oder große Mengen realistischer, referenzfreier Testdaten für Prototypanwendungen erzeugen und bestimmte Ziele ausfüllen.
1. Pushdown-Optimierung: Um Transformationen, Berichte und Schutz auf Feldebene im Allgemeinen zu beschleunigen, sollten Sie die Verwendung von CoSort SortCL-Programmen neben Ihren PowerCenter- oder PowerMart-Betrieben in Betracht ziehen.
Die American Stock Exchange nutzt CoSort als "Push-Down-Optimierung", um die Transformationsleistung drastisch zu steigern. Auf einer 4-CPU IBM p640, die PowerCenter 20m:35s zum Sortieren benötigte, erledigte SortCL den gleichen Job in 1m:19s. Dies stellte nur eine nominelle inkrementelle Softwareinvestition dar und belastete ihre Datenbank nicht.
Führen Sie große Sortierungen, Joins, Aggregationen und Ladungen im Dateisystem durch, wo es viel schneller ist. Plus, konvertieren Sie Datei- und Datentypen, maskieren Sie PII und erstellen Sie benutzerdefinierte Berichte - alles gleichzeitig (im selben Job-Skript und I/O-Pass). Hier weitere Details.
2. Kostengünstige Datenmaskierung: Möglicherweise möchten Sie die von Informatica erworbene dynamische Datenmaskierungs-Software nicht verwenden. Das datenzentrische Sicherheitsprodukt von IRI, FieldShield, verfügt über mehr Methoden zum Schutz von Feldern in strukturierten Datensätzen und verwendet einfache, portable, Eclipse™-unterstützte Jobskripte.
Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen: formaterhaltende AES-256, Open SSL- und GPG-Verschlüsselung, Lookup-Value-Substitution (Pseudonymisierung), Zeichenmaskierung, benutzerdefinierte Ausdruckslogik, Benutzerfeld-Funktionen und vieles mehr.
3. Konformität der Testdaten: Benötigen Sie Testdaten für das Prototyping von Informatica ETL? Nutzen Sie IRI RowGen, um es schnell und kostengünstig zu generieren. Mit RowGen können Sie realistische, referenziell korrekte Testdaten erstellen, um Zieltabellen, Data Marts, Data Vault-Modelle, vollständige EDWs, Flat-Files und Produktionsberichte aufzufüllen und dabei Ihre Datenbankdatenmodelldateien (.DDL) und Informatica Metadaten zu nutzen.
4. Re-Plattform: Sie können ETL-Aufträge in Informatica nun automatisch über die Erwin (ehemals AnalytiX DS) Code-Automation Frameworks (CATfx) Technologie in Voracity konvertieren. Sowohl Informatica- als auch Voracity-Metadaten sind in Erwin Mapping Manager modelliert, so dass Sie Projekte problemlos zwischen den beiden Plattformen verschieben können. Voracity ist im Vergleich zu Informatica PowerCenter um ein Vielfaches schneller und kostengünstiger und mit dieser bewährten Technologie ist es endlich möglich, zu wechseln.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
