Automatisierung von Aufträgen durch Datei-Überwachung: Die manuelle Auslösung von SortCL-kompatiblen Jobs in IRI Voracity ETL-, CoSort Reporting-, FieldShield Maskierung- oder NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, nicht realistisch oder produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.
In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.
Anmerkung: Dieser Artikel ist technischer Natur und erfordert ein grundlegendes Verständnis von Ereignissen und Skriptsprachen. IRI arbeitet an einer analogen, protokollbasierten Lösung zur Auslösung von SortCL-Jobs bei Echtzeitänderungen von Daten in relationalen Datenbanktabellen und MongoDB-Sammlungen.
Überblick über die Dateiüberwachung: Die Dateiüberwachung wird im Allgemeinen verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.
Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.
Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.
Dieser Beitrag konzentriert sich auf den ereignisgesteuerten Ansatz unter Verwendung von PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.
Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. Wir haben es zwar noch nicht getestet, aber PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar. Wie zu erwarten, sind nicht alle unter Windows verfügbaren Befehle auch unter Linux verfügbar.
Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.
Anmerkung: Dieser Artikel ist technischer Natur und erfordert ein grundlegendes Verständnis von Ereignissen und Skriptsprachen. IRI arbeitet an einer analogen, protokollbasierten Lösung zur Auslösung von SortCL-Jobs bei Echtzeitänderungen von Daten in relationalen Datenbanktabellen und MongoDB-Sammlungen.
Überblick über die Dateiüberwachung: Die Dateiüberwachung wird im Allgemeinen verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.
Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.
Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.
Dieser Beitrag konzentriert sich auf den ereignisgesteuerten Ansatz unter Verwendung von PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.
Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. Wir haben es zwar noch nicht getestet, aber PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar. Wie zu erwarten, sind nicht alle unter Windows verfügbaren Befehle auch unter Linux verfügbar.
Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
