
❌ Pentaho Data Integration ❌ 16-fache ETL-Beschleunigung von PDI (vorher Kettle) und End-to-End Datenmanagement ❗
1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge.
2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden.
3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich.
Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung verbessern können und stellen dann Möglichkeiten vor, Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung zu erstellen.
Seit 1978 wird IRI CoSort eingesetzt, um Sortierfunktionen oder Sortierprozessschritte von Drittanbietern zu beschleunigen oder zu ersetzen. CoSort ist ein eigenständiges Produkt und die Standard-Datenmanipulations-Engine im Betrieb der IRI Voracity Datenmanagement-Plattform. Lizenznehmer beider Produkte können CoSort-Jobs in der kostenlosen IRI Workbench GUI, auf der Kommandozeile, von Pentaho aus, etc. ausführen.
Die Software Pentaho Data Integration (PDI) enthält eine native Sortierung, die für Ihre hochvolumigen Eingaben möglicherweise nicht schnell genug ist. Die PDI-Prozessabläufe unterstützen jedoch die Verwendung von Funktionen von Drittanbietern, so dass Daten extern sortiert werden können, ohne den Prozess zu unterbrechen. Durch die Verwendung des Shell-Skriptschritts von PDI zum Aufruf eines CoSort-Jobs (z. B. SortCL-Skript) können die Sortierzeiten drastisch reduziert werden.
Pentaho- und CoSort-Anwender können ein SortCL-Sortierskript in einem Texteditor oder über den neuen Sortierjob-Assistenten in der IRI Workbench GUI, die auf Eclipse™ aufbaut, erstellen.
Benchmarks zeigen, dass die Verwendung des Pentaho/CoSort-Hybrids 14-16 Mal schneller ist als die Verwendung des nativen Sortierschritts in Pentaho allein!
Über das Sortieren hinaus führt das CoSort SortCL-Programm eine Reihe zusätzlicher Transformationen zur gleichen Zeit durch und bereinigt, migriert, föderiert, schützt und berichtet über Daten in unterschiedlichen Quellen. Selbst wenn Sie Pentaho für viele Aktivitäten verwenden, können Sie also feststellen, dass es unter Umständen effizienter ist, bestimmte langsamer laufende Schritte an CoSort auszulagern, wenn Sie ein hohes Datenvolumen haben.
Klicken Sie hier für die Maskierung von Produktionsdaten in Pentaho, um so PII zu schützen und Datenschutzgesetze einzuhalten, oder hier um Testdaten für Pentaho synthetisch zu erstellen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Informatica ❌ Nahtlos 6-fache ETL-Beschleunigung mit Pushdown-Optimierung und DSGVO-konformen Datenschutz gewährleisten❗
PowerCenter-Transformationen sehr großer Datenmengen erfordern eine Partitionierung und können auch nach Rücksprache und Abstimmung langsamer laufen als gewünscht. Engpässe können bei großen Sortier-, Join-, Aggregations-, Lade- oder Entladevorgängen auftreten. Die ersten Optionen von Informatica zur "Pushdown-Optimierung" verlagern die Last in eine bereits ausgelastete Datenbank (Oracle) oder eine sehr teure/komplexe Plattform (Teradata).
Eine weitere ernste Notwendigkeit ist der Schutz sensibler Produktionsdaten, die durch das Informatica Data Warehouse, den Data Mart oder den Testbetrieb transportiert werden. Möglicherweise müssen Sie rollenbasierte Datensicherungen anwenden oder große Mengen realistischer, referenzfreier Testdaten für Prototypanwendungen erzeugen und bestimmte Ziele ausfüllen.
Pushdown-Optimierung: Um Transformationen, Berichte und Schutz auf Feldebene im Allgemeinen zu beschleunigen, sollten Sie die Verwendung von CoSort SortCL-Programmen neben Ihren PowerCenter- oder PowerMart-Betrieben in Betracht ziehen.
Die American Stock Exchange nutzt CoSort als "Push-Down-Optimierung", um die Transformationsleistung drastisch zu steigern. Auf einer 4-CPU IBM p640, die PowerCenter 20m:35s zum Sortieren benötigte, erledigte SortCL den gleichen Job in 1m:19s. Dies stellte nur eine nominelle inkrementelle Softwareinvestition dar und belastete ihre Datenbank nicht.
Führen Sie große Sortierungen, Joins, Aggregationen und Ladungen im Dateisystem durch, wo es viel schneller ist. Plus, konvertieren Sie Datei- und Datentypen, maskieren Sie PII und erstellen Sie benutzerdefinierte Berichte – alles gleichzeitig (im selben Job-Skript und I/O-Pass). Hier weitere Details.
Kostengünstige Datenmaskierung: Möglicherweise möchten Sie die von Informatica erworbene dynamische Datenmaskierungs-Software nicht verwenden. Das datenzentrische Sicherheitsprodukt IRI FieldShield, verfügt über mehr Methoden zum Schutz von Feldern in strukturierten Datensätzen und verwendet einfache, portable, Eclipse™-unterstützte Jobskripte.
Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen: formaterhaltende AES-256, Open SSL- und GPG-Verschlüsselung, Lookup-Value-Substitution (Pseudonymisierung), Zeichenmaskierung, benutzerdefinierte Ausdruckslogik, Benutzerfeld-Funktionen und vieles mehr.
Konformität der Testdaten: Benötigen Sie Testdaten für das Prototyping von Informatica ETL? Nutzen Sie IRI RowGen, um es schnell und kostengünstig zu generieren. Mit RowGen können Sie realistische, referenziell korrekte Testdaten erstellen, um Zieltabellen, Data Marts, Data Vault-Modelle, vollständige EDWs, Flat-Files und Produktionsberichte aufzufüllen und dabei Ihre Datenbankdatenmodelldateien (.DDL) und Informatica Metadaten zu nutzen.
Re-Plattform: Sie können ETL-Aufträge in Informatica nun automatisch über die Erwin (ehemals AnalytiX DS) Code-Automation Frameworks (CATfx) Technologie in Voracity konvertieren. Sowohl Informatica- als auch Voracity-Metadaten sind in Erwin Mapping Manager modelliert, so dass Sie Projekte problemlos zwischen den beiden Plattformen verschieben können. Voracity ist im Vergleich zu Informatica PowerCenter um ein Vielfaches schneller und kostengünstiger und mit dieser bewährten Technologie ist es endlich möglich, zu wechseln.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Data Vault 2.0 ❌ Datenmigration von RDB-Datenbankmodell in eine Data Vault 2.0 Architektur – der hybride Ansatz ❗
Alle Optionen erstellen das Entity Relationship Diagram (ERD) für die Ausgaben. Die erste Option erzeugt nur die vollständige DDL und ERD. Die zweite Option erstellt eine DDL für Tabellen, die noch nicht existieren, und erstellt außerdem Jobskripte zum Laden der Daten aus den Quelltabellen in die neuen Zieltabellen. Die dritte Option erstellt eine DDL für Tabellen, die nicht existieren, und lädt die neuen Tabellen mit zufällig generierten Testdaten. Dieser Artikel behandelt Option drei.
Laut Dan Lindstedt, dem Erfinder des Data Vault, "ist der Data Vault ein detailorientierter, historisch nachverfolgender und eindeutig verknüpfter Satz normalisierter Tabellen, die einen oder mehrere Funktionsbereiche des Unternehmens unterstützen.
Data Vault ist ein hybrider Ansatz, der das Beste aus der 3. Normalform (3NF) und dem Sternschema umfasst … [es] ist eine Datenintegrationsarchitektur; eine Reihe von Standards und definitorischen Elementen oder Methoden [dafür, wie] Informationen innerhalb eines RDBMS-Datenspeichers verbunden werden, um sie sinnvoll zu nutzen."
Im DV2-Standard gibt es drei Arten von Tabellen. Ein Hub enthält die eindeutigen Geschäftsschlüssel. Ein Link definiert die Beziehungen zwischen den Geschäftsschlüsseln. Ein Satellit enthält den Kontext (Attribute) der Tabelle. Ein Satellit kann entweder ein Kind einer Hub- oder einer Link-Tabelle sein.
In jeder dieser Tabellen wird ein Hash der Rohdaten des Schlüssels als Primärschlüssel der neuen Tabelle verwendet. Jede Tabelle enthält auch die Quelle der ursprünglichen Daten und einen Ladezeitstempel für die historische Verfolgung. Ein Satellit enthält auch einen Endzeitstempel und eine optionale Hash-Differenz zur Verfolgung von Änderungen an den Datensätzen.
Der "Voracity Data Vault Generator Wizard" verwendet die vorhandenen Primär- (PK) und Fremdschlüssel (FK) als Ausgangspunkt für die Organisation der neuen Tabellen. Die Standardwerte pro Tabelle sind wie folgt:
- Ein Knotenpunkt für jeden PK-Schlüssel (einschließlich zusammengesetzter Schlüssel).
- Ein Link für jeden selbstreferenzierenden FK.
- Ein Link für jede Gruppe von FKs (ohne die selbstreferenzierenden Schlüssel).
- Ein Satellit auf dem Hub, wenn die Tabelle null FKs enthält.
- Ein Satellit auf dem Link, wenn mindestens ein FK existiert.
In diesem Beispiel werden sieben verknüpfte Tabellen verwendet, die Personaldaten darstellen. Nachfolgend ist die ERD für die Quelltabellen dargestellt. Alle technischen Details dazu sind hier im Blog-Artikel zu finden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Beschleunigung von Splunk ❌ Schnellere Datenverarbeitung vor der Indizierung in Splunk Phantom für bessere Performance ❗
Der Vorteil ist ein nahtloser, gleichzeitiger operativer Daten-zu-Informationsfluss von der schnellen Vorbereitung und dem Schutz großer und kleiner Datenquellen durch Voracity bis hin zu den leistungsstarken Visualisierungen und dem adaptiven Response-Framework von Splunk.
In einem einzigen Durchgang durch mehrere Eingaben können Voracity-Jobs Daten für Analysen transformieren, filtern, bereinigen, neu formatieren und in ein Stadium (Wrangling) bringen und die darin enthaltenen PII für Compliance- und Datenverletzungen zu de-identifizieren!
Die Anwendung nimmt Daten, die von IRI-Jobs erzeugt werden die in den 4GL (*.cl)-Job-Skripten von "SortCL"-kompatiblen Produkten in Voracity definiert sind – einschließlich CoSort, NextForm, FieldShield und RowGen – und indexiert deren Ergebnisse automatisch in festgelegten Intervallen in Splunk.
Diese IRI-App für Splunk ist auch in der Lage, zusätzliche Befehlszeilenargumente auszuführen, die diesen Jobs zur Verfügung stehen, wie z.B. /WARNINGSON, /STATISTICS und zusätzliche /OUTFILE-Ziele.
Splunk ist ein robustes Analysetool für eine Vielzahl von Datenquellen. Splunk kann jedoch keine Dark Data auf umfassende Weise aufnehmen und es fehlt ihm an den Datenschutzfunktionen, die Compliance-orientierte Datenwissenschaftler benötigen. Mit IRI-Software und solchen Splunk-Kombinationen wie diesen können Sie noch viel mehr tun:
1. Splunk sofort mit vorbereiteten und geschützten Daten indizieren: Mit dem neuen IRI-Add-on für Splunk können Sie die extrem schnellen Datenaufbereitungs– und Schutzfunktionen von IRI Voracity aus Splunk heraus nutzen. Integrieren und maskieren Sie Rohdatensätze in einer Vielzahl von Formaten, u m sie sofort über den Speicher in Splunk-Indizes zu übertragen.
2. Unstrukturierte Datensätze für Splunk vorbereiten: Der Dark Data Discovery Wizard in der IRI Workbench GUI kann Daten in MS Office Dokumenten, E-Mail Repositories und .pdf,.rtf und.xml Dateien auf einmal suchen und strukturieren. Es kann auch forensische Metadaten über jede Datenquelle mit einem Element entdecken, das dem Suchmuster des Benutzers entspricht.
Die resultierende Flat-File enthält alle Daten (und optionale Metadaten), die Splunk leicht indizieren kann…. und sogar in der gleichen GUI mit Ihren Datenaufbereitungs- und Verwaltungsaktivitäten anzeigen kann, siehe weitere Details in unserem Blog hier.
3. Schutz der Daten für Splunk, mit oder ohne Reversibilität: Splunk hat eine Reihe von Datenverschlüsselungsszenarien identifiziert, bietet aber nicht die formaterhaltende Verschlüsselung von IRI FieldShield (einzeln verfügbar in der gleichen GUI oder als Teil eines Voracity-Abonnements), die Realismus bei der Dateneingabe oder referentielle Integrität bei der Datenabgabe gewährleistet. Verwenden Sie das IRI-Add-on für Splunk, um ein FieldShield (od er IRI RowGen Testdatengenerierung) Job-Skript auszuführen, um diese Daten in Splunk zu indizieren, wenn sie geschützt (oder produziert) sind.
Da sich die Datenschutzfunktionen von IRI auf Feldebene befinden, sind sie sicherer; wenn (im Gegensatz zu Splunk) ein Verschlüsselungscode offenbart wird, sind andere Felder mit anderen Schlüsseln oder Algorithmen noch sicher, siehe mehr Details in unserem Blog hier.
4. Senden Sie die Protokolle der IRI-Datensicherheitssoftware an Splunk: Darüber hinaus können alle statischen IRI-Datenmaskierungsprodukte – FieldShield, DarkShield und CellShield EE – Audit-Trail-Ausgaben erzeugen, die für Spunk Enterprise Security (ES) SIEM/SOC-Umgebungen geeignet sind.
In dieser Pressemitteilung finden Sie Links zu Artikeln über die Anzeige und das Verhalten bei Daten von IRI-Produkten wie DarkShield in Splunk! Hier ist ein Beispiel für Splunk ES, das die DarkShield Dark Data Search und das Maskieren von Logs visualisiert.
In dem Blog-Artikel unseres Partners finden Sie ein Beispiel für Splunk ES, das die DarkShield Dark Data Suche und das Maskieren von Logs visualisiert!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Cubeware ❌ Datenintegration in Cubeware Cockpit beschleunigen und GDPR-konforme Daten für BI-Analysen nutzen ❗
In früheren Artikeln im Business Intelligence (BI)-Abschnitt haben wir beschrieben, wie der Umgang mit Daten mit der SortCL-Engine im Datenmanipulationsprodukt IRI CoSort und der Datenverwaltungsplattform Voracity die Zeit bis zur Datenvisualisierung und damit zu verwertbaren Erkenntnissen in BI-Tools verkürzt. In diesem Artikel werden die Vorteile des Data Wranglings hervorgehoben, die Voracity für Analysen in der Cubeware-Plattform bietet.
Voracity ist zwar sehr schnell im Umgang mit Daten und verfügt über ein breites Spektrum an Datenmanipulations- und Datenschutzfunktionen, es fehlt jedoch ein Onboard-Visualisierungs- und Dashboarding-Tool. Hier kommt Cubeware ins Spiel. Umgekehrt steigert Voracity für Anwender von Cubeware Software den Wert ihres Importer-Prozesses durch schnelle, konsolidierte Datentransformation, Bereinigung und Maskierung.
Cubeware bietet mit dem Importer ein grafisches ETL-Tool zur Konsolidierung von Daten aus verschiedenen Quellsystemen mit umfassenden Transformationsprozessen an, das viele Funktionalitäten mit Voracity gemeinsam hat.
Was ist der Nutzen von Voracity? Für mehr Geschwindigkeit bei der Vorbereitung von großen Big Data Dateien, zusätzliche Datenqualitätsmerkmale und für datenzentrierte Sicherheitsfunktionen (PII-Klassifizierung, Discovery und Maskierung) zur konformen Datenschutz-Einhaltung.
Zunächst verwendet Voracity die SortCL-Engine, um Daten schneller zu integrieren und zu verarbeiten als der Cubeware Importer und die meisten ETL-Tools auf dem Markt. SortCL ist ein schnelles, aufgabenkonsolidierendes Datenverarbeitungsprogramm für strukturierte und halbstrukturierte Quellen, das Speicher, Threads und E/A optimiert. Es läuft auf Windows- und Linux/Unix-Befehlszeilen lokal oder in der Cloud.
SortCL-Jobs werden in einfachen 4GL-Job-Skripten spezifiziert, die auch in einer freien grafischen IDE namens IRI Workbench, die auf Eclipse™ basiert, entworfen und verwaltet werden können. SortCL-Programme sind nicht nur leicht verständlich, sondern unterstützen auch eine Vielzahl von Datenmanipulations-, Mapping-, Munging-, Maskierungs- und Mining-Funktionen für Hunderte von Anwendungsfällen in den Bereichen Datenverarbeitung, Schutz, Prototyping und Präsentation.
SortCL kann Voracity eine Vielzahl von Datenqualitätsfunktionen unterstützen! Die Datenvalidierungsfunktionen können die Datenqualität verbessern, z. B. durch die Schaffung von Bedingungen zum Testen auf leere Werte, groß- oder kleingeschriebene Werte, alphabetische und numerische Werte, druckbare Werte und vieles mehr. Es kann auch Datensätze filtern, die bestimmte Bedingungen, Bereiche oder Mengenschwellen erfüllen. GDPR-Konformität kann durch SortCL-unterstützte Daten-‚Schilde‘ erreicht werden, die PII wie Löschung, Verschlüsselung, Schwärzung und Pseudonymisierung usw. maskieren.
Vor allem aber können alle oben genannten Aktivitäten, die mit ETL, Datenqualität und Maskierung zu tun haben, gleichzeitig und im selben Job-Skript und E/A-Durchlauf durchgeführt werden, was zu einer erheblichen Zeitersparnis bei der Entwicklung und Ausführung von Jobs führt. SortCL kann auch benutzerdefinierte 2D-Detail- und Zusammenfassungsberichte erstellen, um einen schnellen Überblick über die Daten zu bieten und sicherzustellen, dass alles korrekt erscheint, bevor Cockpit mit den Übergaben gefüttert wird, die es für die schnelle Anzeige benötigt.
Fazit: Der größte Vorteil von Voracity ist die schnelle und robuste Verarbeitung von Flat-Files. Wenn es in der Lage ist, einen großen Prozentsatz von Datensätzen aus einer sehr großen Datei herauszufiltern, kann sein SortCL-Programm einen schnellen Datentransfer von Datei zu Datenbank ermöglichen. Datentransformation, Validierung, Bereinigung, Maskierung und Neuformatierung sind alles unterstützte Funktionen, die in einem SortCL-Skript und E/A-Durchlauf kombiniert werden können.
Im Allgemeinen würden SortCL-Skripte von Datei zu Datenbank beim Schreiben einer großen Anzahl von Datensätzen in die Datenbank zu langsameren Ergebnissen führen als Cubeware. SortCL kann jedoch die Eingabe von Flat-Files schneller verarbeiten und sie dann auf viel kleinere Untermengen von Datensätzen filtern, die für eine Datenbank gebunden sind.
Beim Lesen aus einer Datenbank und beim Schreiben in eine Flat-File kann die SortCL-Engine einige Geschwindigkeitsvorteile bieten. Ein von Cubeware zur Verfügung gestellter Benchmark ergab einen Durchschnitt von 5m:32s, um ähnliche Filterungen und Transformationen durchzuführen, die SortCL in 2m:11s durchführte. Die Eingabe für diesen Benchmark war Microsoft SQL Server, und die Ausgabe war eine durch Semikolon getrennte Textdatei.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ ETL vs. ELT ❌ Effizientere und umfassende Datenintegration und Data Staging bzw. Datenaufbereitung ❗
Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden.
ETL: Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt.
ETL ist nach wie vor weit verbreitet, da der Markt mit bewährten Anbietern wie Informatica, IBM, Oracle – und IRI mit Voracity, das FACT (Fast Extract), CoSort- oder Hadoop-Transformationen und Bulk Loading in derselben Eclipse-GUI kombiniert – floriert, um Daten zu extrahieren und zu transformieren. Dieser Ansatz verhindert, dass Datenbanken, die für die Speicherung und den Abruf von Daten (Abfrageoptimierung) konzipiert sind, mit dem Overhead einer groß angelegten Datentransformation belastet werden.
ELT: Mit der Entwicklung neuer Datenbanktechnologien und Hardware-Appliances wie Oracle Exadata, die Transformationen "in a box" verarbeiten können, kann ELT jedoch unter bestimmten Umständen eine praktische Lösung sein. Die Isolierung der Staging- (Laden) und der semantischen (Transformieren) Schicht bietet zudem besondere Vorteile.
Sehen Sie in diesem Artikel alle Vorteile und Nachteile, differenziert gelistet nach ETL und ELT.
In der Folge entstehen hybride Architekturen wie ETLT, TELT und sogar TETLT, mit denen versucht wird, die Schwächen der beiden Ansätze zu beheben. Diese scheinen jedoch die ohnehin schon komplizierten Prozesse noch weiter zu verkomplizieren. Es gibt wirklich kein Patentrezept, und viele Datenintegrationsprojekte scheitern an der Last der SLAs, der Kostenüberschreitungen und der Komplexität.
Aus diesen Gründen wurde IRI Voracity entwickelt, um Daten über das CoSort SortCL-Programm in bestehende Dateisysteme oder Hadoop-Fabrics ohne Neucodierung zu integrieren. Voracity ist die einzige ETL-orientierte (aber auch ELT-unterstützende) Plattform, die beide Optionen für externe Datentransformationen bietet. Neben einem hervorragenden Preis-Leistungs-Verhältnis bei der Datenbewegung und -manipulation bietet Voracity:
- erweiterte Datentransformation, Datenqualität, MDM und Reporting
- Slowly Changing Dimensions, Change Data Capture, Datenföderation
- Datenprofilierung, Datenmaskierung, Testdatengenerierung und Metadatenmanagement
- einfache 4GL-Skripte, die Sie oder Eclipse-Assistenten, Diagramme und Dialoge erstellen und verwalten
- nahtlose Ausführung in Hadoop MR2, Spark, Spart Stream Storm und Tez
- Unterstützung für erwin Smart Connectors (Konvertierung von anderen ETL-Tools)
- native MongoDB-Treiber und Verbindungen zu anderen NoSQL-, Hadoop-, Cloud- und Legacy-Quellen
- eingebettete Reporting-, Statistik- und Vorhersagefunktionen, KNIME- und Splunk-Anbindungen sowie Datenfeeds für Analysetools.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Data Warehouse ❌ Wachsendes DHW bewältigen ohne zusätzlicher Hardware, Spark oder Hadoop ❗
- eine teure Parallelverarbeitungs-Edition
- Entnahme von Datenbank- oder Systemressourcen von Dritten
- eine komplexe, schwer zu wartende Hadoop-Umgebung
- eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades
- das Problem auf eine noch teurere Datenbank zu übertragen
Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die viel zu lange dauern. Auch nachfolgende Aufgaben wie das Laden, das Analysieren oder die BI-Displays leiden. Zudem werden diese E-, T- und L-Schritte typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt.
Lösungen: IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort und die IRI Voracity Datenmanagement-Plattform können innerhalb anderer ETL-Tools ausgeführt werden, die auf Unix-, Linux- oder Windows-Hardware laufen.
Optimieren Sie Sortier-, Joint- und Aggregationstransformationen in Inormatica, DataStage, Talend, Pentaho, ODI und anderen Tools mit der SortCL-Engine. Viele SortCL-Aufträge können auch nahtlos in Hadoop ausgeführt werden und werden mit anderen Tools auf API- oder Skriptebene aufgerufen, z.B. in Kalido, ETI, Software AG Natural, SAS und TeraStream.
Verwenden Sie die Metadaten und Workflows die Sie haben und rufen Sie die IRI-Software einfach von Ihrem Tool aus auf, um die Geschwindigkeit zu erhöhen und/oder Entladen, Datentransformationen und Operationen wie:
- Sortierungen
- Joins
- Aggregate
- Lookups
- Perl-kompatible reguläre Ausdrücke
- Datentyp- und Dateiformatkonvertierungen
- Feld-/Spaltenverschlüsselung und Maskierung
- Detail-, Delta- (CDC) und Summenberichte
- Pivoting von Zeilen und Spalten
- Slowly Changing Dimensions
- Generierung von Testdaten
Sie können IRI-Jobs auch von der Shell aus (als Batch-Ausführung oder ETL-Tool-Befehl) über API oder Eclipse GUI aufrufen und Daten bei Bedarf über Dateien, Pipelines oder Prozeduren hin und her fließen lassen. In der GUI-Umgebung der IRI Workbench können Sie die einzelnen Job-Spezifikationen oder komplette ELT- oder ELT-Flüsse erstellen, die CoSort (und FACT) mit Ihren Quellen und Zielen verbinden.
Erwin (AnalytiX DS) und Meta Integration Model Bridge (MIMB) Software oder Dienste können auch Metadaten, die in gängigen ETL-Tools (wie Informatica’s.xml und DataStage.dsx Repositories) definiert sind in gleichwertige Voracity-Daten- (und/oder Job-) Spezifikationen konvertieren, wenn Sie diese Mappings in Voracity umplatzieren möchten um Geld und Zeit zu sparen. Diese automatische Metadatenreplikation bewahrt Ihre bestehenden Designinvestitionen, erleichtert die Schaffung von Arbeitsplätzen und reduziert die Migrationskosten.
Kontaktieren Sie uns für einen gezielten Benchmark von Ihrer benutzerdefinierten Umgebung!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ VLDB ❌ Viel schnellere Datenerfassung für Datenintegration, Datenmigration und Archivierung ❗
IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten Bulkladungen von IRI CoSort ist der schnellste und kostengünstigste Weg, um Big Data ETL– und Offline-Reorgs durchzuführen.
IRI FACT ist der schnellste Weg für:
- Entladen von sehr großen Datenbank-(VLDB)-Transaktions-(Fakten)-Tabellen
- formatierte Flat-Files aus einer Tabelle erzeugen
- Erstellen der Steuerdatei-Metadaten für Datenbank-Massenladeprogramme
- Erstellen von IRI CoSort (oder Voracity ETL) Metadaten für Transformationen, Rollups, Delta-Berichte und Preload-Sortierungen
- Erstellen von IRI NextForm-Metadaten zur Konvertierung der exportierten Daten und Dateitypen
- Erstellung von IRI FieldShield-Metadaten zur Spaltenverschlüsselung, De-Identifizierung und Maskierung von Spalten
- Erstellen von IRI RowGen-Metadaten zur Generierung sicherer Testdaten im Tabellenformat
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Datenverarbeitung ❌ Die bewährte, erschwingliche und schnelle Datenmanagement-Plattform für Big Data ❗
VOLUME: Daten aus internen und öffentlichen Quellen wachsen exponentiell. Voracitys langjährig bewährte IRI CoSort-Engine führt und kombiniert Multi-Gigabyte-Transformationen in Sekundenschnelle und übertrifft damit die Geschwindigkeit herkömmlicher Sortier-, BI-, DB- und ETL-Tools um das 2-20fache.
VIELSEITIGKEIT: Die Vielzahl an strukturierten und unstrukturierten Quellen übersteigt die Möglichkeiten der meisten Tools. Voracity unterstützt mehr als 150 Datenquellen und -ziele, darunter Legacy- und EDI-Dateien, multiple und multi-byte Daten und endianische Typen, jedes RDBMS, sowie viele Big Data und Cloud/SaaS-Quellen.
VELOCITY: CDR-, IOT-, Sozial- und Transaktionsdaten kommen schnell und in unterschiedlichen Intervallen. CoSort oder nahtlos integrierte Hadoop-Engines in Voracity skalieren Workloads über Commodity-Hardware. Voracity kann auch Echtzeit-, Fast-Echtzeit- oder Streaming-DB-, Datei- oder Nachrichtendaten über Kafka oder MQTT, Pipes oder Prozeduren, Spark oder Storm und IRI Ripcurrent verarbeiten.
VERACITY: Daten von geringer Qualität mindern den Wert von Analysen und Tests, und personenbezogene Daten stellen ein Risiko für Sie dar. Voracitys Validierungs-, Scrubbing-, Anreicherungs- und Vereinheitlichungsfunktionen verbessern alle die Datenqualität. Die eingebetteten Funktionen zur Datenklassifizierung, -erkennung und -maskierung sowie die Unterteilung von Datenbanken und die realistische Synthese von Testdaten helfen Ihnen, Datenschutzverletzungen zu verhindern, DevOps zu verbessern und Datenschutzgesetze einzuhalten.
VALUE: Wenn Sie Ihre Informations- und Entscheidungsbedürfnisse auf der Basis von Daten (neu) überdenken, sollten Sie den Wert einer echten Analyseplattform für die Produktion in Betracht ziehen, die Datenaufbereitung mit Analyse und Visualisierung verbindet. Oder kombinieren Sie Voracity mit DataSwitch für Self-Service-Datenvorbereitung und kodierungsfreies Data Engineering, um die Demokratisierung von Daten zu erleichtern.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Testautomatisierung ❌ Den Testentwurf automatisieren für eine effizientere Testautomatisierung ❗
Dies ist der erste in einer Reihe von Blog-Beiträgen, die die verschiedenen Datenmanagement-Funktionen von IRI Voracity in einer Reihe von Kontexten und Anwendungsfällen hervorheben werden. Auf höchster Ebene ist Voracity eine Datenmanagement-Plattform, die eine breite Palette von datenorientierten Funktionen bietet und auf die über die IRI Workbench zugegriffen wird, eine assistentengesteuerte Benutzeroberfläche, die durch grafische Modellierung unterstützt wird. Zum Auftakt dieser Serie beginnen wir mit einem Thema, das uns sehr am Herzen liegt: die Automatisierung des Testentwurfs.
Für diejenigen unter Ihnen, die es noch nicht wissen: Die Automatisierung des Testentwurfs ist philosophisch gesehen eine Weiterentwicklung der Testautomatisierung, die den Einsatz der Automatisierung als Ganzes und während des gesamten Testprozesses betont, nicht nur als Teil der Testausführung. Die Vorteile liegen auf der Hand und bestehen hauptsächlich darin, dass sich Ihre Tests viel einfacher und schneller entwerfen, erstellen und ausführen lassen. Dies wiederum ermöglicht es Ihnen, gründlicher zu testen, die Testabdeckung zu maximieren und so weiter.
Das Problem ist, dass Sie wirklich jeden Teil Ihrer Testprozesse automatisieren müssen, um diese Art von Vorteilen zu erzielen: Ausführung, Anforderungen, Testentwurf, Testdaten. Ein ausgeklügelter Testprozess, der vom Testentwurf bis zur Testdurchführung alles automatisiert, hat wenig Sinn, wenn Sie die Testdaten jedes Mal manuell generieren und einspeisen müssen, wenn Sie den Test durchführen.
Jedes schwache Glied in der Kette birgt die Gefahr eines Engpasses, und wenn das passiert, wird Ihr gesamter Testprozess mit beunruhigender Regelmäßigkeit zum Stillstand kommen. "Eine Kette ist nur so stark wie ihr schwächstes Glied", sagt ein Sprichwort: Blitzschneller, automatisierter Testentwurf und -durchführung bedeuten so gut wie nichts, wenn Ihre Testdatenlieferungsprozesse zu langsam sind.
In der Tat sind Testdaten berüchtigt dafür, diese Art von Engpässen zu verursachen. In der Vergangenheit wurden sie durch lange Lieferzeiten geplagt, insbesondere wenn es sich um sensible Daten handelt. Und wie Sie vielleicht schon erraten haben, ist dies der Hauptbereich, in dem relevante Werkzeuge in Voracity die Testentwurfsautomatisierung unterstützen können. Die robuste, automatisierte Testdatenverwaltung und -bereitstellung ermöglicht es Ihnen, den größten Nutzen aus Ihrer Testentwurfsautomatisierung zu ziehen, indem sie den Engpass bei den Testdaten zumindest deutlich verringert, wenn nicht sogar ganz beseitigt.
IRI Voracity bietet alle Fähigkeiten zur Datenerkennung, Maskierung und Subsetting, die Sie normalerweise von einer Testdatenmanagement-Lösung erwarten. Es bietet auch die Möglichkeit, synthetische Daten zu generieren, insbesondere die Erstellung von repräsentativen Datensätzen durch die Analyse Ihrer realen Daten. Allein diese Funktionen reichen aus, um die Erstellung und Bereitstellung von Testdatensätzen erheblich zu beschleunigen.
Darüber hinaus können diese Daten-Subsetting-, Maskierungs- und Synthese-Jobs direkt aus den Prozessen Ihrer CI/CD-Plattform heraus aufgerufen werden, entweder vor Ort oder in der Cloud. Das bedeutet, dass sie in GitLab, Amazon CodePipeline, Azure DevOps und Jenkins-Workflows integriert werden können. All dies spricht für reale, laufende Beispiele des Produkts im Einsatz, die wiederum als anschauliche Beispiele für die Verwendung von Voracity zur Automatisierung der Produktion und des Verbrauchs von Testdaten durch diese Pipelines dienen.
Darüber hinaus ist IRI eine Partnerschaft mit Windocks eingegangen, einem auf Datenbankvirtualisierung spezialisierten Unternehmen. Diese Voracity-Windocks-Kombination liefert Ihre Testdaten in On-Demand-, Self-Service-, containerisierten und virtualisierten Repositories.
Im Wesentlichen arbeiten die Werkzeuge gleichzeitig und gemeinsam, um bereinigte Klone Ihrer Produktionsdaten zu erstellen, die über Self-Service bereitgestellt und dann extrem schnell abgerufen und genutzt werden können. Im Rahmen der Testdesign-Automatisierung können Sie diese Lösung dank der Unterstützung von RESTful-API-Aufrufen direkt in Ihre Testpipelines einbinden und somit von ähnlichen Geschwindigkeiten sowie einer automatisierten Bereitstellung profitieren.
Fazit: Kurz gesagt, wenn Sie Ihre Tests im Allgemeinen automatisieren wollen, müssen Sie auch Ihre Testdatenverwaltung automatisieren. IRI erfüllt diese Aufgabe sehr gut, vor allem, wenn seine Testdatenerstellungsprozesse in kundenspezifische oder Standardlösungen für die Bereitstellung von Testdaten integriert werden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()