Autor: Firma JET-Software
❌ Schnellste Datenerfassung ❌ Parallele Extraktion aus bspw. Oracle und DB2 in Flat-Files beschleunigen BI/DW-, Migration und Archivierung ❗

❌ Schnellste Datenerfassung ❌ Parallele Extraktion aus bspw. Oracle und DB2 in Flat-Files beschleunigen BI/DW-, Migration und Archivierung ❗

By |
.
Paralleles Entladeprogramm für sehr große Datenbanken: ETL, Reorgs & Migration!

Ein schneller Extraktionsschritt kann eine kritische Komponente sein:

  • Datenbankarchivierung und -replikation
  • Datenbankberichte und Migrationen
  • Data Warehouse ETL-, ELT- und ODS-Operationen
  • Offline-Berichterstattung und Schutz von Massendaten

IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen.

Obwohl FACT ist ein eigenständiges und anwendungsunabhängiges Dienstprogramm ist, kann es auch gut mit anderen Programmen und Plattformen zusammenarbeiten. So erstellt FACT optional Metadaten für Datendefinitionsdateien (.DDF), mit denen IRI CoSort und seine kompatiblen Datenmanagement- und Schutztools die Flat-Files manipulieren können. FACT erstellt auch automatisch Konfigurationsdateien für das Laden von Datenbanken für dieselbe Quelle.

FACT ist auch eine optionale und nahtlos integrierte Komponente in der IRI Voracity ETL- und Datenmanagementplattform. Die automatische Metadatenerstellung – und die Koexistenz anderer IRI-Software in derselben IDE – erleichtert die Spezifikation und kombinatorische Ausführung von sofortigen oder nachgelagerten Datentransformations-, Schutz-, Berichts- und (vorsortierten) Ladevorgängen. Wenn Sie FACT, CoSort und Ihren Datenbanklader in einem einzigen I/O-Pass zusammenfassen, werden ETL- und Reorg-Vorgänge noch schneller, befriedigen Sie nicht nur SLAs. Erfüllen Sie die Anforderungen an die Skalierbarkeit von VLDB-Daten!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Trend Setting Produkt für 2021 ❌ Plattform Voracity für schnelles Data Staging, Governance, Wrangling und Analytik ❗

❌ Trend Setting Produkt für 2021 ❌ Plattform Voracity für schnelles Data Staging, Governance, Wrangling und Analytik ❗

By |
.
Integrieren, bereinigen, analysieren und auf Daten reagieren – alles auf einmal!

Eine "Production Analytic Platform" ist ein modernes Datenintegrations-Paradigma, das von Barry Devlin, PhD, definiert wurde und Datenprozesse mit Informationen in einer Post-Data-Warehousing- und Data-Lake-Welt gleichsetzt. Die Production Analytic Platform vermählt Datenaufbereitung und -präsentation in Design- und vor allem Laufzeitaspekten, um Predictive Analytics mit Produktionswerten und -zielen zu verbinden.

Devlin hat IRI Voracity als die seltene Plattform für schnelles Data Staging, Governance, Wrangling und Analytik identifiziert. Angetrieben von schnellen IRI CoSort- oder Hadoop-Engines und mit Eclipse als Frontend, können Voracity-Jobs gleichzeitig Datenintegrations- (Transformation und Konsolidierung) und Governance-Operationen (PII-Maskierung und -Bereinigung) kombinieren und ihre Ergebnisse direkt in unzählige unterschiedliche Ziele einspeisen (wiederum gleichzeitig).

Die Ziele von Voracity reichen von benutzerdefinierten Detail- und Zusammenfassungsberichten bis hin zu Data Marts, Tabellenkalkulationen, XML-Dateien, NoSQL-Sammlungen, CI/CD-Teststreams, Message Queues, S3-Buckets und Analyse-Engines von Drittanbietern für indizierte Suchen, visuelle Interpretation und adaptive Reaktionen auf diese Daten … wie Splunk.

Die Voracity App für Splunk ist ein Aufruf- und Ingestionspunkt für die gleichzeitige Ausführung und Nutzung von Voracity-Jobs und deren Ergebnissen. Die App startet einen ausgewählten Voracity-Job und indiziert automatisch dessen Ausgabe in Splunk. Von dort aus sind die Daten bereit, um erweiterte Analysen durchzuführen, Visualisierungen zu füllen und definierte Aktionen auszulösen.

Wenn Sie jedoch extreme analytische Effizienz und Datensicherheit ohne jahrelange individuelle Programmierung wünschen, dann ist nichts anderes zu empfehlen!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Schutz von Dark Data ❌ PII in semi/un/strukturierten Datenquellen via Eclipse GUI und Web Service Call via API schützen ❗

❌ Schutz von Dark Data ❌ PII in semi/un/strukturierten Datenquellen via Eclipse GUI und Web Service Call via API schützen ❗

By |
 

PII in unstrukturierten Datenquellen: Definieren, erkennen und de-identifizieren!

Mit IRI DarkShield können Sie Daten in mehreren semistrukturierten und unstrukturierten Dateiformaten und RDB-Spalten auf einmal klassifizieren, finden und löschen oder anderweitig maskieren (ebenso wie Gesichter und NoSQL DBs), indem Sie gemeinsame Datendefinitionen und benutzerdefinierte Kombinationen von Such- und Maskierungsfunktionen verwenden. Dabei können Sie auch Auftragsergebnisse (und die zugehörigen Dateimetadaten) in Ihrer DarkShield– oder SIEM-Umgebung extrahieren, gemeinsam nutzen und anzeigen.

Der beste Weg um unstrukturierte Daten zu finden und zu maskieren: PII und andere sensible Daten in Dark Data schützen!

Mit DarkShield können Sie Anfragen nach dem "Recht auf Vergessen" erfüllen, bestimmte Datenextrakte an diejenigen liefern, die die Übertragbarkeit von Datensätzen anfordern und die Datenqualität in Datenkorrekturanfragen erleichtern. Außerdem können Sie die maskierten Dateien entweder in den Originaldateien oder in gleichnamigen Zieldateien und -ordnern in Ihrem Netzwerk oder in der Cloud speichern.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Oracle Datenmaskierung ❌ Sensible Daten in-situ mit verschiedenen Funktionen beim Einfügen oder Aktualisieren automatisch maskieren ❗

❌ Oracle Datenmaskierung ❌ Sensible Daten in-situ mit verschiedenen Funktionen beim Einfügen oder Aktualisieren automatisch maskieren ❗

By |
Echtzeit-Datenmaskierung mit Triggern: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen.

Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten, wie sie in Echtzeit erzeugt werden. Er kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen.

Dieser Artikel geht zunächst auf die Installation von FieldShield ein und nennt auch die dazu benötigten Anforderungen. Danach folgt ein anschaulicher Anwendungsfall mit PL/SQL-Triggern für die ASCII-Format bewahrende Verschlüsselung und die dazu gehörende entschlüsselte Ansicht. Allgemeiner gesagt können Sie mit den genannten FieldShield-Maskierungsroutinen und -verfahren (wie PL/SQL) jetzt sensible Daten auf der Grundlage von Echtzeit-Datenbankereignissen für eine Vielzahl von Anwendungsfällen maskieren.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Microsoft SQL Server 10x schneller ❌ Lokal oder Cloud: ETL/Reorgs optimieren, BI-Datenaufbereitung, PII finden/schützen, migrieren und testen ❗

❌ Microsoft SQL Server 10x schneller ❌ Lokal oder Cloud: ETL/Reorgs optimieren, BI-Datenaufbereitung, PII finden/schützen, migrieren und testen ❗

By |
Herausforderungen: Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen oder PowerBI-Performance
  • Migrations- oder Replikationsarbeiten
  • Schlechte Datenqualität oder Einheitlichkeit
  • Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall)
  • Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
  • Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, etc.

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange.

Lösungen: Einfache und kostengünstige IRI-Software löst diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung.

Unload-Beschleunigung: IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um große Tabellen schnell in flache Dateien zu übertragen.

Geben Sie SELECT * FROM aus der Tabelle an, damit Sie das Entladen nicht mit Qualifier wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.

Load-Beschleunigung: IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.

Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Reorgs- und Abfragebeschleunigung: Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.

Optimierung von Transformationen (ETL) und BI-Datenaufbereitung: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall

Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen.

Migration und Replikation von SQL Server Datenbanken: IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort oder Voracity verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.

Daten bereinigen und anreichern (Qualität): CoSort oder Voracity um Fehler in Datenwerten, Bereichen, Formaten oder Kontexten zu finden und zu beheben. Scrubben und standardisieren Sie doppelte oder fuzzy-angepasste Werte. Weitere Möglichkeiten zur Datenqualität finden Sie hier.

Klassifizieren und Maskieren von sensiblen Daten: IRI FieldShield (oder IRI Voracity) um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.

SQL Server Testdaten generieren: IRI RowGen (oder Voracity) um SQL Server- oder SSIS ETL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer integrierter Ansatz.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Intelligente + synthetische Testdaten ❌ Erstellung von Test Data via Produktions-Metadaten für DevOps, DB, DV und ETL-Prototypen ❗

❌ Intelligente + synthetische Testdaten ❌ Erstellung von Test Data via Produktions-Metadaten für DevOps, DB, DV und ETL-Prototypen ❗

By |
Herausforderungen: Anwendungen und Datenbanken haben ihre eigene Logik und einzigartigen Eigenschaften. Damit Testdaten in diesen Kontexten nützlich sind, müssen sie Produktionsmerkmale widerspiegeln, wie z.B:

  • Auswahlbedingungen (Geschäftsregeln)
  • Spaltenattribute und Transformationen
  • Inter-Feld/Schlüssel-Beziehungen (referentielle Integrität)
  • Wertebereiche und spaltenübergreifende Berechnungen

Auch Testdaten zur Produktionsqualität müssen diese Attribute aufweisen:

  • Typ – korrekte Spalten-/Feldwerte und Formate
  • Breite – Werte mit aktuellen (und zukünftigen) Bereichen
  • Häufigkeit – realistische Muster des Auftretens von Werten
  • Tiefe – Volumina, die Skalierbarkeitsprobleme ansprechen

In einer schnelllebigen DevOps- und Continuous Integration (CI)/ Continuous Deployment (CD)-Umgebung kann die Fähigkeit, konsistente und realistische Testsätze zu generieren und zu automatisieren, die in Format und Umfang sehr unterschiedlich sein können, eine große Herausforderung darstellen und Programmierer mit engen Lieferfristen ablenken.

Lösungen: Anwendungen, die mit realistischen Datenformaten und -mengen entwickelt werden, haben in der Produktion eher Aussicht auf Erfolg. Das IRI RowGen-Paket zur Erstellung von Testdaten verwendet Produktions-Metadaten, um benutzerdefinierte, synthetische Testsätze mit zufällig generierten Daten und/oder zufällig ausgewählten Daten aus Produktionsquellen zu erstellen.

Um die richtigen Volumen und Wertebereiche zu erzeugen, verwendet RowGen bedingte Auswahl- und Formatierungsparameter. RowGen verbessert den Realismus der Testdaten weiter durch referentielle Integrität, Häufigkeitsverteilungen und integrierte Transformations- und Formatierungsfunktionen. Beispielsweise können Sie Daten nach dem Zufallsprinzip auswählen und Bereiche aus Pools von realen Daten und gewichteten Zahlen (jeweils) angeben.

Für Continuous Integration und Continuous Deployment or Delivery (CI/CD)-Umgebungen kann RowGen Testdaten in jedem Schritt eines Entwicklungsprozesses synthetisieren, ohne auf die Bereitstellung von Daten aus einem anderen Schritt angewiesen zu sein. Darüber hinaus und auf einzigartige Weise können eingebettete Datentransformations-, Validierungs- und Formatierungsfunktionen gleichzeitig mit den generierten Daten im selben Skript ausgeführt werden! Dies kann inkrementelle Anwendungstests erleichtern, die Rückwärtskompatibilität und Vorwärtskompatibilität mit Ihren Produktionsversionen sicherstellen. Siehe diesen Anwendungsfall.

Kombinieren Sie zufällige Generierung und Auswahl von Set-Dateien, Bedingungen und Manipulationen auf Feldebene und benutzerdefinierte Layout-Funktionen. Erstellen Sie schnell die intelligenten Daten, die Sie zum Stresstest und zur Überprüfung Ihrer Anwendungen benötigen. Verbessern Sie die Qualität und Zuverlässigkeit Ihrer Ergebnisse. Planen Sie Jobs zur Wiederholung von Generierungs- und Testvorgängen in der IRI-Workbench (oder Ihrem eigenen CLI-unterstützenden Automatisierungstool), um CI- und CD-Prozesse zu glätten.

Wenn Sie es immer noch vorziehen, mit Daten zu testen, die sich in Produktions-DBs befinden, können Sie auch RowGen verwenden, um sie schnell zu unterteilen und zu maskieren. Oder Sie können mit IRI FieldShield ein noch breiteres Spektrum von Quellen maskieren. Wenn Sie mehrere Funktionen benötigen oder Testdaten aus einer Vielzahl von statischen oder Streaming-Quellen virtualisieren müssen, sehen Sie sich die IRI Voracity-Datenmanagement-Plattform an, die alles bietet.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Talend Data Fabric ❌ Mittels CoSort 4x schnellere Datenintegration, plus PII-Datenschutz via Datenmaskierung und synthetische Testdaten generieren ❗

❌ Talend Data Fabric ❌ Mittels CoSort 4x schnellere Datenintegration, plus PII-Datenschutz via Datenmaskierung und synthetische Testdaten generieren ❗

By |
Herausforderungen: Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend!

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

Aus Sicherheitssicht bietet Talend möglicherweise nicht die Funktionen zum Erkennen, Klassifizieren oder Maskieren von Daten oder zum Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen

Transformationen beschleunigen: Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf an die Programme CoSort Sort Sort Control Language (SortCL). Führen Sie große Datentransformationen mehrfach zeitsparend aus, ohne aus Mangel an Speicherplatz zusammenzubrechen und ohne andere Jobs in Talend, Ihrem DB- oder BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungs- und Bereinigungsfunktionen auf Feldebene, benutzerdefinierte Berichtslayouts und vorsortierte Ladedateien an.

In diesem Artikel finden Sie Benchmarks und Ratschläge zur Leistungssteigerung durch tSystem-Aufrufe, die CoSort- oder Voracity-Anwendern zur Verfügung stehen. Beschleunigen und kombinieren Sie Transformations- und andere große Daten-Staging-Aufträge in viel weniger Zeit und Speicherplatz.

PII-Daten maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen.

Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten sowie aller über JDBC verbundenen RDB-Datenmodelle. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.

Re-Plattform der Jobs: Automatische Konvertierung von Mappings in Talend in schnellere, einfachere und kostengünstigere ETL-Operationen in IRI Voracity mit Erwin (ehemals AnalytiX DS) Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie, zusammen mit den erwin Lite Speed Conversion Services, gibt ETL-Architekten und der CIO/CFO-Suite routinemäßig die Möglichkeit, zehn bis hunderttausende von Euro pro Jahr zu sparen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenmaskierung ❌ Unabhängig davon, ob PII in Datenbank relational oder NoSQL, vor Ort oder in der Cloud – oder in einer EDI- oder Excel-Datei ❗

❌ Datenmaskierung ❌ Unabhängig davon, ob PII in Datenbank relational oder NoSQL, vor Ort oder in der Cloud – oder in einer EDI- oder Excel-Datei ❗

By |
Datenmaskierung: Der Schutz von personenbezogenen Daten!

Inmitten pausenloser Berichte über Datenschutzverletzungen und einem wachsenden regulatorischen Umfeld für persönliche identifizierbare Informationen (PII) weltweit, sind mehrere Technologielösungen und Compliance-Dienste entstanden, um den Schutz von PII zu thematisieren. Die logische Sicherheit durch Verschlüsselung in der einen oder anderen Form ist ein gemeinsamer Nenner des Ansatzes, aber die meisten kommerziellen Verschlüsselungsanwendungen sind begrentzt durch die Plattform, den Algorithmus und das Aussehen des Chiffriertextes, die Komplexität der Implementierung, der Laufzeitleistung und insgesamt der Kosten.

Die Verschlüsselung von Datenquellen und -geräten auf Massenbasis verhindert den Zugriff auf nicht-sensible Daten, macht die Ziele ungeeignet für DevOps mit Tests und macht alle Daten durch einen einzigen Verstoß gegen den Dekodierungsschlüssel anfällig. Daher besteht ein Bedarf an gezielten, vielseitigen und effizienten Methoden zur Identifizierung, zum Schutz und zur Prüfung der Sanierungsbemühungen für PII in verschiedenen Quellen. Die Datenmaskierungstechnologien sind hier wegweisend!

IRI ist ein Pionier in der Datenmaskierungsbranche und hat vor kurzem seinen Tätigkeitsbereich erweitert, um Funktionen rund um den datenzentrierten Schutz von Daten: "Startpoint Security" Dieser Begriff umfasst die Deidentifizierung von PII und anderen sensiblen Daten, aber auch die Funktionen und Prozesse, die damit verbunden sind, einschließlich Datenklassifizierung, Suche, Risikobewertung und Audit.

Es geht um die allgemeinen Empfehlungen vor der Überprüfung ausgewählter Maskierungsfunktionen, die dazu beitragen Datenverstöße zu annullieren, die  Datenschutzgesetze einhalten und viele Anwendungsfälle von Testdaten erfüllen. Das Whitepaper zeigt eine Liste der anwendbaren IRI-Datenmaskierungstechnologien, die von Gartner überprüft wurden und Links zu weiteren Informationen.

Rund-um-Sorglos-Paket: 4 spezielle Software-Lösungen und Datenmaskierung as a Service!

Hier finden Sie die transparente Übersicht zu den einzelnen Softwarelösungen, gegliedert nach den speziellen Fähigkeiten und unterstützen Datenqellen mit Ziel-Formaten bzw. Ziel-Silos!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Hitachi Vantara Pentaho ❌ Mithilfe von CoSort 15x schnellere Sort-Jobs, mit PII-Schutz via Datenmaskierung und synthetische Testdaten erzeugen ❗

❌ Hitachi Vantara Pentaho ❌ Mithilfe von CoSort 15x schnellere Sort-Jobs, mit PII-Schutz via Datenmaskierung und synthetische Testdaten erzeugen ❗

By |
Herausforderungen: Pentaho Data Integration (PDI) ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber auch einige Mängel auf!

1.    Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge.

2.    Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden.

3.    Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich.

Lösungen: PDI-Workflows unterstützen Systembefehle, so dass Daten ohne Unterbrechung extern verarbeitet werden können. IRI Voracity oder seine Komponentensoftware kann Pentaho-Anwendern helfen!

1.    Transformationen beschleunigen: Verwenden Sie den Shell-Schritt von PDI, um einen IRI CoSort-Auftrag (z.B. SortCL-Skript) aufzurufen, um die Sortier-, Joint- und Aggregationszeiten drastisch zu reduzieren. Ausführen mehrerer Aufträge in einer Batch-Datei. Erhalten Sie Ergebnisse 14-16 mal schneller als Pentaho allein!

Mit CoSort den Sortierprozess in Pentaho beschleunigen: Jetzt lesen.

2.    PII Daten maskieren: Ausführen von IRI FieldShield-Aufträgen aus dem Shell-Schritt in Pentaho zum Schutz von Daten im Ruhezustand. Maskieren, verschlüsseln und kodieren Sie (und andere) Daten in Ihrem gewünschten Format. Datensicherheit auf Feldebene!

Maskieren von Daten in Pentaho: Jetzt lesen.

3.    Testdaten erstellen: Führen Sie IRI RowGen aus, um Tabellen, Dateien und Berichte mit synthetischen Testdaten zu füllen, die Produktionsdaten nachahmen. Generieren Sie struktur- und referenzkorrekte DB-Testdaten für die gesamte EDW. Bewahren Sie die Produktionsdaten sicher auf!

Testdaten für Pentaho anlegen: Jetzt lesen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ IBM DataStage ❌ Unkompliziert 10x schnellere Datenintegration für legacy ETL-Tool InfoSphere DataStage ❗

❌ IBM DataStage ❌ Unkompliziert 10x schnellere Datenintegration für legacy ETL-Tool InfoSphere DataStage ❗

By |
Herausforderungen:

Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage.

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen.

Lösungen:

DataStage-Transformationen beschleunigen: Beschleunigen Sie das Sortieren, Aggregieren und Zusammenführen in einem einzigen Durchgang mit der CoSort Sort Control Language (SortCL) in einer sequentiellen Dateistufe oder einem Unterprogramm vor der Job-Routine. Führen Sie große Datentransformationen durch, ohne andere Aufträge in DataStage, Ihrer Datenbank oder Ihrem BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungsfunktionen auf Feldebene, benutzerdefinierte Berichte und vorsortierte Ladedateien an.

Verbessern Sie die Leistung der DataStage, indem Sie eine sequentielle Dateistufe vor der Aggregation hinzufügen, ein SortCL-Skript ausführen, um die Datei extern nach Trennschlüsseln vorzusortieren, und dann die sortierten Felder in der Aggregationsstufe definieren.

PII in DataStage maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen.

Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

DataStage Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten, .dsx-definierten Dateien und allen über JDBC verbundenen RDB-Datenmodellen. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.

DataStage-Jobs neu platzieren: Erleichtern Sie die Migration von DataStage zu einem schnelleren, kostengünstigeren ETL-Betrieb in IRI Voracity mit Erwin Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie sowie die ADS Lite Speed Conversion Services geben ETL-Architekten und der CIO/CFO-Suite schließlich die Möglichkeit, Hunderttausende von Euros sofort einzusparen und in Zukunft auf kostengünstige Betriebskosten umzustellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.