Autor: Firma JET-Software
❌ Google BigQuery ❌ Backend Datenverarbeitung für Datentransformation im serverlosem Data Warehouse in der Google Cloud ❗

❌ Google BigQuery ❌ Backend Datenverarbeitung für Datentransformation im serverlosem Data Warehouse in der Google Cloud ❗

By |
Google Cloud: BigQuery ist ein verwaltetes, serverloses Data Warehouse in der Google Cloud, das skalierbare Analysen über riesige Datenmengen ermöglicht. Es handelt sich um eine relationale Datenbank als Platform as a Service (PaaS), die ANSI-SQL-Abfragen unterstützt. Als solche arbeitet sie mit der umfangreichen IRI-Software zusammen – für die extreme Beschleunigung von ETL/Datentransformation und als Funktionserweiterung für gezielte Datensicherheit.

Die Verbindung der Google BigQuery RDB mit IRI Workbench und dem Back-End-Verarbeitungsprogramm SortCL ist einfach und ermöglicht die Bewegung und Manipulation der strukturierten Daten durch kompatible IRI-Produkte. Das bedeutet IRI CoSort für schnellste Datentransformation, IRI FieldShield für Datenmaskierung, IRI NextForm für Datenmigration und IRI RowGen für synthetische Testdatengenierung oder die End-to-End Datenmanagementplatfform IRI Voracity, die alle diese einzelnen Produkte umfasst und weitere Funktionen bietet!

Die Konnektivität folgt dem gleichen Paradigma wie bei allen anderen relationalen Datenbanken, die IRI unterstützt. Das bedeutet, dass ODBC- und JDBC-Treiber heruntergeladen und installiert, konfiguriert (unter Verwendung und Prüfung Ihrer Anmeldedaten), registriert und validiert werden.

Da die Workbench auf Eclipse aufbaut, benötigt sie eine JDBC-Verbindung, um das BigQuery-Schema anzuzeigen und die Tabellen-Metadaten zu parsen. Und um Daten zwischen BigQuery und der SortCL-Datenverarbeitungs-Engine zu übertragen, wird auch ein ODBC-Treiber benötigt.

Google hat sich mit Magnitude Simba zusammengetan, um ODBC- und JDBC-Treiber für die Verbindung zu BigQuery bereitzustellen. Zum Zeitpunkt der Erstellung dieses Artikels fehlen dem JDBC-Treiber jedoch wichtige Funktionen, die Workbench benötigt. Um dies zu umgehen, verwenden Sie den JDBC-Treiber von CData.

Dieser Artikel enthält eine Schritt-für-Schritt-Anleitung für die IRI-Software zum Zugriff auf BigQuery.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Oracle Linux ❌ Beschleunigung von ETL mit End-to-End Datensicherheit mit Datenmaskierung und synthetischen Testdaten ❗

❌ Oracle Linux ❌ Beschleunigung von ETL mit End-to-End Datensicherheit mit Datenmaskierung und synthetischen Testdaten ❗

By |
End-to-End Datenmanagement: Das Team der Oracle Linux und „Virtualization Alliance“ heißt die Datenverwaltungsplattform Voracity im ISV-Ökosystem willkommen. IRI Inc. hat Voracity auf Oracle Linux zertifiziert, damit steht Oracle-DBAs, Datenarchitekten und Datenschutzteams schnellste Leistungs- und umfassende Sicherheitsfunktionen zur Verfügung.

IRI Voracity kombiniert Datenermittlung, Integration, Migration, Verwaltung und Analyse in einem verwalteten Metadaten-Framework, das auf Eclipse aufbaut. Voracity läuft lokal, oder in der Oracle Cloud-Infrastruktur und ermöglicht moderne PaaS- und SaaS-Optionen, die eine schnellere, kostengünstigere und hochsichere Cloud-Ausführung von ETL-Aufträgen sowie Datenmaskierung und -synthese, Datenqualität und -migration und Datenmanipulation für Analysezwecke anstreben.

Anwender können IRI Voracity nutzen, um kritische Lebenszyklusaktivitäten durchzuführen, zu beschleunigen und zu kombinieren, einschließlich:

  • Datenentdeckung – Klassifizierung, Diagrammerstellung, Profilerstellung und Suche von strukturierten, semistrukturierten und unstrukturierten Datenquellen
  • Datenintegration – individuell optimierte, aufgabenkonsolidierte Same-Pass-E-, -T- und -L-Operationen sowie CDC, Slowly Changing Dimensions und Möglichkeiten zur Beschleunigung oder zum Ersetzen jeder beliebigen älteren ETL-Plattform
  • Datenmigration – und Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder Massendatenreplikation und Föderation
  • Data Governance – PII-Datenmaskierung und Re-ID-Risikobewertung, DB-Subsetting, Erzeugung synthetischer Testdaten, Datenvalidierung, -bereinigung und -anreicherung, Stamm- und Metadatenverwaltung usw.
  • Analytik – eingebettete Berichterstellung, Integrationen mit KNIME- und Cloud-Analytik-Plattformen und Data Wrangling, um die Zeit bis zur Anzeige in BI-Tools zu verkürzen

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenbereinigung ❌ Data Scrubbing und Datentransformation von Big Data im gleichen I/O-Durchgang ❗

❌ Datenbereinigung ❌ Data Scrubbing und Datentransformation von Big Data im gleichen I/O-Durchgang ❗

By |
Herausforderungen: Die Datenbereinigung kann kompliziert, zeitaufwändig und teuer sein. Die Funktionen, die Sie in 3GL, Shell-Skripten oder SQL-Prozeduren schreiben, können komplex und schwer zu pflegen sein. Sie erfüllen möglicherweise nicht alle Ihre Geschäftsregeln oder erledigen die gesamte Arbeit.

Benutzerdefinierte Funktionen können auch in separaten Batch-Schritten oder in einer speziellen "Script-Transformationskomponente" ausgeführt werden, die Sie mit dem Datenfluss Ihres Tools verbinden und in kleineren Teilen ausführen müssen. Das ist ein Problem bei wachsenden Datenmengen.

Datenqualitätswerkzeuge hingegen können auch viel von dieser Arbeit leisten. Leider sind sie bei hohem Volumen nicht besonders effizient und können schwer zu konfigurieren oder zu modifizieren sein. Sie können auch ein funktionaler Überfluss sein und viel kosten. Manchmal ist die größte Lösung nicht die beste.

Lösungen: Das SortCL-Programm in IRI CoSort oder IRI Voracity kann Daten in mehr als 150 Tabellen- und Dateiquellen finden und bereinigen. SortCL verwendet eine einfache 4GL– und Eclipse-GUI, um Daten, Manipulationen und Ziele bis auf die Feldebene zu definieren.

In SortCL integrierte native Datenqualitätsfunktionen, die Sie ausführen oder mit den Aktivitäten zur Datentransformation, Migration, Schutz und Berichterstellung kombinieren können:

SortCL unterstützt auch die Definition von benutzerdefinierten Datenformaten durch Vorlagendefinitionen. Dies ermöglicht das Scannen und Verifizieren von Formaten.

Für eine erweiterte Datenbereinigung (basierend auf komplexen Geschäftsregeln) auf Feldebene können Sie Ihre eigenen Funktionen oder die Funktionen in Lieferantenbibliotheken für Datenqualität anschließen. Die CoSort Dokumentation bezieht sich auf Beispiele aus Trillium und der Melissa Data Adressnormbibliothek. Deklarieren Sie eine Reinigungsfunktion für ein beliebiges Feld entweder im Voraktionsplan oder in der Zielphase eines Auftrags (d.h. bis zu zwei DQ-Routinen pro Feld, pro Auftrag).

Das Fazit: Mit CoSort SortCL – und vielleicht speziellen Datenqualitätsbibliotheken die Sie hinzufügen, können Sie Ihre Daten im gleichen I/O-Pass bereinigen, in dem Sie filtern, transformieren, sichern, berichten oder weitergeben.

Wenn Sie PII wie SSNs in Ihren Datensätzen finden und suchen müssen, wird SortCL dies ebenso tun wie das eigenständige IRI FieldShield Datenmaskierungstool. Wenn Sie qualitativ hochwertige Testdaten benötigen, besuchen Sie IRI RowGen. RowGen verwendet SortCL-Metadaten um intelligente Testdaten zu erstellen, die Ihren Geschäftsregeln entsprechen, so dass Sie mit den realistischen, aber sicheren Daten testen können: gute, schlechte und Nulldaten.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenverschlüsselung in Excel ❌ Sensible Informationen in XLS- und XLSX-Dateien finden und gezielt DSGVO-konform schützen ❗

❌ Datenverschlüsselung in Excel ❌ Sensible Informationen in XLS- und XLSX-Dateien finden und gezielt DSGVO-konform schützen ❗

By |
Gezielte Datenverschlüsselung in Excel-Dateien: Sensible Informationen finden und schützen!

Die IRI Data Protector Suite bietet drei einzelne Produkte an, die alle gemeinsame Suchmethoden wie Muster- oder Wörterbuchabgleiche haben. Jedes Produkt hat individuelle oder global anwendbare Funktionen zur Maskierung von Daten wie Verschlüsselung, Redigierung, Hashing und Pseudonymisierung.

Die Produkte sind in der Lage, identische Chiffretexte zu erzeugen, um Determinismus und Datenintegrität zu gewährleisten. Sie sind auch alle unterstützte Komponenten der IRI Voracity Datenmanagement-Plattform:

  1. IRI FieldShield wurde entwickelt, um strukturierte Datenbank- und Flat-File-Daten zu klassifizieren, zu suchen und zu maskieren. FieldShield verwendet das CoSort SortCL-Programm zur Datendefinition und -manipulation, um Quell- und Ziellayouts sowie alle Mapping-/Maskierungstransformationen zu definieren. SortCL verwendet 4GL-Job-Skripte, die in der Regel in der auf Eclipse basierenden IRI Workbench IDE erstellt und verwaltet werden
  2. IRI DarkShield wurde in erster Linie für das Auffinden und Maskieren von Daten in halbstrukturierten und unstrukturierten Text- und EDI-Dateien, RDB C/BLOB-Spalten, NoSQL-DB-Sammlungen, Bildern und Dokumenten in PDF- und MS-Office-Formaten entwickelt – einschließlich XLS- und XLSX-kompatibler Dateien, die sogar PII in Diagrammen und Bildern in den Tabellen enthalten können
  3. IRI CellShield wurde speziell für das Auffinden und Maskieren von Daten in Tabellenkalkulationen entwickelt und ist das einzige "Shield"-Produkt von IRI, das ausschließlich in der Excel-Umgebung eingesetzt werden kann. CellShield ist als kostengünstige Personal Edition (PE) oder als professionelle Enterprise Edition (EE) mit mehreren Tabellenblättern erhältlich. CellShield PE ist nützlich für die manuelle Suche und Maskierung von PII auf einem einzelnen Blatt. Es bietet eine Point-and-Click-Schnittstelle zu denselben Verschlüsselungs-, Schwärzungs- und Hashing-Funktionen, die auch von den anderen IRI Shield-Produkten unterstützt werden, mit Ausnahme der Pseudonymisierung, die zufällig und nicht deterministisch ist

Jedes dieser Tools kann persönlich identifizierbare/geschützte Gesundheitsinformationen (PII/PHI) und andere sensible Daten in Microsoft Excel-Tabellen finden und maskieren. Die Tools unterscheiden sich jedoch in der Excel-Bedienung und der Job-Konfiguration, so dass es wichtig ist, zu wissen, welches Tool in welcher Situation verwendet werden sollte.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Test Data für CICD ❌ Testdatenmanagement mit sicheren realistischen Testdaten für die erfolgreiche DevOps-Strategie ❗

❌ Test Data für CICD ❌ Testdatenmanagement mit sicheren realistischen Testdaten für die erfolgreiche DevOps-Strategie ❗

By |
Vier Methoden zur Erzeugung sicherer, intelligenter Testdaten: In diesem Artikel zeigen wir, wie man die IRI Voracity TDM-Plattformsoftware innerhalb einer Azure DevOps-Pipeline verwendet, um realistische Testdaten in verschiedenen Quellen für CI/CD-Zwecke zu erzeugen und zu verwenden. Konkret führen wir IRI RowGen-Skripte aus, um Testdaten in einer Excel-Tabelle zu synthetisieren, und die DarkShield-Files-API, um PII aus einer CosmosDB NoSQL-Datenbank zu maskieren.

Dies ist die dritte Ergänzung zur DevOps-Pipeline-Serie, hier finden Sie die anderen zwei DevOps-Artikel zu GitLab und AWS CodePipeline.

Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in referenziell korrekten Datenbank-, Flat-File-, halbstrukturierten Datei-, formatierten Berichts- und sogar unstrukturierten Dateizielen:

Testdatenverwaltung und DevOps: TDM ist der Prozess, bei dem produktionsähnliche Testdaten generiert und verschiedenen Tests zur Verfügung gestellt werden, damit der Testprozess Zugang zu realistischen Daten hat. Eine effektive TDM-Strategie ist aus mehreren Gründen von Vorteil.

Zum einen führen unrealistische Testdaten nicht zu mehr Vertrauen in eine Anwendung, sondern können zu unfruchtbaren Tests führen. Daher ist eine produktionsähnliche Testumgebung mit produktionsähnlichen Testdaten notwendig, um genau zu beurteilen, wie sich eine Anwendung in der Produktion verhalten wird.

Zweitens soll TDM die Verfügbarkeit von Testdaten garantieren, wenn sie während der Tests benötigt werden. Gute Testdaten bringen keinen Nutzen, wenn sie zum Zeitpunkt der Testdurchführung nicht verfügbar sind.

Tests in DevOps und die Rolle von Testdaten: Testdatenmanagement sollte implementiert werden, um verschiedene Tests mit realistischen, qualitativ hochwertigen Daten während des gesamten DevOps-Prozesses zu unterstützen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Tuning von Datadog ❌ Push von Datenverarbeitung wie Datenintegration und Datenmigration mit DSGVO-konformer Datensicherheit ❗

❌ Tuning von Datadog ❌ Push von Datenverarbeitung wie Datenintegration und Datenmigration mit DSGVO-konformer Datensicherheit ❗

By |
Datadog ist eine Web-Anwendung zur Überwachung von Datenfeeds (Dateneinspeisung), zur Analyse von Trends, zur Erstellung analytischer Dashboard-Anzeigen und zum Senden von Warnmeldungen.

Dieser Artikel ist der erste in einer 4-teiligen Serie über die Einspeisung der Datadog Cloud-Analyseplattform mit verschiedenen Arten von Daten aus IRI Voracity-Operationen. In Fällen, in denen eine große Datenmenge offline vorbereitet werden muss, bevor die Daten ausgegeben werden und die Daten auf einer Infrastruktur außerhalb von Datadog verarbeitet werden können, sorgt Voracity für ein hochleistungsfähiges Big Data-Wrangling:

  • Dieser Artikel konzentriert sich auf die Vorbereitung der Daten in Voracity und die Vorbereitung von Datadog für den Empfang der Daten
  • Dieser Artikel konzentriert sich auf die Visualisierung von Voracity-verarbeiteten Daten in Datadog
  • Dieser Artikel konzentriert sich auf die Visualisierung von Suchprotokollen zur Maskierung unstrukturierter Daten in Datadog für Sicherheitsanalysen

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌Datenbankreplikation in Echtzeit❌ Änderungen (CDC) in der Struktur und dem Inhalt von Datenbankspalten automatisch erkennen und verwalten ❗

❌Datenbankreplikation in Echtzeit❌ Änderungen (CDC) in der Struktur und dem Inhalt von Datenbankspalten automatisch erkennen und verwalten ❗

By |
End-to-End-Datenmananagement: Die Datenmanagement-Plattform IRI Voracity kombiniert Datenermittlung, -integration, -migration, -steuerung und -analyse mit der Backend-Datenverarbeitungs-Engine IRI CoSort und der auf Eclipse basierenden Front-End-IDE IRI Workbench.

Letztes Jahr wurde zudem ein vielseitiges Modul zum Generieren, Profilieren, Migrieren zu und Prototypisieren von Data Vault 2.0 Modellen eingeführt. In diesem Jahr hat wurde nun die zukunftsweisende Funktion "IRI Ripcurrent" in Voracity eingeführt, um Änderungen in der Struktur und dem Inhalt von Datenbankspalten in Echtzeit zu verwalten.

IRI Ripcurrent erkennt neue, aktualisierte oder gelöschte Zeilen – oder Änderungen an der Struktur einer Tabelle oder eines Schemas – und reagiert automatisch auf diese Informationen auf verschiedene Arten, einschließlich:

  1. Datenreplikation: Um Testziele innerhalb derselben oder einer anderen Datenbank zu aktualisieren.
  2. Inkrementelle Datenmaskierung: Unter Verwendung konsistenter Funktionen auf der Grundlage von Datenklassen.
  3. Delta-Reporting: Bei dem neue Daten mit früheren Versionen verglichen und analysiert werden.
  4. Benachrichtigungen: Über strukturelle Änderungen des Schemas, um neue Suchaufträge auszulösen, usw.

Ripcurrent lässt sich mit Debezium integrieren, um Änderungen von verschiedenen DBs zu verfolgen. Ripcurrent bündelt Debezium-Konnektoren für MySQL, SQL Server, PostgreSQL und Oracle. Mit wenigen Anpassungen werden auch MongoDB, DB2 und Vitess unterstützt!

Mehr über Ripcurrent und die Funktionsweise dieser automatischen Prozesse erfahren Sie in einer Reihe von Blogartikeln, die mit diesem Artikel beginnt.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ SAP ASE und IQ ❌ 12x schnelleres ETL und gezielter Datenschutz von SAP IQ (RDBMS) und SAP Adaptive Server Enterprise für OLTP ❗

❌ SAP ASE und IQ ❌ 12x schnelleres ETL und gezielter Datenschutz von SAP IQ (RDBMS) und SAP Adaptive Server Enterprise für OLTP ❗

By |
Als SAP Sybase IQ oder ASE DBA werden Sie mit verschiedenen Performance- und Schutzproblemen konfrontiert:

  • Entladen und Laden von großen Sybase-Tabellen
  • Langsame Hilfsoperationen (z.B. Reorgs) oder Abfragen
  • Ungeschützte personenbezogene Daten (PII)
  • Lästige Datenbankmigration oder -replikation
  • Generierung von oder Zugriff auf Testdatensätze

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Spezielle Tools zur Datenmaskierung und zum Testdatenmanagement sind teuer und zu schwer zu bedienen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange.

Beschleunigung der Sybase-Entladung: IRI FACT (Fast Extract), um Transaktionstabellen parallel zu Flat Files auszugeben. FACT unterstützt Sybase IQ und ASE, OCS 15 und höher. FACT ist um ein Vielfaches schneller als andere Extraktionsmethoden und wird in der IRI Workbench für den eigenständigen Einsatz oder mit anderen IRI-Operationen wie ETL, Reorg und Migration unterstützt.

Geschwindigkeitstransformationen, Abfragen und Laden von Daten: Verwenden Sie das Programm SortCL im Produkt IRI Cosort oder in der IRI Voracity-Plattform, um die Extrakte parallel zu filtern, zu sortieren, zu verbinden und zu aggregieren. Das Sybase SQL Server Referenzhandbuch empfiehlt eine externe Vorsortierung, um die Indexerstellung beim Laden der Datenbank zu beschleunigen. Mehrere Tabellen, die schnell in der Abfrage-Indexreihenfolge erstellt werden, sollten helfen, Abfragen zu beschleunigen.

Beschleunigung der Sybase-Reorgs: Beschleunigen Sie Reorgs, indem Sie sie offline ausführen, d.h. verwenden Sie das Dateisystem, anstatt die Datenbank zu belasten. Der Offline-DB-Reorganisationsassistent, der den Benutzern von FACT und CoSort (oder der Plattform Voracity) in der IRI Workbench zur Verfügung steht, kombiniert FACT, CoSort und bcp in Batch-Operationen, die Sie innerhalb oder außerhalb der Workbench-GUI planen und ausführen können.

Migration und Replikation von Sybase-Datenbanken: Verschieben Sie Daten in und aus Sybase und anderen Datenquellen mit IRI NextForm DB Edition oder der Plattform Voracity. Führen Sie komplexe ETL-, Change Data Capture– und Replikationsoperationen in Voracity durch.

PII-Maskierung in Sybase: Finden und klassifizieren Sie PII mithilfe integrierter Tools zur Datenerkennung und Profilerstellung. Erstellen Sie dann statische Datenmaskierungsaufträge für Sybase, SAP HANA und andere mit JDBC und ODBC verbundene Quellen mit dem eigenständigen IRI FieldShield-Paket oder der Voracity-Plattform. Sie können auch das Risiko einer erneuten Identifizierung anhand der verbleibenden Quasi-Identifikatoren in Ihrem Datensatz bewerten. Für die dynamische Datenmaskierung rufen Sie die FieldShield-Funktionen im SDK auf.

Generierung & Population von Sybase Testdaten: Um Sybase schnell mit sicheren Testdaten zu füllen, verwenden Sie den hochvolumigen Testdatengenerator IRI RowGen, der mit Hilfe Ihrer Datenmodelle die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch generiert und ebenfalls in die Voracity-Plattform integriert ist.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Oracle Datenbank ❌ Automatische Datenmaskierung in Echtzeit bei Einfügung oder Aktualisierung ❗

❌ Oracle Datenbank ❌ Automatische Datenmaskierung in Echtzeit bei Einfügung oder Aktualisierung ❗

By |
Datenmaskierung in Echtzeit: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen.

Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten, wie sie in Echtzeit erzeugt werden. Er kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen.

Der Artikel geht zunächst auf die Installation von FieldShield ein und nennt die dazu benötigten Anforderungen. Danach folgt ein anschaulicher Anwendungsfall mit PL/SQL-Triggern für die ASCII-Format bewahrende Verschlüsselung und die dazu gehörende entschlüsselte Ansicht. Allgemeiner gesagt können Sie mit den genannten FieldShield-Maskierungsroutinen und -verfahren (wie PL/SQL) jetzt sensible Daten auf der Grundlage von Echtzeit-Datenbankereignissen für eine Vielzahl von Anwendungsfällen maskieren.

IRI Ripcurrent – eine mögliche Erweiterung: Die Möglichkeit, Daten in Datenbank-Tabellen in andere Datenbank-Tabellen oder Dateien zu replizieren und/oder zu maskieren, wird von IRI-Software seit langem unterstützt. Dies geschieht in der Regel über IRI Workbench, die grafische Benutzeroberfläche für alle IRI-Produkte zur Verwaltung von (strukturierten) Daten.

Der "Schema Data Class Job Wizard" in IRI Workbench – bei dem Daten in einem Schema gesucht und in Datenklassen gruppiert werden – kann mit Maskierungsregeln kombiniert werden. Aus dem Assistenten wird eine Batch-Datei oder ein Shell-Skript generiert, um in FieldShield-Skripten definierte Massenmaskierungsoperationen auszuführen.

Wenn jedoch Änderungen an der Datenbank vorgenommen werden, gibt es keine einfache Möglichkeit, die Änderungen zu replizieren, ohne das Batch-/Shell-Skript erneut auszuführen. Und wenn der Datenbank zusätzliche Tabellen oder neue Spalten zu bestehenden Tabellen hinzugefügt wurden, werden diese ignoriert, es sei denn, der Assistent wird erneut ausgeführt, um ein neues Batch-/Shell-Skript und die entsprechenden IRI FieldShield-Skripts für den Vorgang zu generieren.

Die Notwendigkeit, mit Datenbank-Änderungen synchron zu bleiben, ist die Motivation für die Entwicklung von IRI Ripcurrent. Für diejenigen, die das/die nachgelagerte(n) Ziel(e) mit einer Quell-Datenbank synchron halten wollen, z. B. zu Testzwecken, bietet Ripcurrent die Funktionalität eines Datenbank-Maskierungsauftrags der Datenklasse, jedoch auf dynamische Weise.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Integrierte BI ❌ Datentransformation(en) mit Reports im gleichen Jobskript und I/O-Pass ❗

❌ Integrierte BI ❌ Datentransformation(en) mit Reports im gleichen Jobskript und I/O-Pass ❗

By |
Schnelles, einfaches Big Data Reporting: Eine der wichtigsten integrierten (eingebetteten) Funktionen in allen IRI-Datenmanagementprodukten ist die Berichtserstellung!

IRI-Benutzer die große Datentransformationen durchführen, können auch ein oder mehrere benutzerdefinierte Detail- und Zusammenfassungsberichte im gleichen Jobskript und I/O-Pass erstellen, d.h. sie führen BI direkt mit ETL aus. Und da IRI NextForm (für Daten/Datenbank-Migration), IRI FieldShield (für Datenmaskierung) und IRI RowGen (für synthetische Testdaten) auch SortCL-Fähigkeiten nutzen, können auch sie viele der gleichen Arten von Berichten mit den gleichen Metadaten generieren.

Strukturierte Datenquellen (Datenbank oder Flat-File) werden ebenso gut unterstützt wie viele Formen von semi- und unstrukturierten Daten. Es gibt keine Begrenzung der Anzahl der Quellen oder Ziele. Sehen Sie diese Liste der unterstützten Datenquellen und dieses Diagramm, das den Datenfluss charakterisiert.

Definieren Sie Berichtsspezifikationen in einem Texteditor oder Assistenten in der Eclipse GUI für alle IRI-Software, IRI Workbench. Ausführen von Berichten über die Befehlszeile, Batch-Skripte, die GUI oder Anwendungen (als System- oder API-Aufruf).

Die Vorteile von integrierter BI: Erhalten Sie Berichte mit leistungsstarker Datenintegration, Datenmigration, Datenmaskierung und Testdatengenerierung zur gleichen Zeit, indem Sie Ihre Ziele im gleichen Jobskript und I/O-Pass formatieren. Weitere Vorteile sind hier gelistet.

Erhalten Sie die meisten der gleichen Datenmanipulations- und Berichtsfunktionen von SQL und ICE-TOOL, aber mit mehr Geschwindigkeit, Einfachheit und Interoperabilität. Visualisieren Sie gleichzeitig analysierte Daten mit BIRT oder Splunk und bereiten Sie Daten für Cubes oder andere BI- und Analysetools auf.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.