![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1721982966-1181479_1280x1024.jpg)
❌ Metadatenmanagement ❌ Präzise Datenbeschreibung vereinfacht die Datenverwaltung und den Datenabruf ❗
Hier sind einige verschiedene Arten von Metadaten:
- Beschreibende Metadaten: Liefern Details über den Inhalt einer Ressource, um bei der Identifizierung und Auffindung von Ressourcen zu helfen.
Beispiele: Dateiname, Datenbankschema und Tabellennamen, Datenklassennamen
- Strukturelle Metadaten: Beschreiben die Struktur und das Format von Daten, um zu verstehen, wie die Daten organisiert sind und wie verschiedene Teile miteinander in Beziehung stehen.
Beispiele: Tabellenkopfzeilen, Primär- und Fremdschlüssel, Dateiformate und Datentypen
- Administrative Metadaten: Liefern Informationen, die helfen, Ressourcen zu verwalten und zu pflegen, einschließlich Aspekte wie Rechte und Erhaltung.
Beispiele: Erstellungsdatum, Änderungsdatum, Dateigröße, Dateityp und Berechtigungen
- Referenzmetadaten: Liefern Informationen über den Inhalt und die Qualität statistischer Daten, um den Kontext und die Qualität der Daten zu verstehen und sicherzustellen, dass sie angemessen verwendet werden können.
Beispiele: Datenprofilierungsaggregate, Datendefinitionen, Sensibilitätsstufen
- Statistische Metadaten: Beschreiben statistische Daten und die Prozesse, die zur Erhebung und Analyse dieser Daten verwendet werden.
Beispiele: Methoden zur Datenermittlung und Suchkonfigurationen, Stichprobentechniken, Wertebereiche, Häufigkeitsverteilungen
Metadaten im Zusammenhang mit Testdatenmanagement: Durch die Bereitstellung von Kontext und zusätzlichen Details zu den Daten erleichtern Metadaten die Organisation, Suche und Nutzung von Daten. Wusstest Sie, dass IRI RowGen sichere, intelligente und referenziell korrekte Testdaten unter Verwendung verschiedener Formen von Metadaten generiert? Das Erstellen realistischer Daten von Grund auf bietet Sicherheit für DevOps, Benchmarking und Demonstrationen. Mit RowGen können Sie realistische, konforme Testdaten ohne Produktionsdaten erstellen:
- Die Struktur und Beziehungen von Daten in Datenbanken und Dateien analysieren und nutzen
- Datenformate, -volumen, -bereiche und -verteilungen nach Bedarf anpassen
- Die IRI CoSort-Engine für schnelle Generierung, integrierte Transformation und Berichterstellung sowie die Beschleunigung von Massendatenladen von Testtabellen nutzen
- DevOps, Datenbanktests, Datenvalidierung und Prototypen für Data Warehousing beschleunigen.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1721796366-1480109_1280x1024-492x576.jpg)
❌ Schützen Sie Ihre sensiblen Daten ❌ Finden und maskieren Sie PII in Ihrer relationalen Datenbank (RDBMS) ❗
Dieser Artikel fasst nur die Schritte zusammen, die FieldShield-Benutzer normalerweise unternehmen, um eine Verbindung zu relationalen Datenbanken herzustellen, PII zu klassifizieren, zu entdecken, zu maskieren und zu prüfen. Unten finden Sie Links zu anderen Artikeln im IRI-Blog, die jeden dieser Schritte im Detail beschreiben.
1. Nachdem Sie IRI Workbench installiert und die FieldShield-Maskierungs-Executable lizenziert haben, stellen Sie sowohl JDBC- als auch ODBC-Verbindungen zu jeder zu maskierenden Datenbank her. Identifizieren Sie für Dateien lokale oder entfernte Ordnerstandorte.
2. Verwenden Sie Assistenten im Datenentdeckungsmenü, um Ihre Datenquellen zu profilieren, E-R-Diagramme zu erstellen, um RDB-Schema zu modellieren, referentielle Integritätsprüfungen durchzuführen und nach spezifischen Elementen zu suchen, die einem Muster entsprechen. Mithilfe der Datenklassifizierung können Sie jedoch noch viel mehr finden (siehe unten).
3. Definieren Sie Datenklassen (z. B. Reisepassnummer, Name, Telefonnummer) oder Klassengruppen (z. B. Bürger-PII) nach Bedarf und weisen Sie ihnen Suchmethoden und Maskierungsfunktionen zu. Führen Sie dann den Suchassistenten für Ihr DB-Schema (oder Dateiverzeichnisse) aus. Die Suchaufträge erstellen Protokollberichte, Dashboards und eine Datenklassenzuordnung, die Sie überprüfen können, bevor die Bulk-Datenmaskierungs-Assistenten diese verwenden, um Ihre Regeln konsistent auf Ihre Datenklassen anzuwenden (was die referenzielle Integrität gewährleistet).
4. Führen Sie den Assistenten für den neuen Data Class Map DB Masking Job oder den neuen Data Class File Map Masking Job aus. Sie wenden eine Standard- oder ausgewählte Datenmaskierungsfunktion für jede Datenklasse basierend auf deren Bedarf an Umkehrbarkeit, Realismus, Einzigartigkeit, Konsistenz und Sicherheit an. Sie können diese Datenmaskierungsaufträge auch in Mapping-Diagrammen, 4GL-Skripten oder einer IRI-API konfigurieren.
5. Einmal erstellte Aufträge sind leicht ausführbar und modifizierbar für iterative Tests, wobei die Ausgabe zunächst zur Überprüfung, Modifikation, Weitergabe und Wiederverwendung virtualisiert auf die Konsole, in Dateien oder Beispieltabellen ausgegeben werden kann. SQL-Abfrage- und Update-Logik kann in Skripten oder Workflows für Echtzeit– oder inkrementelle Maskierungsaufträge enthalten sein.
6. Ein enthaltene Risiko-Bewertungs-Assistent misst statistisch die Wahrscheinlichkeit, dass ein maskierter Datensatz (Tabelle) basierend auf quasi-identifizierenden Informationen in der Zeile immer noch zur Identifizierung einer Person verwendet werden kann.
7. Weitere Maskierungsaufträge können die in dem Bewertungsbericht aufgedeckten Risiken adressieren, indem quasi-identifizierende Werte wie Geburtsdatum und Alter unscharf gemacht oder in Buckets gruppiert werden. Diese Techniken machen die Daten anonym, aber dennoch zweckmäßig.
8. Wenn Sie in den obigen Prozessen Erfolg und Vertrauen gewinnen und beginnen, die Produktionsdatenmaskierungsanforderungen zu erfüllen, sollten Sie auch die Leistung Ihrer Aufträge und Ihre Metadatenressourcen (Quelllayouts, Aufgaben- und Batch-Skripte, Verschlüsselungsschlüssel usw.) bewerten. Verwenden Sie ein IRI Workbench-Plugin wie Git, um Ihre Metadaten zu sichern, freizugeben, versionskontrollieren und Änderungen nachzuverfolgen.
9. Während und nach den Go-Live-Terminen folgen Sie den IRI-Empfehlungen zur Leistungsüberwachung, Verwaltung von Datenaktualisierungen, Bedingungen und Software und zur Behandlung neuer Anwendungsfälle oder Prüfungsanforderungen.
Sie können Daten in Ihrem Produktions- oder Testschema maskieren; Sie definieren die Quellen, Ziele und den Ablauf. Am häufigsten ist ETL; d. h. Lesen aus der Produktion, Maskierung in der Engine und Schreiben zum Test. Sehen Sie sich dieses Video eines typischen Maskierungs-Job an!
Was kommt als nächstes? Nachdem die FieldShield-Maskierung durchgeführt wurde, können Sie auch:
- Überprüfen Sie die Ergebnisse in Ihren Zieltabellen auf Datenschutz, Realismus und referenzielle Integrität
- Prüfen Sie die Entdeckungs- (Such-) Datenmaskierungsaufträge und Leistungsprotokolle
- Automatisieren Sie das Batch über den IRI (oder Ihren) Job-Scheduler oder integrieren Sie es in eine CI/CD-Pipeline
- Führen Sie Re-ID-Risiko-Bewertungen durch (normalerweise zur Einhaltung der HIPAA-Expertenbestimmungsmethode)
- Erstellen und führen Sie zusätzliche Anonymisierungsaufträge aus, um quasi-Identifikatoren weiter zu verschleiern
- Fügen Sie zusätzliche Ziele, Filter, Transformations-, DQ-Funktionen oder Formatierungen zu einem der Aufträge hinzu
- Verwenden Sie dessen Datenklassen und Maskierungsregeln in einem DB-Subset, Ripcurrrent- oder DarkShield-Auftrag
- Teilen, versionskontrollieren, ändern und sichern Sie alle Auftragsartefakte in Git
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1721284323-1479315_1280x1024.jpg)
❌ Oracle TLS ❌ Sichere Verbindung mit dem Oracle Datenbankserver für DSGVO-konforme Datenübertragung ❗
Um sowohl JDBC als auch ODBC zu konfigurieren, um das Transport Layer Security (TLS) Protokoll zu unterstützen, sind zusätzliche Konfigurationsschritte erforderlich, die im Vergleich zu diesem vorherigen Artikel benötigt werden. Dieser Artikel ist keine Ersetzung, sondern soll zusätzliche Informationen über die für TLS-Verbindungen erforderlichen Schritte bieten.
Sobald die Verbindungen hergestellt sind, können die grafische IRI Workbench IDE und die CoSort SortCL-Engine zusammenarbeiten, um Datenintegration und -migration, Datenaufbereitung und -berichterstattung, Datenerkennung und -prüfung, Datenmaskierung und -bereinigung, Datensynthese und -unterteilung und mehr über eine verschlüsselte Verbindung zur Oracle-Datenbank durchzuführen = alles in nur einer Datenmanagementplattform "IRI Voracity"!
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1721025368-1301632_1280x1024.jpg)
❌ TIBCO Spotfire Analytics ❌ Nahtlose Beschleunigung der BI-Analysen durch Vorsortierung von großen Datenmengen ❗
Beschleunigung der BI-Analysen: Durch die Sortierung, Zusammenführung und Aggregation von Rohdaten in einem einzigen Job und I/O-Pass ermöglicht IRI CoSort eine drastisch verkürzte Time-to-Visualisierung. In Benchmarks bereitete CoSort die Daten über viermal schneller für die Spotfire-Visualisierung vor als Spotfire selbst, technische Details hier.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1720668854-1398621_1280x1024.jpg)
❌ Azure Blob Storage ❌ Datenklassifizierung und Datenschutz von sensiblen Daten in Cloud-Speichern und Netzwerken ❗
Die DarkShield Base API durchsucht und maskiert unstrukturierten Text außerhalb von Dateien, während die DarkShield Files API das Durchsuchen und Maskieren von Dateien wie einfachen Textdateien, CSV/TSV, Word-Dokumenten, Excel, PDF, JSON, XML, Parquet sowie JPEG- und PNG-Bildern ermöglicht. So können Lösungen zur Datenmaskierung für über 150 halbstrukturierte, unstrukturierte und strukturierte Big Data-Quellen angeboten werden!
Dieser technischer Artikel konzentriert sich auf die Integration der DarkShield Files API mit den Cloud-Speicherdiensten von Amazon S3, Google Cloud Storage und Microsoft Azure Storage. Ursprünglich beschränkte sich IRI DarkShield auf die Suche und Maskierung von PII in lokalen Dateisystemen. Mit der neuesten Version können Benutzer jedoch auch auf Daten in Cloud-Speichern zugreifen und PII in BLOBs (Binary Large Object Blocks) in der Cloud suchen und maskieren!
Die genannten Cloud-Anbieter stellen Bibliotheken zur Verfügung, die Anwendungen den Zugriff auf ihre Cloud-Speicherinhalte ermöglichen. Die auf GitHub verfügbaren DarkShield Files API-Demos sind in Python verfasst, wobei auch andere Programmiersprachen wie Java verwendet werden können. Diese Demos zeigen, wie spezifische Eingabe- und Verarbeitungsverfahren für Cloud-Speicher definiert werden können.
Zusammenfassend bietet die DarkShield Files API eine flexible Sicherheitsebene für Cloud-Speicher, indem sie die Identifizierung und Maskierung sensibler Daten in BLOBs in der Cloud ermöglicht. Dies trägt zur Aufrechterhaltung der Datensicherheit bei, selbst bei Konto-Kompromittierungen oder unberechtigtem Zugriff auf Cloud-Speicher.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1720161007-1424780_1280x1024.jpg)
❌ TDM ❌ Testdaten direkt in Dateiformate synthetisieren, wie Trennzeichen-Dateien (CSV, TSV, etc.), auch JSON, XML und LDIF (für LDAP) ❗
- Trennzeichen-Dateien (CSV, TSV, etc.): Ein einfaches Dateiformat, das verwendet wird, um tabellarische Daten zu speichern, ähnlich wie in einer Tabellenkalkulation oder Datenbanktabelle. Die Daten sind in Zeilen organisiert, wobei jede Zeile Felder enthält, die durch Trennzeichen wie Kommas, Tabs, Semikolons oder Pipes getrennt sind. Jede Zeile (Linie) stellt einen einzelnen Datensatz dar.
- JSON (JavaScript Object Notation): Ein leichtgewichtiges Datenaustauschformat, das sowohl für Menschen leicht zu lesen und zu schreiben als auch für Maschinen leicht zu parsen und zu generieren ist. Daten werden als Schlüssel-Wert-Paare innerhalb geschweifter Klammern {} strukturiert, wobei Arrays und verschachtelte Objekte mit eckigen Klammern [] dargestellt werden.
- XML (Extensible Markup Language): Eine Auszeichnungssprache, die eine Reihe von Regeln zur Kodierung von Dokumenten definiert und häufig zur Darstellung strukturierter Informationen in verschiedenen Bereichen verwendet wird, wie z.B. Webdienste, Konfigurationsdateien und Datenaustausch zwischen Systemen. Die Daten sind in verschachtelten Tags eingeschlossen, wobei jeder Tag Attribute und Werte enthält, die die hierarchische Struktur repräsentieren.
- LDIF (LDAP Data Interchange Format): Ein standardisiertes Klartext-Datenformat zur Darstellung von LDAP (Lightweight Directory Access Protocol) Verzeichniseinträgen und -aktualisierungen. Einträge werden als Textzeilen mit Schlüssel-Wert-Paaren dargestellt, wobei jeder Eintrag mit einem Distinguished Name (DN) beginnt, gefolgt von Attributdefinitionen.
Mit IRI RowGen kann man die Testdatengeneration direkt in diesen Dateiformaten (und anderen wie COBOL, Excel und ASN.1 CDR) synthetisieren und anpassen – sowie in strukturell und referenziell korrekten Datenbanken.
RowGen verwendet die Metadaten, die bereits vornden sind (oder die man spontan erstellt), um zufällig intelligente und sichere Daten für Dateien zu generieren oder in strukturell und referenziell korrekten RDB-Testschemata abzulegen.
Mit RowGen kann man die Metadaten, die man hat, nutzen und anpassen, was man braucht, um:
- Erfolgreich neue Anwendungen zu entwickeln und Stresstests durchzuführen
- Betriebsszenarien für Datenbanken und Abfragen zu testen
- DW ETL/ELT-Jobs, Data Vault-Modelle und DB-Migrationen zu prototypisieren
- …und mehr
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/07/1719948130-1475683_1280x1024.jpg)
❌ Datenmaskierung in Dark Data ❌ Erkennung und Maskierung von sensiblen Daten (wie PII und PHI) überall ❗
DarkShield verwendet die gleichen Klassifizierungs- und Maskierungstechniken wie IRI’s bahnbrechendes FieldShield-Produkt für strukturierte Daten. Zusätzlich zu relationalen Datenbanken und Flachdateien kann DarkShield jedoch auch PII in semi-strukturierten Dateien (wie JSON, XML, EDI, Parquet), NoSQL-Datenbanken, unstrukturierten Dateien und Spalten mit Freitext, PDF- und MS-Dokumenten sowie Bildern in verschiedenen Formaten, einschließlich DICOM, erkennen und maskieren.
Zur Identifizierung von PII wie Namen, Adressen, Telefonnummern, Geburtsdaten, Sozialversicherungsnummern, Kreditkartendaten und anderen Identifikationswerten können DarkShield-Benutzer verschiedene Methoden einsetzen. Dazu gehören das Durchsuchen von Datenbank-Spaltennamen oder Tabellenbereichen, die Verwendung von Regex-Mustern, exakten oder unscharfen Wörterbuchabgleichen sowie maschinell lernende NER-Modelle mit OpenNL, Pytorch oder TensorFlow.
Zu den Maskierungsfunktionen zählen Löschen, Schwärzen, Verschlüsseln, Verwischen, Hashing, Verschleiern und Pseudonymisierung. DarkShield kann auch in Verbindung mit IRI RowGen verwendet werden, um Testdaten oder andere Datenwerte in vordefinierten Datensätzen zu ersetzen.
Ein besonderer Vorteil ist, dass die DarkShield-GUI, CLI und APIs auf Ihrer lokalen oder Cloud-Hardware ausgeführt werden, nicht auf den Systemen von IRI.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/06/1719556878-1373825_1280x1024-585x576.jpg)
❌ Microsoft Power BI ❌ Datenvorbereitung mit Datenaufbereitung, um die Performance zu steigern ❗
IRI-Software löst diese Probleme kostengünstig durch Funktionen wie Datenermittlung, Datenmigration, Reorganisation und Maskierung sensibler Daten. Spezifische IRI-Lösungen beschleunigen seit über 40 Jahren das Ent- und Beladen von Daten, während die IRI End-to-End Datenmanagementplattfor eine schnelle und effiziente Datenaufbereitung ermöglicht.
Power BI ist ein beliebtes Tool für die Erstellung von Dashboards und Berichten, aber das Verarbeiten großer Datenmengen kann lange dauern oder abstürzen. Zur Beschleunigung sollten Datenintegrationen und -transformationen außerhalb der BI-Schicht erfolgen.
IRI CoSort und die Datenmanagementplattform IRI Voracity bewältigen große Datenmengen effizient im Dateisystem und entlasten Power BI von ressourcenintensiven Aufgaben, wodurch die Anzeige- und Einsichtszeiten drastisch verkürzt werden. Gerne zeigen wir mit einem Benchmark auch in Ihrer Umgebung, wie schnell unsere Software ist – Sie werden überrascht sein!
Ebenso löst unsere Software auch diese speziellen Probleme schnell und benutzerfreundlich:
- Datenermittlung: Profilerstellung, Klassifizierung, ERDs
- Be- und Entladen großer Tabellen
- Entladen und Laden großer Tabellen
- Routinemäßige Dienstprogrammoperationen (Reorgs)
- Langsame Abfragen, SSIS ETL-Aufträge oder Power BI-Anzeigen
- Datenmigration oder -replikation
- Schlechte Datenqualität oder Einheitlichkeit
- Maskieren von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
- Generierung intelligenter, sicherer Testdaten für Prototyping, DevOps, Demos usw.
Weitere technische Details dazu finden sich im Blog-Artikel zur Beschleunigung von Power BI.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/06/1719297581-1182589_1280x1024-576x576.jpg)
❌ Website-Datenbank schützen ❌ Risikoreduzierung von formularbasierter Datenbank durch gezielten Schutz persönlicher Daten ❗
Ungesicherte Daten können Ihrem Unternehmen erheblichen Schaden zufügen und hohe Bußgelder nach sich ziehen. Datenmaskierung bietet hier eine Lösung. Die preisgekrönte, datenzentrische Sicherheitssoftware von IRI hat sich in verschiedenen Umgebungen bewährt, um Datenschutzverstöße zu verhindern, Datenschutzgesetze einzuhalten und Testdaten zu schützen. Mit den "IRI Data Shield"-Produkten oder der gesamten IRI Voracity Datenmanagement-Plattform können Sie sensible Daten vor Ort oder in der Cloud zuverlässig finden, maskieren und den Schutz nachweisen.
Preisgekrönte datenzentrierte Sicherheit: Die meisten Kunden von IRI Sicherheitsprodukten erstellen Profile und schützen PII in RDBs, Flat-Files und Excel Sheets vor Ort oder in der Cloud. Jüngste Engagements umfassen auch NoSQL-DBs, Dokumente, Bilder sowie EDI- und Protokolldateien. Streaming und Hadoop-Datenquellen sowie Gesichter werden ebenfalls unterstützt:
- Strukturierte Dateien: FieldShield klassifiziert, findet, de-identifiziert, bewertet das Risiko und prüft PII in Datenbanken, Flat-Files, JSON, etc.
- Semi- und unstrukturierte Dateien: DarkShield klassifiziert, findet und löscht PII in Text, PDF, Parquet, C/BLOBs, MS-Dokumenten, Protokollen, NoSQL-DBs, Bildern und Gesichtern.
- Microsoft Excel® Dateien: CellShield findet, berichtet, maskiert und überprüft Änderungen an PII in Excel-Spalten und Werte LAN-weit oder in Office 365.
- Datenmaskierung als Service: IRI DMaaS-Ingenieure in den USA und im Ausland übernehmen für Sie die Klassifizierung, Auffindung und Deidentifizierung von PII.
Die in IRI Voracity integrierten und kompatiblen IRI-Produkte, einschließlich IRI RowGen, können Testdaten von Grund auf neu synthetisieren und referenziell korrekte (und optional maskierte) Datenbank-Teilmengen (Subsetting) erzeugen, um die Datenverarbeitung zu beschleunigen und die Datensicherheit zu verbessern.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![](https://www.software-journal.de/wp-content/uploads/sites/4/2024/06/1718865123-1466436_1280x1024.jpg)
❌ CoSort seit 1978 ❌ Schnellste Datenverarbeitung für anspruchsvollste Big Data Anforderungen ❗
Wenn Sie ein besseres Tool zur Datenumwandlung benötigen, sollten Sie sich folgende Fragen stellen:
- Können Sie große Datenmengen transformieren, ohne Ihre Datenbank zu nutzen oder Ihre IT-Infrastruktur zu ändern, z. B. ohne Hadoop, NoSQL oder ein ELT-Tool?
- Können Sie mehrere CPUs und Kerne für große Aufgaben nutzen, mehrere Aufgaben im gleichen I/O ausführen und dynamisch Ressourcen zuweisen, um die Leistung zu optimieren?
- Können Sie Ihre Daten- und Jobdefinitionen leicht verstehen, teilen und ändern, ohne eine große Lernkurve zu bewältigen?
Wenn Sie eine dieser Fragen mit Nein beantworten, ist es Zeit für eine Veränderung!
Das 4GL SortCL-Programm von IRI CoSort, verfügbar sowohl in IRI CoSort als auch in der IRI Voracity-Datenmanagementplattform, ist auf Hochgeschwindigkeits-Datenverarbeitung und visuelle Konfiguration zugeschnitten. Diese leistungsstarke Engine arbeitet im Hintergrund in den weltweit datenintensivsten Umgebungen, einschließlich großer Data Warehouses, operativer Datenspeicher, Kernbankanwendungen, Clickstream-Datenwebhouses, Data Lakes und mehr.
CoSort führt multithreaded Sortier-/Merge-Operationen durch und verarbeitet verschiedene große Datenmanipulationen separat oder in Kombination. Es kann gleichzeitig Daten bereinigen, maskieren, konvertieren und Berichte erstellen. Erleben Sie die überlegene Sortierleistung – Fordern Sie jetzt hier Ihre kostenlose Testversion an und lassen Sie sich begeistern!
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.
Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).
Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).
Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com