
❌ Dynamische Datenmaskierung ❌ In Echtzeit sensible Informationen von Datenbank-Anwendungen dynamisch schützen (DDM)❗
Dynamische Datenmaskierung: Sensible PII in Echtzeit schützen!
Dieser Artikel beschreibt eine Methode zur dynamischen Datenmaskierung (DDM), die für IRI FieldShield verfügbar ist und ein Proxy-basiertes System zum Abfangen von Anwendungsabfragen an JDBC-verbundene Datenbanken verwendet. Es ist einer von mehreren Ansätzen zur Maskierung von Daten im Flug, die FieldShield-Benutzer in Betracht ziehen können.
Andere IRI-DDM-Optionen umfassen: API-aufrufbare FieldShield-Funktionen, die in C/C++/C#-, Java- oder .NET-Programme eingebettet sind; Echtzeit-FieldShield-Funktionen, die in SQL-Prozeduren eingebettet sind, die maskierte Ansichten erstellen; und die dynamische Demaskierung von statisch maskierten Tabellen für autorisierte Benutzer.
Das hier vorgestellte proxy-basierte System verwendet einen zweckmäßigen, datenbankspezifischen "JDBC SQL Trail"-Treiber in Verbindung mit einer Konfigurations- und Verwaltungs-Webanwendung namens SQL Sharp (SQL#). Alle technischen Details finden Sie hier im Blog-Artikel, datenzentrierte Sicherheit lohnt sich!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Push von VLDB ❌ Datenbank-Entladungen in einem Data Warehouse, für Datenmigration oder Archivierung beschleunigen❗
IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten Bulkladungen von IRI CoSort ist der schnellste und kostengünstigste Weg, um Big Data ETL– und Offline-Reorgs durchzuführen.
IRI FACT ist der schnellste Weg für:
- Entladen von sehr großen Datenbank-(VLDB)-Transaktions-(Fakten)-Tabellen
- formatierte Flat-Files aus einer Tabelle erzeugen
- Erstellen der Steuerdatei-Metadaten für Datenbank-Massenladeprogramme
- Erstellen von IRI CoSort (oder Voracity ETL) Metadaten für Transformationen, Rollups, Delta-Berichte und Preload-Sortierungen
- Erstellen von IRI NextForm-Metadaten zur Konvertierung der exportierten Daten und Dateitypen
- Erstellung von IRI FieldShield-Metadaten zur Spaltenverschlüsselung, De-Identifizierung und Maskierung von Spalten
- Erstellen von IRI RowGen-Metadaten zur Generierung sicherer Testdaten im Tabellenformat
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Data Warehouse ❌ Datenintegration von Flat Files, um den Datenaustausch (Portabilität) und die Leistung zu verbessern❗
Wenn Sie Daten in festen oder begrenzten Dateiformaten speichern oder verwenden, wissen Sie vielleicht schon, dass IRI CoSort weiterhin das schnellste Datentransformationswerkzeug für Flat-Files Dateien in Unix-, Linux- und Windows-Dateisystemen ist. 1992 baute IRI ein beliebtes 4GL für CoSort namens SortCL, um mehrere Datentransformationen durchzuführen und Berichte zu erstellen, die alle im selben Jobskript und I/O durch große Dateien geleitet werden.
SortCL ist weiterhin für CoSort Paketbenutzer verfügbar und ist auch die Standard-Datenbearbeitungsmaschine für Flat-Files (und andere Datenquellen) im vollen IRI Voracity ETL-Paket. Voracity ist eine umfassende Datenmanagement-Plattform, die auf Eclipse basiert und von CoSort oder Hadoop betrieben wird und Datenermittlung, Integration, Migration, Verwaltung und Analytik konsolidiert. Datenbewegungen, Manipulationen und Verwaltungsaktivitäten in Flat-Files werden in dieser visuellen Design- und Bereitstellungsumgebung am besten unterstützt!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Datenerkennung und Definition von Metadaten ❌ Datenprofilierung von Datenbank-, Flat-File- und Dark-Data-Quellen für das Datenmanagement ❗
- Datenklassifizierung: Definieren Sie unternehmensweite Datenklassenbibliotheken, durchsuchen Sie automatisch Ihre Quellen und katalogisieren Sie die darin enthaltenen Daten, und wenden Sie dann Transformations- und Schutzregeln an, die Sie Ihren Klassen zugeordnet haben.
- Metadatenermittlung: Verbinden Sie sich mit strukturierten und semistrukturierten Dateien und relationalen Datenbanken. Definieren oder redefinieren Sie Spaltennamen, Offsets und Datentypen neu, damit Sie die Metadaten für Ihre Datenquellen in zentralen Datendefinitionsdateien (DDFs) speichern, gemeinsam nutzen und wiederverwenden können, die mit jeder IRI-Softwareanwendung kompatibel sind.
- Datenbank-Profiling: Erstellen Sie Statistiken, überprüfen Sie die referentielle Integrität und suchen Sie nach Lookup-, Zeichenketten-, Muster- und Fuzzy-Matching-Werten in jeder mit JDBC verbundenen Datenquelle.
- Flat-File Profiling: Erstellen Sie Statistiken und suchen Sie nach Lookup-, Zeichenketten-, Muster- und Fuzzy-Matching-Werten in jedem sequentiellen Dateiformat, das IRI unterstützt.
- ER-Diagrammerstellung: Definieren Sie unternehmensweite Datenklassenbibliotheken, durchsuchen Sie automatisch Ihre Quellen und katalogisieren Sie die darin enthaltenen Daten und wenden Sie Transformations- und Schutzregeln an, die Sie Ihren Klassen zugeordnet haben.
- Verzeichnisdaten-Klassensuche: Der Assistent für die Suche nach Verzeichnisdatenklassen in der IRI-Workbench (WB) gleicht Daten in strukturierten Dateien innerhalb eines oder mehrerer Verzeichnisse mit konfigurierten Datenklassen ab. Der Suchprozess vergleicht die Übereinstimmungen in den Datenklassen mit den Daten in diesen Dateien, um die beste Übereinstimmung zu ermitteln, falls vorhanden. Die Übereinstimmungen können entweder Muster oder festgelegte Dateisuchvorgänge sein. Wenn nur einige wenige, ausgewählte strukturierte Dateien durchsucht werden müssen, verwenden Sie den Editor der Datenklassenbibliothek, um schnellere Ergebnisse zu erhalten.
- Schema-Mustersuche: Erstellen Sie Statistiken und suchen Sie nach Lookup-, Zeichenketten-, Muster- und Fuzzy-Matching-Werten in jedem sequentiellen Dateiformat, das IRI unterstützt. Auf diese Weise können Sie diese Ergebnisse auch mit Datenklassen verknüpfen.
- Dark Data Suche: Finden Sie Daten, die mit den darin enthaltenen Mustern oder Werten übereinstimmen, in Nachschlagdateien in den MS Office- und Outlook-Dateien, .pdf- und .rtf-Dokumenten, NoSQL-DB-Sammlungen, HTML-, JSON-, XML- oder anderen Textdateien (Log-Dateien) sowie in Bildern und Gesichtern, die sich auf Ihrem Computer oder im LAN "verstecken". Extrahieren Sie diese dunklen Daten und die zugehörigen Metadaten in Flat-, abfragebereite DDF-Files. Maskieren Sie diese Daten gleichzeitig mit IRI DarkShield.
- Schema Datenklassensuche: Finden und nutzen Sie alle Datenschemata, die den Attributen Ihrer Datenklassen oder Datenklassengruppen entsprechen. Scannen Sie automatisch durch jede Spalte im Schema und nicht durch eine Tabelle auf einmal. Verwenden Sie dies in Verbindung mit dem Assistenten für die Maskierung der Datenklasse DB. Es gibt auch einen Assistenten zur Verzeichnisdatenklassensuche (und die entsprechende Maskierung von Datenklassen-Dateien), um PII in einer oder mehreren Flat-Files zu finden und zu de-identifizieren, die über ein LAN verteilt sind.
- Bewertung der Datenqualität: Verwenden Sie Musterdefinitions- und Berechnungsvalidierungsskripts, um die Formate und Werte von Daten, die Sie in Datenklassen oder -gruppen (Katalogen) definieren, für die Zwecke der Ermittlung und Funktionsregelzuweisung (z. B. bei Voracity-Bereinigungs-, Transformations- oder Maskierungsaufträgen) zu lokalisieren und zu überprüfen. Sie können auch die "if-then-else-Logik" auf Feldebene und "iscompare"-Funktionen von SortCL verwenden, um Nullwerte und falsche Datenformate in DB-Tabellen und Flat-Files zu isolieren. Oder verwenden Sie Outer-Joins, um Quellwerte, die nicht mit Master-(Referenz-)Datensätzen übereinstimmen, in Silos zu speichern. Verwenden Sie Datenformatierungsvorlagen und Ihre Datumsvalidierungsfunktionen, um beispielsweise die Richtigkeit von Eingabetagen und -daten zu überprüfen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ TDM ❌ Automatisch maskierte Teilmengen verwandter Tabellen erstellen, um referenziell korrekte Testdaten zu erzeugen ❗
Datenbank-Subsetting ist der Prozess der Erstellung einer kleineren, referenziell korrekten Kopie einer größeren Datenbank aus echten Tabellenauszügen. Teilmengen können zusammen mit oder anstelle der Maskierung von Daten oder der Synthese von Testdaten verwendet werden, um die mit vollständigen Mengen verbundenen Kosten und Risiken zu verringern. Die manuelle Erstellung aussagekräftiger Teilmengen ist komplex und mühsam, wenn man bedenkt, dass man kleinere Datenbanken mit Zufallsstichproben aus jeder Produktionstabelle bestücken und sicherstellen muss, dass die relationale Struktur zwischen den Tabellen in der Teilmenge noch korrekt ist.
Ein durchgängiger Assistent für das Subsetting von Datenbanken in der IRI Workbench macht diesen Prozess schneller und einfacher. Der Assistent steht lizenzierten Benutzern der IRI Voracity Datenmanagement-Plattform, IRI RowGen für die Testdatengenerierung und IRI FieldShield für die Datenmaskierung zur Verfügung. Dieser Artikel stellt den Assistenten vor und zeigt, wie er referenziell korrekte Subsets erstellt, mit Optionen für Spaltenmaskierung und felderhaltende Verschlüsselung.
Der Assistent zur Erstellung von Teilmengen lässt den Benutzer die Quelle der Teilmenge, die Größe und Sortierung der Teilmenge, die Namen für die Teilmengenziele und die Verschlüsselung oder Maskierung, die die Teilmenge erhalten soll, auswählen. Der Assistent erstellt dann eine Reihe von Auftragsskripten, die entweder Subset-Tabellen oder Flat-Files erstellen.
Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Testdaten für HL7 & X12 ❌ Effiziente, sichere und synthetische Testdatengenerierung von realistischen EDI-Nachrichten❗
DBAs, Entwickler und QA-Teams stehen immer wieder vor der Herausforderung, Testdaten zu beschaffen, die mit den Geschäftsregeln und Datenschutzbestimmungen übereinstimmen. Die Verwendung von Produktionsdaten zum Testen der Funktionalität oder Kapazität einer Anwendung mag für Tester Realität sein, aber was passiert, wenn diese Daten personenbezogene Daten enthalten? Und welches Sicherheitsniveau ist mit der Testumgebung verbunden?
Eine gängige Methode zur Bewältigung dieser Herausforderung ist die Verwendung von verschleierten oder anonymisierten Produktionsdaten für Tests, bei denen Sie alle sensiblen Daten finden und maskieren müssen, was IRI DarkShield mit HL7- und X12-Dateien tun kann. Allerdings kann es zeitaufwändig sein, solche Aufträge zu entwerfen und HIPPA-konform auszuführen, und es gibt Sicherheits- und Abstimmungsprobleme, die mit dem Erreichen und Maskieren großer Mengen von Produktionsdaten verbunden sind.
Aus diesen Gründen kann es effizienter sein, HL7- oder X12-Nachrichten in Testdateien zu synthetisieren, die bei der Entwicklung und beim Belastungstest einer Anwendung (API, Website, mobile Anwendung usw.) verwendet werden können. IRI RowGen ist eine Software zur Erzeugung und Verwaltung von Testdaten, mit der realistische, aber synthetische Datensätze erstellt werden können, die sich für Tests in vielen Zielformaten eignen, zu denen jetzt auch HL7- oder X12-Flat File Dateiformate (Electronic Data Interchange oder EDI) gehören.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Virtualisierung von Testdatenbanken ❌ Testfertige virtualisierte Datenbanken in Sekunden aus einem sicheren Image bereitstellen❗
Klonen von Verzeichnissen von Dateien und unstrukturierten Daten: Git ist ein zunehmend beliebtes Werkzeug zum Klonen von Verzeichnissen. Sowohl Windocks als auch IRI unterstützen die Möglichkeit, Dateien und Verzeichnisse mit Text und nicht-relationalen Daten zu klonen und virtualisiert bereitzustellen. Im letzteren Fall kann z. B. der EGit-Anbieter in IRI Workbench als sicheres Repository dienen für sowohl die synthetisierten, subsettierten oder maskierten Targets, die in eigenständigen Dateiformaten erstellt wurden, als auch die Metadaten-Assets, die mit jedem Projekt verbunden sind, das zur Generierung dieser Testsätze verwendet wurde.
Die IRI Workbench-Umgebung, die auf Eclipse aufbaut, ist eine kostenlose grafische integrierte Entwicklungs Entwicklungsumgebung (IDE), in der IRI Voracity-Jobs zum Bereinigen, Maskieren, Subsetten oder Synthetisieren von relationalen und Flat-File-Testdaten erstellt werden. IRI Workbench-Benutzer haben eine Vielzahl von Job-Design- und Deployment Optionen, da das Metadaten-Framework allgemein und offen ist.
Beachten Sie, dass Voracity-Anwender auch die IRI DarkShield-Funktionalität über Workbench oder API nutzen können, um NoSQL-Datenbanken sowie semi- und unstrukturierte Text-, Dokumenten- und Bilddateien zu durchsuchen und zu maskieren. Dateien. DarkShield teilt sich die gleichen Datenklassen und Maskierungsfunktionen mit IRI FieldShield (für atomare RDB- und Flat-File-Daten), um die Integrität der Unternehmensdaten zu wahren. Der Punkt ist, dass Datenbank- und Dateiziele von jedem Voracity-Produktionsjob oder Testdaten Erstellungsjob (weiter unten zusammengefasst) in Windocks containerisiert und virtualisiert werden können.
Whitepaper: Alle Details finden Sie hier in unserem Whitepaper in PDF-Format!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ PII-Daten in Cloud schützen ❌ Reversible Datenmaskierung von sensiblen semi/unstrukturierten Dateien in S3, GCP und Azure BLOB Storage ❗
Ab DarkShield Version 4 werden wei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen zur Verfügung gestellt: die "Base" DarkShield API und die DarkShield-Files API. Um sensible Daten in einer Vielzahl von Quellen zu finden und zu schützen, verwenden die DarkShield-APIs spezifizierte Suchabgleiche und Maskierungsregeln, die Geschäftsregeln folgen. Weitere Informationen zur Erstellung von Suchabgleichern und Maskierungsregeln finden Sie in diesem Artikel.
Die DarkShield-Basis-API wird für die Suche und Maskierung von unstrukturiertem Text außerhalb des Dateikontextes verwendet. Alternativ dazu bietet die DarkShield-Files-API die Möglichkeit, Dateien zu durchsuchen und zu maskieren. Mit Hilfe der DarkShield-Files API können semi- und unstrukturierte Daten wie einfache Textdateien, csv/tsv, Word-Dokumente, Excel, pdf, json, xml, parquet, jpeg und png Bilder durchsucht und maskiert werden.
Amazon S3, Google Cloud, MS Azure: Auf dem Cloud-Markt für die Speicherung von Dateien, die üblicherweise als BLOBs (Binary Large Object Blocks) bezeichnet werden, gibt es mehrere Wettbewerber. Der Schwerpunkt dieses Artikels liegt auf den drei bekanntesten Anbietern von Cloud-Speicherdiensten: Amazon S3, Google Cloud Storage und Microsoft Azure Storage, und wie die DarkShield-Files API mit diesen öffentlichen Silos genutzt werden kann.
Zuvor konnte IRI DarkShield nur PII in lokalen Dateisystemen suchen und maskieren. Mit der neuesten Version können DarkShield-Benutzer nun jedoch eine weitere wichtige, zielgerichtete Ebene des Datenschutzes zu den Standard-Sicherheitsmaßnahmen hinzufügen, die von Cloud-Speicheranbietern bereitgestellt werden. Dieser Artikel demonstriert, wie die DarkShield-Files-API auf BLOBs in der Cloud zugreifen, sie durchsuchen und PII maskieren kann.
Amazon S3, Google Cloud Storage und Azure BLOB Storage bieten alle Bibliotheken an, mit denen Anwendungscode verwendet werden kann, um von außerhalb der Konsole und der Befehlszeile des Cloud-Speicherdienstes auf Inhalte im Cloud-Speicher zuzugreifen. Für diese Bibliotheken gibt es auch eine ausführliche Dokumentation.
Die DarkShield-File API-Demos, die derzeit auf GitHub hochgeladen werden, sind in der Sprache Python geschrieben; als solche verwenden diese Projekte Client-Bibliotheken für Python. Es können jedoch auch andere aufrufende Sprachen, wie Java, verwendet werden.
Diese aufrufenden Programme oder der "Glue Code" für die API ist der Ort, an dem die Cloud-Speicher- (oder andere spezialisierte Eingabe- und/oder) Verfahren definiert werden können. Siehe den Beispielcode unten für die IRI DarkShield API:
Fazit: Dank der Flexibilität der kodierbaren Lösungen ist die DarkShield-Files-API hinsichtlich der Datenquellen, auf die sie zugreifen kann, nicht eingeschränkt. Die API ermöglicht eine kritische und hochgranulare Schutzebene für Daten in der Cloud. Durch das Durchsuchen und Maskieren sensibler Daten, die sich in BLOBs in der Cloud befinden, kann die Datensicherheit selbst im Falle kompromittierter Konten oder eines unzulässigen Zugriffs auf den Speicher in der Cloud aufrechterhalten werden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ Test Data in PDF + Bilder ❌ Generierung oder Erstellung sicherer Testdaten für unstrukturierte Datenquellen ❗
Diese Fähigkeit ermöglicht es Entwicklern und Testern von Anwendungen, die diese Datenquellen verarbeiten oder anderweitig verwalten, mit realistischen, aber sicheren/künstlichen Mustern in DevOps etc. zu arbeiten. Sie ermöglicht keine betrügerische Erstellung von Dokumenten oder Bildern aufgrund von wesentlichen Unterschieden im Hintergrund (Aussehen) und in der Art (Randomisierung) der Testwerte gemäß den gezeigten Beispielen.
In diesem Artikel wird die neue Funktionalität in der DarkShield-Files-API erläutert, die diese Fähigkeit ermöglicht und es werden einige Beispiele für die Erstellung von Testdaten in PDFs und Bildern gegeben!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()

❌ PII in Dark Data ❌ Auffinden von Namen/Substantiven in unstrukturierten Texten oder Dokumeten für gezielte Datenmaskierung❗
Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen sensiblen Daten das Risiko, dass diese Person zum Ziel von Cyberkriminellen wird, wenn der Datensatz angegriffen wird.
IRI DarkShield unterstützt bereits seit Jahren den Import und das weitere Training von OpenNLP-Modellen zum Auffinden und Maskieren von benannten Entitäten. Neu in der DarkShield RPC API 2022 ist jedoch die Unterstützung für moderne Tensorflow und PyTorch NER Modelle. Dies ist eine bedeutende Verbesserung gegenüber dem ersten Satz schneller, aber weniger NER-Modelle auf Basis von OpenNLP.
NER-Modelle, einschließlich solcher aus Quellen wie dem Hugging Face Model Hub. Allein von diesem Hub sind NER-Modelle in über 100 Sprachen verfügbar. Viele dieser Modelle nutzen die Vorteile der relativ neuen Transformer-Architektur für maschinelles Lernen, um die Trainingszeiten zu verkürzen und die Genauigkeit zu verbessern.
Um den Transformers Search Matcher mit der DarkShield-API zu verwenden, empfehlen wir ein System mit einem Grafikprozessor, um die Inferenz der meisten Modelle zu beschleunigen (in der Regel um mindestens das 20-fache). Die DarkShield-API lädt beim Start des Servers automatisch die für den Transformers-Matcher erforderlichen Abhängigkeiten herunter.
Modelle werden entweder als lokales Verzeichnis oder aus dem Hugging Face Model Hub angegeben. Bei direkter Angabe aus dem Hugging Face Model Hub sollte das Python-Skript model_util.py aus dem Ordner plankton/utils vorher ausgeführt werden, um das Modell herunterzuladen. Diesem Skript können die Argumente des Modells und des Tokenizer-Namens (oft derselbe wie der Modellname) übergeben werden.
Wir werden die Erkennung von benannten Entitäten in englischen, türkischen und japanischen Texten anhand von drei verschiedenen NER-Modellen demonstrieren, die alle im Hugging Face Model Hub verfügbar sind. Hier finden Sie den detaillierten technischen Blog-Artikel!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
![]()