Autor: Firma JET-Software
❌ Datenschutz von PII in Bildern ❌ Vorverarbeitung von Bildern zur Verbesserung der OCR-Ergebnisse ❗

❌ Datenschutz von PII in Bildern ❌ Vorverarbeitung von Bildern zur Verbesserung der OCR-Ergebnisse ❗

By |
Vorverarbeitung von Bildern zur Verbesserung der OCR- und DarkShield-Ergebnisse: OCR-Software (Optical Character Recognition) ist eine Technologie zur Erkennung von Text in einem digitalen Bild. OCR wird von der IRI DarkShield-Software verwendet, um Text in eigenständigen oder eingebetteten Bildern während der PII-Suche und -Maskierungsvorgänge zu erkennen.

OCR hat jedoch ihre Grenzen: Um genaue Ergebnisse zu erzielen, muss das Bild vertikal ausgerichtet sein, die richtige Größe haben und so klar wie möglich sein. Nicht jedes Bild erfüllt diese Anforderungen! Wir müssen daher Methoden finden und anwenden, um diese Bilder durch Vorverarbeitung an unsere Bedürfnisse anzupassen. In diesem Artikel werden einige Vorverarbeitungsmethoden vorgestellt und erläutert, wie sie die Qualität der OCR-Ausgabe im Zusammenhang mit der DarkShield-Datenmaskierung verbessern können.

In dem Artikel werden 3 Vorverarbeitungsmethoden aufgezeigt: Bildskalierung, Binarisierung und Entzerrung. Diese auf GitHub verfügbare Demo demonstriert, wie die in diesem Artikel besprochenen Vorverarbeitungsmethoden mit der DarkShield-API für (Bild-)Dateien integriert werden können.

Das Demoprogramm erlaubt es, entweder ein einzelnes Bild oder einen Ordner mit Bildern für die Vorverarbeitung anzugeben. Jedes Bild wird zunächst vorverarbeitet, zur Suche und Maskierung an die DarkShield-Files-API gesendet und dann nachbearbeitet, um das Originalbild wiederherzustellen.

In solchen Fällen enthält das Bild immer noch alle Black Boxes, die von der DarkShield-Files-API platziert wurden, um sensible Daten zu maskieren. Beachten Sie, dass es bei Anwendung der adaptiven Binarisierung als eine der Vorverarbeitungsmethoden nicht möglich ist, die ursprüngliche Farbgebung des Bildes wiederherzustellen.

Die Bilder werden in einem Verzeichnis mit dem Namen masked gespeichert, das automatisch erstellt wird, wenn es beim Ausführen der Demo noch nicht existiert. Dem Programm können zusätzliche Argumente angegeben werden, die bestimmen, ob eine Pipeline verwendet werden soll.

Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Dateiüberwachung ❌ Dynamisches Echtzeit Datenmanagement für Flat-Files ist jetzt möglich ❗

❌ Dateiüberwachung ❌ Dynamisches Echtzeit Datenmanagement für Flat-Files ist jetzt möglich ❗

By |
Automatisierung von Aufträgen durch Datei-Überwachung: Die manuelle Auslösung von SortCL-kompatiblen Jobs in IRI Voracity ETL-, CoSort Reporting-, FieldShield Maskierung- oder NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, nicht realistisch oder produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.

In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.

Anmerkung: Dieser Artikel ist technischer Natur und erfordert ein grundlegendes Verständnis von Ereignissen und Skriptsprachen. IRI arbeitet an einer analogen, protokollbasierten Lösung zur Auslösung von SortCL-Jobs bei Echtzeitänderungen von Daten in relationalen Datenbanktabellen und MongoDB-Sammlungen.

Überblick über die Dateiüberwachung: Die Dateiüberwachung wird im Allgemeinen verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.

Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.

Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.

Dieser Beitrag konzentriert sich auf den ereignisgesteuerten Ansatz unter Verwendung von PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.

Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. Wir haben es zwar noch nicht getestet, aber PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar. Wie zu erwarten, sind nicht alle unter Windows verfügbaren Befehle auch unter Linux verfügbar.

Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Call Detail Record ❌ Tieferen Einblick in die CDRs erhalten und direkte Datenverarbeitung und Datenmaskierung von ASN.1 kodierten Dateien ❗

❌ Call Detail Record ❌ Tieferen Einblick in die CDRs erhalten und direkte Datenverarbeitung und Datenmaskierung von ASN.1 kodierten Dateien ❗

By |
Direkte Unterstützung des ASN.1-Formats: Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie).

Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können.

Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big Data Manipulation, NextForm für Datenmigration, FieldShield für Datenmaskierung und RowGen für Testdatengenerierung) verarbeitet.

ASN.1 CDRs: Jeder Festnetz- oder Mobiltelefonanruf, der über ein Public Land Mobile Network (PLMN) getätigt wird, erzeugt einen oder mehrere Anrufdatensätze. Diese Call Detail Records (CDRs) oder Usage Detail Records (UDRs) werden von der Mobilvermittlungsstelle (MSC) generiert – dem primären GSM/CDMA-Dienstleistungsknoten, der für die Weiterleitung von Sprachanrufen, SMS und anderen Diensten zuständig ist.

CDRs enthalten Informationen, die der Netzbetreiber für die Teilnehmeridentifizierung, die Abrechnung von Anrufen, die in Anspruch genommenen Dienste, die Anrufweiterleitung usw. verwendet. Nachdem ein "Datensammler" in der Netzvermittlungsstelle die CDRs erfasst hat, werden sie in der Regel von einem "Vermittlungssystem" von einem binären Format in ein Flat-File-format umgewandelt.

CDRs werden in der Regel in einem Format kodiert, das einem Standard namens ASN.1 (Abstract Syntax Notation One) entspricht. ASN.1 ist ein flexibles Rahmenwerk für die Darstellung von Datenstrukturen in Telekommunikations- und Computernetzwerken, das in gewissem Umfang auch für Fahrzeugverkehrs- und Finanztransaktionsprotokolle verwendet wird. Ein Beispiel für ein standardisiertes ASN.1-Schema ist TAP3, dem viele CDRs folgen.

Flat CDRs werden von nachgelagerten Abrechnungs- und Analyseanwendungen verwendet, die diese Daten nutzen müssen. Voracity und die meisten Datenintegrations- (ETL) und Telco Application Service Provider (ASP)-Operationen sind in der Tat auf Mediation angewiesen, um die Daten zunächst zu konvertieren und anzureichern, da sie die rohen, binären ASN.1-Formate nicht selbst verarbeiten können. Der Grund dafür ist, dass ASN.1 darauf ausgelegt ist, maschinell erzeugte Daten für die Übermittlung an einen unspezifischen, nachgeschalteten Prozessor streng zu kodieren. Die Vermittlung ist notwendig, weil die Prozessoren unbekannt sind und weil die Datensätze strukturiert, mit Makros versehen und nicht für den Menschen lesbar sind.

In Rohform können CDR-Daten im Allgemeinen mehr als 700 Felder enthalten, die im tatsächlichen Laufzeitstrom erscheinen können oder auch nicht. Aber auch hier sind die Zeichenketten und Werte in Oktetten kodiert, die für Menschen nicht lesbar sind.

Bis jetzt! CoSort bietet die direkte Unterstützung für die Verarbeitung jeder ASN.1 kodierten Datei im Sort Control Language (SortCL) Datenmanipulationsprogramm des Unternehmens. Dies ermöglicht SortCL-kompatiblen Programmbenutzern (in Voracity, CoSort, FieldShield, NextForm und RowGen), Daten wie native ASN.1 CDRs direkt zur Laufzeit zu verarbeiten – ohne vorherige Vermittlung.

Alle technischen Detals sind hier im Blog von IRI zu finden, wir helfen Ihnen gerne bei Fragen!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenverlust verhindern ❌ NoSQL-Datenbankcluster erfordert sowohl Endpunktsicherheit als auch Datenmaskierung ❗

❌ Datenverlust verhindern ❌ NoSQL-Datenbankcluster erfordert sowohl Endpunktsicherheit als auch Datenmaskierung ❗

By |

Haben Sie Dark Data?

Bis zu 90% der gesammelten oder generierten Unternehmens- und Regierungsdaten bleiben in unstrukturierten Text- und Bilddateien, Dokumenten und NoSQL-DBs oder anderen so genannten Dark Data Repositories verborgen. Um das rechtliche, finanzielle und Reputationsrisiko der Offenlegung von persönlich identifizierbaren Informationen (PII) in diesen oft obskuren Quellen zu mindern und um Datenschutzgesetze wie das GDPR einzuhalten, benötigen Sie eine Möglichkeit, die PII in diesen Quellen schnell zu lokalisieren und zu sichern.

IRI DarkShield ist ein neues Produkt für die Erkennung, Bereitstellung, De-Identifizierung und Detaillierung von PII und anderen sensiblen Daten in unstrukturierten Dateien. Es stellt einen Durchbruch in den Bereichen unstrukturierte Datenmaskierungstechnologie, Geschwindigkeit, Benutzerfreundlichkeit und Erschwinglichkeit dar.

IRI DarkShield konsolidiert (plus Multi-Threads) die Suche, Extraktion, Korrektur und Berichterstattung von PII in verschiedenen Dateiformaten und Ordnern in Ihrem Netzwerk, oder in der Cloud. Es kombiniert das Beste aus IRI-Datenmaskierung, bewährten Suchtechnologien und Eclipse™ zu einer einzigen, benutzerfreundlichen Oberfläche, um alles auf einmal oder in geplanten Schritten auszuführen. Und wie gewohnt macht IRI diese Lösung erschwinglich durch flexible Lizenzoptionen, die auf Quellvolumen, Lizenzdauer und anderen benötigten Funktionen basieren.

Dieses Beispiel demonstriert die Verwendung der darkshield-files API, um JSON-Dokumente aus einer lokalen Elasticsearch-Instanz zu suchen und zu maskieren. Um zu funktionieren, muss die plankton Web Services API an dem in server_config.py angegebenen Ort gehostet werden (standardmäßig http://localhost:8959) und darkshield-files Plugins müssen installiert sein.

Elasticsearch muss installiert sein und lokal auf dem Standardport gehostet werden.

Um die zusätzlichen Abhängigkeiten zu installieren, führen Sie pip install -r requirements.txt aus (stellen Sie sicher, dass Ihre virtuelle Umgebung aktiviert ist, sonst werden Ihre Abhängigkeiten global installiert).

Im Beispiel werden zwei JSON-Dokumente in einen Index namens test-index geladen. Der Inhalt des Index wird von der DarkShield-API durchsucht und maskiert und an einen neuen Index namens test-index-masked gesendet. Die maskierten Inhalte in test-index-masked werden vom Programm gesucht und angezeigt.

DarkShield findet und maskiert Folgendes:

  • Emails (EmailMatcher): Gefunden mit einem regulären Ausdruck und maskiert mit einer Hashing-Funktion
  • Telefonnummern (PhoneMatcher): Werden mit Hilfe eines regulären Ausdrucks gefunden und mit einer format-erhaltenden Verschlüsselung maskiert
  • Namen (NameMatcher): Gefunden mit Hilfe eines NER-Modells (Named Entity Recognition) UND unter Verwendung formatspezifischer json-Pfade (alle Namen können im Schlüssel "name" gefunden werden, unabhängig von der Verschachtelung)

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ PII in Dark Data ❌ Sensible Informationen auch in semi/un/strukturierten Quellen entdecken, bereitstellen und löschen ❗

❌ PII in Dark Data ❌ Sensible Informationen auch in semi/un/strukturierten Quellen entdecken, bereitstellen und löschen ❗

By |
.
Dark Data: Versteckte PII überall finden und schützen!

IRI DarkShield Version 4 verfügt über ein Remote Procedure Call (RPC) Application Programming Interface (API) für die Suche und Maskierung unstrukturierter Dateien. Die API ermöglicht die einfache Einbindung von DarkShield als Middleware in eine Pipeline außerhalb von IRI Workbench. Derzeit werden folgende Formate unterstützt:

  • CSV/TSV
  • Fixed Width
  • HL7
  • X12
  • JSON
  • MS Excel (.xls/.xlsx)
  • MS Word (.doc/.docx)
  • Parquet
  • Klartext
  • XML
  • PDFs (mit eingebetteten Bildern)
  • Bilder (png, .jpg/x/2, .tif/f, .gif, .bmp)
  • DICOM

Die API ist als Plugin auf der IRI Web Services Platform (Codename Plankton) aufgebaut, so dass der Benutzer selbst entscheiden kann, welche Dienste er benötigt, und dabei die gleichen Hosting-, Konfigurations- und Protokollierungsfunktionen nutzen kann, die über die Plattform bereitgestellt werden.

Bevor Sie mit diesem Artikel fortfahren, machen Sie sich bitte mit den Operationen der Basis-DarkShield-API in diesem Artikel vertraut. Er beschreibt die Deklaration und Verwendung von Such- und Maskenkontexten zur Suche und Maskierung von Freiformtext, der in json-Payloads gesendet wird.

Die Dateien-API verwendet dieselben Such- und Maskierungskontexte, um Such- und Maskierungsoperationen für Text durchzuführen, der aus den verschiedenen Dateiformaten geparst wurde. Die Datei-API enthält zusätzliche Matcher, Filter und Konfigurationsoptionen für bestimmte Dateiformate.

Alle technischen Details zu dem Produkt und der Konfiguration finden Sie hier im Blog-Artikel!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Testdata für CICD ❌ Testdatenmanagement für sichere realistische Testdaten für Azure, GitLab + AWS DevOps-CodePipeline ❗

❌ Testdata für CICD ❌ Testdatenmanagement für sichere realistische Testdaten für Azure, GitLab + AWS DevOps-CodePipeline ❗

By |
Was wird hier demonstriert? Dies ist die dritte Ergänzung zur DevOps-Pipeline-Serie, hier finden Sie die Links zu den DevOps-Artikeln zu GitLab und AWS CodePipeline.

In diesem Artikel zeigen wir, wie man die IRI Voracity TDM-Plattformsoftware innerhalb einer Azure DevOps-Pipeline verwendet, um realistische Testdaten in verschiedenen Quellen für CI/CD-Zwecke zu erzeugen und zu verwenden. Konkret führen wir IRI RowGen-Skripte aus, um Testdaten in einer Excel-Tabelle zu synthetisieren, und die DarkShield-Files-API, um PII aus einer CosmosDB NoSQL-Datenbank zu maskieren.

Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in referenziell korrekten Datenbank-, Flat-File-, halbstrukturierten Datei-, formatierten Berichts- und sogar unstrukturierten Dateizielen:

Über Azure Pipelines: Azure Pipelines ist eine Reihe von automatisierten Prozessen zum Erstellen, Testen und Bereitstellen von Projekten. Die Automatisierung dieser Prozesse soll die kontinuierliche Integration, die kontinuierliche Bereitstellung und die kontinuierlichen Tests der DevOps-Methoden unterstützen. Kontinuierliches Testen ist ein Konzept in DevOps, das das Testen von Software in jeder Phase des Lebenszyklus der Softwareentwicklung unterstützt.

Testdatenverwaltung und DevOps: TDM ist der Prozess, bei dem produktionsähnliche Testdaten generiert und verschiedenen Tests zur Verfügung gestellt werden, damit der Testprozess Zugang zu realistischen Daten hat. Eine effektive TDM-Strategie ist aus mehreren Gründen von Vorteil.

Zum einen führen unrealistische Testdaten nicht zu mehr Vertrauen in eine Anwendung, sondern können zu unfruchtbaren Tests führen. Daher ist eine produktionsähnliche Testumgebung mit produktionsähnlichen Testdaten notwendig, um genau zu beurteilen, wie sich eine Anwendung in der Produktion verhalten wird.

Zweitens soll TDM die Verfügbarkeit von Testdaten garantieren, wenn sie während der Tests benötigt werden. Gute Testdaten bringen keinen Nutzen, wenn sie zum Zeitpunkt der Testdurchführung nicht verfügbar sind.

Tests in DevOps und die Rolle von Testdaten: Testdatenmanagement sollte implementiert werden, um verschiedene Tests mit realistischen, qualitativ hochwertigen Daten während des gesamten DevOps-Prozesses zu unterstützen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Data Lake für Datenverarbeitung ❌ Unterschiedliche semi/un/strukturierte Rohdaten im Datenspeicher bündeln und in wenigen Schritten verarbeiten ❗

❌ Data Lake für Datenverarbeitung ❌ Unterschiedliche semi/un/strukturierte Rohdaten im Datenspeicher bündeln und in wenigen Schritten verarbeiten ❗

By |
Big Data Verarbeitung: Laut der Open Knowledge Foundation ist die Datenpaketierung "eine einfache Möglichkeit, Sammlungen von Daten und deren Beschreibungen an einem Ort zu platzieren, so dass sie leicht ausgetauscht und verwendet werden können" und dass ein Datenpaket "in einem Format vorliegt, das sehr einfach, webfreundlich und erweiterbar ist".

Für IRI und viele Menschen in der Welt der Datenverarbeitung und Datenwissenschaft ist die Datenverarbeitung eine Manifestation von Datenintegrations-, Staging- oder Wranglingoperationen, die über die Datentransformation und -filterung hinaus auch Aufgaben wie Konsolidierung, Bereinigung und Anonymisierung beinhalten können. IRI-Software verarbeitet seit Jahrzehnten große Datenmengen in brauchbare und sinnvoll formatierte Ergebnismengen, schnell, zuverlässig und kostengünstig.

Berücksichtigen Sie die traditionelle Stärke von CoSort für schnellste Sortierung und wie wichtig das für so viele große Daten-Staging-Prozesse ist, die auch Lookups, Joins, Aggregationen und Remapping beinhalten.

Heute können Sie die CoSort Engine oder austauschbare Hadoop-Engines (MR2, Spark, Spark Stream, Storm und Tez) innerhalb der IRI Voracity-Plattform für das vollständige Datenmanagement nutzen, um Daten in vielerlei Hinsicht zu verarbeiten. Kombinieren, Mungen, Reinigen, Maskieren und Minen Sie strukturierte und semistrukturierte interne und "offene" Quellen für Analytik, Governance und DevOps. Es gibt auch viele Dinge, die Sie mit unstrukturierten Daten tun können, die in Voracity entdeckt und extrahiert wurden.

Was kann ich konkret tun und wie mache ich es? Genauer gesagt, können Sie die IRI Voracity-Plattform für totales Datenmanagement auf Basis von CoSort (oder Hadoop) nutzen, um unterschiedliche Datenquellen zu bündeln. Sie können verwandte Elemente zu mehreren, speziell angefertigten, benutzerdefinierten Zielen vereinheitlichen und destillieren, die für Forschung und Analytik geeignet sind. Mit Voracity können Sie all diese Dinge tun:

  • Datenerfassung (Extraktion), Manipulation (Transformation) und Population (Laden)
  • Datenfilterung, -bereinigung und -validierung (Verbesserung der Datenqualität)
  • Datenkonsolidierung und -standardisierung (MDM)
  • Datenföderation und Virtualisierung Datenintegration, inklusiver:
  • Datenreporting (integrierte BI)
  • Datenmigration und Replikation
  • Datenklassifizierung, Scanning & Maskierung (siehe Big Data Schutz)
  • Testdatengenerierung (siehe Big Data Schutz)
  • Data Wrangling für BI-Tools wie Qlik und Tableau, oder Analysesoftware wie R oder KNIME (siehe auch die Registerkarte Big Data Bereitstellung oben).

Die meisten dieser Aktivitäten können spezifiziert und in Wizard-gesteuerten, aufgabenkonsolidierenden, Single-IO-Jobskripten oder gut strukturierten Batch-Workflows kombiniert werden, die sie enthalten. Mithilfe der intuitiven Diagramme oder der selbstdokumentierenden Textdateien, die sie veranschaulichen, können Sie Ihre Aufträge leicht verstehen, ändern, ausführen, planen und freigeben.

Sehen Sie sich das preisgekrönte IRI 4GL-Programm für Datenmanipulation (SortCL) und die grafische IDE an, die auf Eclipse (IRI Workbench) basiert, um Ihre Datenverpackungsaufträge zu erstellen, zu automatisieren und zu verwalten…. große oder kleine, einfache oder komplexe, lokale oder in der Cloud.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Database Subsetting ❌ Automatisch erstellte Untermengen verwandter Tabellen für referenziell korrekte Testdaten für DB-Prototypen und DevOps ❗

❌ Database Subsetting ❌ Automatisch erstellte Untermengen verwandter Tabellen für referenziell korrekte Testdaten für DB-Prototypen und DevOps ❗

By |
Datenbank Subsetting: Sobald eine Datenbank eine bestimmte Größe überschreitet, wird es teuer – und aus der Sicherheitsperspektive riskant -, Kopien in voller Größe für Entwicklung, Tests und Schulungen bereitzustellen. Die meisten Teams benötigen kleinere Kopien der größeren Datenbank, und oft müssen die darin enthaltenen personenbezogenen Daten maskiert werden.

Datenbank-Subsetting ist der Prozess der Erstellung einer kleineren, referenziell korrekten Kopie einer größeren Datenbank aus echten Tabellenauszügen. Teilmengen können zusammen mit oder anstelle der Maskierung von Daten oder der Synthese von Testdaten verwendet werden, um die mit vollständigen Mengen verbundenen Kosten und Risiken zu verringern. Die manuelle Erstellung aussagekräftiger Teilmengen ist komplex und mühsam, wenn man bedenkt, dass man kleinere Datenbanken mit Zufallsstichproben aus jeder Produktionstabelle bestücken und sicherstellen muss, dass die relationale Struktur zwischen den Tabellen in der Teilmenge noch korrekt ist.

Ein durchgängiger Assistent für das Subsetting von Datenbanken in der IRI Workbench macht diesen Prozess schneller und einfacher. Der Assistent steht lizenzierten Benutzern der IRI Voracity Datenmanagement-Plattform, IRI RowGen für die Testdatengenerierung und IRI FieldShield für die Datenmaskierung zur Verfügung. Dieser Artikel stellt den Assistenten vor und zeigt, wie er referenziell korrekte Subsets erstellt, mit Optionen für Spaltenmaskierung und felderhaltende Verschlüsselung.

Der Assistent zur Erstellung von Teilmengen lässt den Benutzer die Quelle der Teilmenge, die Größe und Sortierung der Teilmenge, die Namen für die Teilmengenziele und die Verschlüsselung oder Maskierung, die die Teilmenge erhalten soll, auswählen. Der Assistent erstellt dann eine Reihe von Auftragsskripten, die entweder Subset-Tabellen oder Flat-Files erstellen.

Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Schutz von PHI in EDI-Formaten ❌ Datenschutz via Datenmaskierung von sensiblen PHI in HL7- und X12-Formaten ❗

❌ Schutz von PHI in EDI-Formaten ❌ Datenschutz via Datenmaskierung von sensiblen PHI in HL7- und X12-Formaten ❗

By |
Auffinden und Maskieren von PHI in HL7- und X12-Dateien: Der Ruf von IRI in der Gesundheitsbranche hat sich seit der Veröffentlichung von IRI FieldShield im Jahr 2010 über seine traditionellen Wurzeln in der Verarbeitung von Leistungsansprüchen hinaus ausgeweitet. Mit FieldShield lassen sich geschützte Gesundheitsinformationen (Protected Health Information, PHI) in Flat-Files und relationalen Datenbanken gemäß den Sicherheitsvorschriften des HIPAA Safe Harbour und der Expert Determination Method finden und de-identifizieren.

IRI hat das DarkShield-Produkt zur Datenmaskierung vor etwa 5 Jahren eingeführt, um diese Anforderungen in halb- und unstrukturierten Datenquellen, einschließlich XML-, Excel- und PDF-Dateien, sowie NoSQL-DBs wie Mongo und Bildformaten wie JPEG und DICOM zu erfüllen. Dieser Artikel befasst sich mit der Unterstützung von HL7- und X12-EDI-Formaten durch die RPC-API für Dateien von DarkShield.

Blog-Artikel: Alle technischen Details auch mit den Konfigurationen finden Sie hier im Blog-Artikel von IRI.

Fazit: Da HL7- und X12-Dokumente in einer öffentlichen Cloud sehr unsicher sind, ist die Gefahr einer Verletzung des Datenschutzes groß. Um Verstöße gegen Datenschutzgesetze zu verhindern, müssen die sensiblen Daten in diesen Dokumenten geschützt werden.

Die neuesten Erweiterungen der DarkShield-Files API erfüllen diese Anforderungen für HL7v2- und X12-Dokumente. Durch die Bereitstellung zusätzlicher Datensicherheitsebenen für gespeicherte elektronische Dokumente bietet IRI DarkShield eine zusätzliche Sicherheitsebene für geschützte Gesundheitsinformationen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Testdaten in AWS CodePipeline ❌ Erzeugung von synthetischen Testdaten innerhalb der AWS CodePipeline automatisieren ❗

❌ Testdaten in AWS CodePipeline ❌ Erzeugung von synthetischen Testdaten innerhalb der AWS CodePipeline automatisieren ❗

By |
Maskierte Testdaten in einer AWS CodePipeline: In diesem Artikel wird gezeigt, wie die Ausführung von IRI DarkShield-Datenmaskierungsaufträgen aus SSH-Befehlen automatisiert werden kann, die innerhalb der AWS CodePipeline ausgeführt werden, um zweckmäßige Testdaten im DevOps-Prozess zu erzeugen.

In unserer letzten Demonstration mit der GitLab-Pipeline haben wir strukturierte IRI FieldShield-Datenmaskierungs- und IRI RowGen-Datensynthese-Auftragsskripte ausgeführt, um Testdaten zu erzeugen und sie nach der Bereitstellung in API-Tests zu verwenden. In dieser Demonstration ruft die AWS CodePipeline die DarkShield-Files-API auf einem Remote-Server auf, um eine weitere Methode zur Erstellung von zweckmäßigen Testdaten in MongoDB zu zeigen. Natürlich ist die GitLab-Methode mit FieldShield und RowGen auch in AWS und Azure DevOps praktikabel.

Zusammenfassung des Verfahrens: In diesem Artikel wurde gezeigt, wie die Ausführung von IRI-Aufträgen zur Erzeugung von Testdaten innerhalb der AWS CodePipeline automatisiert werden kann. Mithilfe von SSH kann jedes IRI-Auftragsskript oder jede API-Routine, die über die Befehlszeile ausgeführt werden kann, innerhalb der Pipeline ausgeführt werden.

Da es sich bei der IRI-Backend-Engine um eine ausführbare Datei handelt, können Produkte wie DarkShield, FieldShield und RowGen über die Befehlszeile ausgeführt werden. Darüber hinaus kann die DarkShield-Files API programmatisch zugewiesen werden, um auf vorgewählten Datenquellen ausgeführt zu werden, wie unsere Python-Demos zeigen.

Ob es sich um die Generierung synthetischer Testdaten, die Maskierung strukturierter, halbstrukturierter oder unstrukturierter Daten handelt, ist es möglich, IRI-Job-Skripte über die CI/CD-Pipeline in den DevOps-Prozess einzubinden. Unserer nächster Artikel wird dies in Azure DevOps demonstrieren.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.