
❌ Testdata für CICD ❌ Testdatenmanagement für sichere realistische Testdaten für Azure, GitLab + AWS DevOps-CodePipeline ❗
In diesem Artikel zeigen wir, wie man die IRI Voracity TDM-Plattformsoftware innerhalb einer Azure DevOps-Pipeline verwendet, um realistische Testdaten in verschiedenen Quellen für CI/CD-Zwecke zu erzeugen und zu verwenden. Konkret führen wir IRI RowGen-Skripte aus, um Testdaten in einer Excel-Tabelle zu synthetisieren, und die DarkShield-Files-API, um PII aus einer CosmosDB NoSQL-Datenbank zu maskieren.
Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in referenziell korrekten Datenbank-, Flat-File-, halbstrukturierten Datei-, formatierten Berichts- und sogar unstrukturierten Dateizielen:
- Maskierung von Produktionsdaten in IRI FieldShield, CellShield EE oder DarkShield
- RDBMS-Tabellen-Subsetting & Spaltenmaskierung in FieldShield
- Synthese strukturierter Daten (Zufallsgenerierung/-auswahl) in IRI RowGen
- Jede beliebige Kombination der oben genannten Funktionen in IRI Voracity (einschließlich aller Funktionen)
Über Azure Pipelines: Azure Pipelines ist eine Reihe von automatisierten Prozessen zum Erstellen, Testen und Bereitstellen von Projekten. Die Automatisierung dieser Prozesse soll die kontinuierliche Integration, die kontinuierliche Bereitstellung und die kontinuierlichen Tests der DevOps-Methoden unterstützen. Kontinuierliches Testen ist ein Konzept in DevOps, das das Testen von Software in jeder Phase des Lebenszyklus der Softwareentwicklung unterstützt.
Testdatenverwaltung und DevOps: TDM ist der Prozess, bei dem produktionsähnliche Testdaten generiert und verschiedenen Tests zur Verfügung gestellt werden, damit der Testprozess Zugang zu realistischen Daten hat. Eine effektive TDM-Strategie ist aus mehreren Gründen von Vorteil.
Zum einen führen unrealistische Testdaten nicht zu mehr Vertrauen in eine Anwendung, sondern können zu unfruchtbaren Tests führen. Daher ist eine produktionsähnliche Testumgebung mit produktionsähnlichen Testdaten notwendig, um genau zu beurteilen, wie sich eine Anwendung in der Produktion verhalten wird.
Zweitens soll TDM die Verfügbarkeit von Testdaten garantieren, wenn sie während der Tests benötigt werden. Gute Testdaten bringen keinen Nutzen, wenn sie zum Zeitpunkt der Testdurchführung nicht verfügbar sind.
Tests in DevOps und die Rolle von Testdaten: Testdatenmanagement sollte implementiert werden, um verschiedene Tests mit realistischen, qualitativ hochwertigen Daten während des gesamten DevOps-Prozesses zu unterstützen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Data Lake für Datenverarbeitung ❌ Unterschiedliche semi/un/strukturierte Rohdaten im Datenspeicher bündeln und in wenigen Schritten verarbeiten ❗
Für IRI und viele Menschen in der Welt der Datenverarbeitung und Datenwissenschaft ist die Datenverarbeitung eine Manifestation von Datenintegrations-, Staging- oder Wranglingoperationen, die über die Datentransformation und -filterung hinaus auch Aufgaben wie Konsolidierung, Bereinigung und Anonymisierung beinhalten können. IRI-Software verarbeitet seit Jahrzehnten große Datenmengen in brauchbare und sinnvoll formatierte Ergebnismengen, schnell, zuverlässig und kostengünstig.
Berücksichtigen Sie die traditionelle Stärke von CoSort für schnellste Sortierung und wie wichtig das für so viele große Daten-Staging-Prozesse ist, die auch Lookups, Joins, Aggregationen und Remapping beinhalten.
Heute können Sie die CoSort Engine oder austauschbare Hadoop-Engines (MR2, Spark, Spark Stream, Storm und Tez) innerhalb der IRI Voracity-Plattform für das vollständige Datenmanagement nutzen, um Daten in vielerlei Hinsicht zu verarbeiten. Kombinieren, Mungen, Reinigen, Maskieren und Minen Sie strukturierte und semistrukturierte interne und "offene" Quellen für Analytik, Governance und DevOps. Es gibt auch viele Dinge, die Sie mit unstrukturierten Daten tun können, die in Voracity entdeckt und extrahiert wurden.
Was kann ich konkret tun und wie mache ich es? Genauer gesagt, können Sie die IRI Voracity-Plattform für totales Datenmanagement auf Basis von CoSort (oder Hadoop) nutzen, um unterschiedliche Datenquellen zu bündeln. Sie können verwandte Elemente zu mehreren, speziell angefertigten, benutzerdefinierten Zielen vereinheitlichen und destillieren, die für Forschung und Analytik geeignet sind. Mit Voracity können Sie all diese Dinge tun:
- Datenerfassung (Extraktion), Manipulation (Transformation) und Population (Laden)
- Datenfilterung, -bereinigung und -validierung (Verbesserung der Datenqualität)
- Datenkonsolidierung und -standardisierung (MDM)
- Datenföderation und Virtualisierung Datenintegration, inklusiver:
- Datenreporting (integrierte BI)
- Datenmigration und Replikation
- Datenklassifizierung, Scanning & Maskierung (siehe Big Data Schutz)
- Testdatengenerierung (siehe Big Data Schutz)
- Data Wrangling für BI-Tools wie Qlik und Tableau, oder Analysesoftware wie R oder KNIME (siehe auch die Registerkarte Big Data Bereitstellung oben).
Die meisten dieser Aktivitäten können spezifiziert und in Wizard-gesteuerten, aufgabenkonsolidierenden, Single-IO-Jobskripten oder gut strukturierten Batch-Workflows kombiniert werden, die sie enthalten. Mithilfe der intuitiven Diagramme oder der selbstdokumentierenden Textdateien, die sie veranschaulichen, können Sie Ihre Aufträge leicht verstehen, ändern, ausführen, planen und freigeben.
Sehen Sie sich das preisgekrönte IRI 4GL-Programm für Datenmanipulation (SortCL) und die grafische IDE an, die auf Eclipse (IRI Workbench) basiert, um Ihre Datenverpackungsaufträge zu erstellen, zu automatisieren und zu verwalten…. große oder kleine, einfache oder komplexe, lokale oder in der Cloud.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Database Subsetting ❌ Automatisch erstellte Untermengen verwandter Tabellen für referenziell korrekte Testdaten für DB-Prototypen und DevOps ❗
Datenbank-Subsetting ist der Prozess der Erstellung einer kleineren, referenziell korrekten Kopie einer größeren Datenbank aus echten Tabellenauszügen. Teilmengen können zusammen mit oder anstelle der Maskierung von Daten oder der Synthese von Testdaten verwendet werden, um die mit vollständigen Mengen verbundenen Kosten und Risiken zu verringern. Die manuelle Erstellung aussagekräftiger Teilmengen ist komplex und mühsam, wenn man bedenkt, dass man kleinere Datenbanken mit Zufallsstichproben aus jeder Produktionstabelle bestücken und sicherstellen muss, dass die relationale Struktur zwischen den Tabellen in der Teilmenge noch korrekt ist.
Ein durchgängiger Assistent für das Subsetting von Datenbanken in der IRI Workbench macht diesen Prozess schneller und einfacher. Der Assistent steht lizenzierten Benutzern der IRI Voracity Datenmanagement-Plattform, IRI RowGen für die Testdatengenerierung und IRI FieldShield für die Datenmaskierung zur Verfügung. Dieser Artikel stellt den Assistenten vor und zeigt, wie er referenziell korrekte Subsets erstellt, mit Optionen für Spaltenmaskierung und felderhaltende Verschlüsselung.
Der Assistent zur Erstellung von Teilmengen lässt den Benutzer die Quelle der Teilmenge, die Größe und Sortierung der Teilmenge, die Namen für die Teilmengenziele und die Verschlüsselung oder Maskierung, die die Teilmenge erhalten soll, auswählen. Der Assistent erstellt dann eine Reihe von Auftragsskripten, die entweder Subset-Tabellen oder Flat-Files erstellen.
Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com

❌ Schutz von PHI in EDI-Formaten ❌ Datenschutz via Datenmaskierung von sensiblen PHI in HL7- und X12-Formaten ❗
IRI hat das DarkShield-Produkt zur Datenmaskierung vor etwa 5 Jahren eingeführt, um diese Anforderungen in halb- und unstrukturierten Datenquellen, einschließlich XML-, Excel- und PDF-Dateien, sowie NoSQL-DBs wie Mongo und Bildformaten wie JPEG und DICOM zu erfüllen. Dieser Artikel befasst sich mit der Unterstützung von HL7- und X12-EDI-Formaten durch die RPC-API für Dateien von DarkShield.
Blog-Artikel: Alle technischen Details auch mit den Konfigurationen finden Sie hier im Blog-Artikel von IRI.
Fazit: Da HL7- und X12-Dokumente in einer öffentlichen Cloud sehr unsicher sind, ist die Gefahr einer Verletzung des Datenschutzes groß. Um Verstöße gegen Datenschutzgesetze zu verhindern, müssen die sensiblen Daten in diesen Dokumenten geschützt werden.
Die neuesten Erweiterungen der DarkShield-Files API erfüllen diese Anforderungen für HL7v2- und X12-Dokumente. Durch die Bereitstellung zusätzlicher Datensicherheitsebenen für gespeicherte elektronische Dokumente bietet IRI DarkShield eine zusätzliche Sicherheitsebene für geschützte Gesundheitsinformationen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com

❌ Testdaten in AWS CodePipeline ❌ Erzeugung von synthetischen Testdaten innerhalb der AWS CodePipeline automatisieren ❗
In unserer letzten Demonstration mit der GitLab-Pipeline haben wir strukturierte IRI FieldShield-Datenmaskierungs- und IRI RowGen-Datensynthese-Auftragsskripte ausgeführt, um Testdaten zu erzeugen und sie nach der Bereitstellung in API-Tests zu verwenden. In dieser Demonstration ruft die AWS CodePipeline die DarkShield-Files-API auf einem Remote-Server auf, um eine weitere Methode zur Erstellung von zweckmäßigen Testdaten in MongoDB zu zeigen. Natürlich ist die GitLab-Methode mit FieldShield und RowGen auch in AWS und Azure DevOps praktikabel.
Zusammenfassung des Verfahrens: In diesem Artikel wurde gezeigt, wie die Ausführung von IRI-Aufträgen zur Erzeugung von Testdaten innerhalb der AWS CodePipeline automatisiert werden kann. Mithilfe von SSH kann jedes IRI-Auftragsskript oder jede API-Routine, die über die Befehlszeile ausgeführt werden kann, innerhalb der Pipeline ausgeführt werden.
Da es sich bei der IRI-Backend-Engine um eine ausführbare Datei handelt, können Produkte wie DarkShield, FieldShield und RowGen über die Befehlszeile ausgeführt werden. Darüber hinaus kann die DarkShield-Files API programmatisch zugewiesen werden, um auf vorgewählten Datenquellen ausgeführt zu werden, wie unsere Python-Demos zeigen.
Ob es sich um die Generierung synthetischer Testdaten, die Maskierung strukturierter, halbstrukturierter oder unstrukturierter Daten handelt, ist es möglich, IRI-Job-Skripte über die CI/CD-Pipeline in den DevOps-Prozess einzubinden. Unserer nächster Artikel wird dies in Azure DevOps demonstrieren.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Datenaufbereitung für Datadog ❌ Externes Data Wrangling für Beschleunigung und Einspeisung mit Datensicherheit in Datadog ❗
Dieser Artikel ist der erste in einer 4-teiligen Serie über die Fütterung der Datadog Cloud-Analyseplattform mit verschiedenen Arten von Daten aus IRI Voracity-Operationen. Er konzentriert sich auf den Wert von Datadog und Voracity zusammen.
Die folgenden Artikel befassen sich mit der Aufbereitung von Daten in Voracity und ihrer Einspeisung in Datadog, der Verwendung von Voracity-verarbeiteten Daten in Datadog-Visualisierungen und der Verwendung von IRI DarkShield-Suchergebnissen in Datadog zur Verbesserung der Datensicherheit:
- Dieser Artikel beschreibt die Einspeisung verschiedener Daten aus IRI Voracity in die Datadog Cloud-Analyseplattform. Er konzentriert sich auf die Vorbereitung der Daten in Voracity und die Vorbereitung von Datadog für den Empfang der Daten.
- Dieser Artikel zeigt die Fütterung der Datadog Cloud-Analyseplattform mit verschiedenen Arten von Daten aus IRI Voracity-Operationen. Er konzentriert sich auf die Visualisierung von Voracity-verarbeiteten Daten in Datadog.
- Dieser Artikel konzentriert sich auf die Visualisierung von Suchprotokollen aus dem DarkShield-Produkt zur Maskierung unstrukturierter Daten (ebenfalls eine Voracity-Komponente) in Datadog für Sicherheitsanalysen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Datenschutz in der Cloud ❌ Datenmaskierung von PII in Dateispeicher wie S3, Azure BLOB und Google Cloud Platform (GCP) ❗
Die Datenspeicherung in der Cloud ist auch deshalb so beliebt, weil die Anschaffung und Wartung von Speichergeräten vor Ort Kopfzerbrechen bereitet. Cloud-Anbieter ermöglichen es Unternehmen jeder Größe, Daten außerhalb des Unternehmens zu speichern, unabhängig davon, ob diese Daten mit anderen Cloud-Diensten oder -Anwendungen verbunden sind oder nicht.
Verschlüsselung von Cloud-Speicher: Die Anbieter von Cloud-Speicherdiensten bieten in der Regel zwei Formen der Verschlüsselung an, während der Übertragung (dynamisch) oder im Ruhezustand (statisch).
Die Verschlüsselung während der Übertragung wird verwendet, wenn Ihre Daten zwischen Ihrem lokalen Computer und der Cloud übertragen werden. Die verschlüsselten Daten werden automatisch entschlüsselt, wenn sie ihr Ziel erreichen. Dies kann über SSL (Secure Sockets Layer) erfolgen.
Die Verschlüsselung im Ruhezustand, auch bekannt als eine Form der statischen oder dauerhaften Datenmaskierung, wird durchgeführt, wenn die Daten in Dateien, Ordnern, Datenbanken oder Buckets ruhen. Wenn Daten aus der Cloud extrahiert werden, wird die Verschlüsselung im Ruhezustand automatisch entschlüsselt, bevor die Daten die Cloud verlassen.
Sicherheitsaspekte: Garantiert der Schutz, den die Anbieter von Cloud-Speicherdiensten bieten, dass Ihre sensiblen Daten nicht offengelegt werden? Selbst bei der Verschlüsselung während des Transports und im Ruhezustand gibt es immer noch Möglichkeiten für Kriminelle, auf Ihre in der Cloud gespeicherten sensiblen Daten zuzugreifen.Laut Cypress Data Defense gehören zu den häufigsten Sicherheitsrisiken in der Cloud der unbefugte Zugriff durch unsachgemäße Zugangskontrollen und der Missbrauch von Mitarbeiterdaten".
Betrachtet man die Risiken eines falsch konfigurierten Cloud-Speichers genauer, so gibt es mehrere Szenarien, die Daten angreifbar machen. Das erste ist, wenn Sicherheitsgruppen falsch konfiguriert sind. Dies kann dazu führen, dass Einzelpersonen auf die Cloud-Server zugreifen und Daten extrahieren.
Wenn Daten aus dem Cloud-Speicher extrahiert werden, sind sie nicht verschlüsselt. Wie bereits erwähnt, werden Daten, die entweder im Ruhezustand oder während der Übertragung von Dienstanbietern verschlüsselt wurden, in dem Moment, in dem die Daten vor der Person liegen, rückgängig gemacht.
Das zweite Risiko eines falsch konfigurierten Cloud-Speichers ist das Fehlen von Zugriffsbeschränkungen. Das Fehlen von Zugangsbeschränkungen bedeutet wiederum, dass Einzelpersonen Zugang zu den Daten in Ihrem Cloud-Speicher erhalten können.
Unangemessene Handlungen und Verhaltensweisen von Unternehmensmitarbeitern sind ein Risiko, das in jeder Branche zu berücksichtigen ist. Es ist ziemlich einfach zu verstehen, dass ein Angreifer, der von innen kommt, sich keine Sorgen um die Sicherheit machen muss, wenn er auf Daten in der Cloud zugreift.
Da die Möglichkeit besteht, dass die Verschlüsselung während der Übertragung und im Ruhezustand umgangen wird, benötigen die Nutzer von Cloud-Speichern eine zusätzliche Sicherheitsebene, um ihre Daten zu schützen. Client-seitige, datenzentrierte Maskierungsfunktionen wie die Verschlüsselung fügen diese notwendige neue Schutzebene hinzu.
Leider stellt die clientseitige Maskierung von halbstrukturierten und unstrukturierten Datenquellen die meisten Unternehmen vor eine Reihe von Entwicklungs- und Support-Herausforderungen – selbst diejenigen, die über Erfahrungen mit optischer Zeichenerkennung, maschinellem Lernen und so weiter verfügen.
Schnelle und sichere Datenmaskierung: IRI DarkShield ist ein Datenmaskierungswerkzeug zum Auffinden und De-Identifizieren sensibler Daten in halbstrukturierten und unstrukturierten Dateien und Datenbanken. DarkShield ist eines der drei zentralen Datenmaskierungsprodukte der IRI Data Protector Suite, die grafische Datenklassifizierungs-, Such- und Maskierungsjob-Designmodelle in der IRI Workbench IDE, die auf Eclipse basiert, nutzen können.
Ab DarkShield Version 4 werden jedoch zwei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen zur Verfügung gestellt: die "Base" DarkShield API und die DarkShield-Files API. Die DarkShield-APIs erweitern die Nutzung der DarkShield-Funktionalität außerhalb von Workbench und nutzen ein Plugin auf der IRI Web Services Platform (Codename Plankton).
Um sensible Daten in einer Vielzahl von Quellen zu finden und zu schützen, verwenden die DarkShield-APIs spezifizierte Suchabgleiche und Maskierungsregeln, die Geschäftsregeln folgen. Weitere Informationen zur Erstellung von Suchabgleichern und Maskierungsregeln finden Sie in diesem Artikel.
Die DarkShield-Basis-API wird für die Suche und Maskierung von unstrukturiertem Text außerhalb des Dateikontextes verwendet. Alternativ dazu bietet die DarkShield-Files-API die Möglichkeit, Dateien zu durchsuchen und zu maskieren. Mit Hilfe der DarkShield-Files API können halbstrukturierte und unstrukturierte Daten wie einfache Textdateien, csv/tsv, Word-Dokumente, Excel, pdf, json, xml, parquet, jpeg und png Bilder durchsucht und maskiert werden.
Amazon S3, Google Cloud, MS Azure und die DarkShield Files API: Auf dem Cloud-Markt für die Speicherung von Dateien, die üblicherweise als BLOBs (Binary Large Object Blocks) bezeichnet werden, gibt es mehrere Wettbewerber. Der Schwerpunkt dieses Artikels liegt auf den drei bekanntesten Anbietern von Cloud-Speicherdiensten: Amazon S3, Google Cloud Storage und Microsoft Azure Storage, und wie die DarkShield-Files API mit diesen öffentlichen Silos genutzt werden kann.
Zuvor konnte IRI DarkShield nur PII in lokalen Dateisystemen suchen und maskieren. Mit der neuesten Version können DarkShield-Benutzer nun jedoch eine weitere wichtige, zielgerichtete Ebene des Datenschutzes zu den Standard-Sicherheitsmaßnahmen hinzufügen, die von Cloud-Speicheranbietern bereitgestellt werden. Dieser Artikel demonstriert, wie die DarkShield-Files-API auf BLOBs in der Cloud zugreifen, sie durchsuchen und PII maskieren kann.
Amazon S3, Google Cloud Storage und Azure BLOB Storage bieten alle Bibliotheken an, mit denen Anwendungscode verwendet werden kann, um von außerhalb der Konsole und der Befehlszeile des Cloud-Speicherdienstes auf Inhalte im Cloud-Speicher zuzugreifen. Für diese Bibliotheken gibt es auch eine ausführliche Dokumentation.
Die DarkShield-File API-Demos, die derzeit auf GitHub hochgeladen werden, sind in der Sprache Python geschrieben; als solche verwenden diese Projekte Client-Bibliotheken für Python. Es können jedoch auch andere aufrufende Sprachen, wie Java, verwendet werden.
Diese aufrufenden Programme oder der "Glue Code" für die API ist der Ort, an dem die Cloud-Speicher- (oder andere spezialisierte Eingabe- und/oder) Verfahren definiert werden können. Siehe den Beispielcode unten für die IRI DarkShield API:
Schlussfolgerung: Dank der Flexibilität der kodierbaren Lösungen ist die DarkShield-Files-API hinsichtlich der Datenquellen, auf die sie zugreifen kann, nicht eingeschränkt. Die API ermöglicht eine kritische und hochgranulare Schutzebene für Daten in der Cloud. Durch das Durchsuchen und Maskieren sensibler Daten, die sich in BLOBs in der Cloud befinden, kann die Datensicherheit selbst im Falle kompromittierter Konten oder eines unzulässigen Zugriffs auf den Speicher in der Cloud aufrechterhalten werden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ CDI und eCommerce ❌ Datenintegration, mit Datenaufbereitung und Datenverarbeitung von großen Mengen an kaufrelevanten Referenzdaten ❗
- Verkaufs- und Buchungssätze
- Verbraucher- und demographische Umfragen
- Finanzdaten, einschließlich Preisindizes, Immobilienmärkte und Versicherungsrisiken
- Marketing- und Verschreibungsdatenbanken
- Katalog- und Prämienprogramm-Abonnements
- Weblogs (Clickstream-Analysen)
Identifizieren, bereinigen und helfen, über das Kaufverhalten zu berichten. Führen Sie die Integration von Kundendaten und die Erfassung von Änderungsdaten in hochvolumigen Data Warehouses und E-Commerce-Daten-Webhouses, operativen Data Stores, Data Lakes und Flat Files durch. Verwenden Sie Ihr bevorzugtes BI- oder Analysetool oder nutzen Sie kompatible Analyse- und maschinelle Lernwerkzeuge wie KNIME, um das Verhalten vorherzusagen.
Wenn Sie sich um den Datenschutz sorgen, klassifizieren, finden und schützen Sie PANs, PHI oder andere PII, die Vorschriften wie GDPR, HIPAA und PCI-DSS unterliegen, die von Voracity (oder eigenständig) IRI FieldShield, CellShield oder DarkShield Discovery und Maskierung-Tools enthalten sind. Und die von Voracity bereitgestellten DB-Subsetz- und synthetischen Testdaten (IRI RowGen) Tools helfen Ihnen, sicher und intelligent Prototypen zu erstellen und Datenbanken und Anwendungen zu demonstrieren.
Zusammenfassend lässt sich sagen, dass IRI Voracity als produktionsanalytische Platform fungiert, die Ihnen hilft, Daten groß und klein vorzuverarbeiten, damit Sie demografische und geografische Segmente effizienter und kostengünstiger profilieren, Marketingprogramme durchführen und analysieren, Branding- und Loyalitätskampagnen durchführen, Stammdaten verwalten und den Umsatz durch Werbe-, Preis- und Promotionentscheidungen optimieren können. Und die ebenfalls enthaltenen Funktionen helfen Ihnen, die Produktion zu maskieren oder Testdaten zu generieren, um Datenverstöße und Compliance-Risiken zu minimieren, während Sie die Analyseergebnisse optimieren.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Datenintegrität ❌ PII-Klassifizierung vor der Erkennung und Zuweisung von Datenmaskierung-Regeln zu diesen Klassen ❗
Die Multi-Source-Datenerkennungsfunktionen (Suchfunktionen) in IRI Workbench können die von Ihnen definierten Datenklassen nutzen oder Ihnen dabei helfen, Ihren Daten auf der Grundlage Ihrer Suchergebnisse, Geschäftsregeln und/oder Domänenontologien Datenklassen oder Datenklassengruppen zuzuordnen.
Sie können Ihre Datenklassenbibliothek in wiederverwendbaren Feldregeln (z. B. Datenmaskierung) verwenden. Und Sie können diese Regeln auch bei der automatischen Klassifizierung von Daten zuweisen. Diese Funktionen bieten Datenarchitekten und Governance-Teams Komfort, Konsistenz und Compliance-Funktionen. In diesem Artikel finden Sie ein durchgängiges Beispiel für die Verwendung von Datenklassen zum konsistenten Suchen und Maskieren von Daten über mehrere Tabellen in RDB-Schemata.
Dieses Video demonstriert die wichtigsten Komponenten der IRI FieldShield-Datenmaskierungsoperationen in einem Mehrtabellen-Datenbankschema. Es behandelt die Datenklassifizierung, Suche und Massenmaskierung nach Regeln, die Determinismus bieten und die referentielle Integrität wahren. Es werden auch einige häufig gestellte Fragen beantwortet.
0:00 IRI FieldShield: Konsistentes Auffinden und Maskieren von PII in RDBs
0:06 Definition von Klassen für sensible Daten und Suchabgleiche
3:51 Definieren der Maskierungsregeln (Funktionen)
9:14 Klassifizieren (Scannen) der Daten: Verwendung des Schema-Datenklassensuchassistenten
14:09 Untersuchen der Datenklassenbibliothek (ein zweckmäßiger Datenkatalog)
19:06 Was ist mit unseren anderen RDB-Quellen?
19:29 Konfigurieren des Maskierungsvorgangs
26:25 Ausführen des Maskierungsvorgangs
27:57 Welche Fähigkeiten sind für die Verwendung von FieldShield erforderlich? DBA, Datenarchitekt?
29:14 Was ist sonst noch in dieser Umgebung möglich?
30:42 Ist die Maskierungsleistung an das Volumen gekoppelt?
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Vertica Datenbank ❌ Große Datenverschiebung und Datenmanipulation mit Datenschutz von/in/nach Vertica Database ❗
Die IRI Voracity Datenmanagement-Plattform besteht aus ihren Ökosystemprodukten:
- CoSort für schnellste Big Data Manipulationseit 1978
- NextForm zur Datenmigration und -formatierung
- FieldShield zur Datenmaskierung von PII in semi/strukturierten Quellen
- DarkShield zur Datenmaskierung von PII in semi/unstrukturierten Quellen
- RowGen zur synthetischen Testdatengenerierung
Dieser Artikel beschreibt detailliert, wie man Vertica-Quellen erreicht. Er beschreibt die ODBC- und JDBC-Verbindungen und Konfigurationen, die erforderlich sind, um Vertica mit der SortCL-Engine und dem IRI Workbench Job Design Client zu registrieren, die den meisten IRI-Softwareprodukten, die strukturierte Datenquellen verarbeiten, gemeinsam sind.
Voraussetzungen für die Interoperabilität: Um Vertica-Daten zur und von der in C geschriebenen Back-End-SortCL-Engine zu bewegen, ist eine ODBC-Verbindung erforderlich. Zur Unterstützung des visuellen Tabellendurchsuchens und des Metadatenaustauschs in IRI Workbench ist eine JDBC-Verbindung erforderlich. Diese beiden Verbindungstypen müssen in IRI Workbench registriert werden, um sie einander zuzuordnen. Dieser Artikel erklärt diese Schritte.
Wenn IRI DarkShield mit Vertica für die Maskierung von Daten in strukturierten, halb- und/oder unstrukturierten Spalten gemäß diesem Artikel oder über die DarkShield-API verwendet wird, wird nur JDBC oder ein anderes Verbindungsprotokoll benötigt.
Alle weiteren Details zur Konfiguration und dem Funktionsumfang ist in diesem Artikel zu finden!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com