Autor: Firma JET-Software

❌ Microsoft SQL Server ❌ 10x schnelleres ETL mit Datentransformation, sensible Daten automatisch finden/schützen sowie umfassendes TDM ❗

❌ Microsoft SQL Server ❌ 10x schnelleres ETL mit Datentransformation, sensible Daten automatisch finden/schützen sowie umfassendes TDM ❗

Big Data Management seit 40 Jahren: Es gibt bestimmte Herausforderungen, die mit großen Datenmengen verbunden sind, wie bspw. das Sortieren, Verbinden, Aggregieren, Laden und Entladen von Daten. Die parallele Verarbeitung oder Optimierung in anderen Bereichen oder Tools kann umständlich sein und möglicherweise hohe Kosten verursachen. Zudem kann dies die Leistung für andere Benutzer beeinträchtigen.

Im Hinblick auf die Sicherheit werden Funktionen für das Erkennen, Klassifizieren oder Maskieren von Daten oder das Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen dringend benötigt.

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Einfache und kostengünstige IRI-Software löst diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Entladen und Laden großer Tabellen
  • Routinemäßige Dienstprogrammoperationen (Reorgs)
  • Langsame Abfragen, SSIS ETL-Aufträge oder Power BI-Anzeigen
  • Datenmigration oder -replikation
  • Schlechte Datenqualität oder Einheitlichkeit
  • Maskieren von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
  • Generierung intelligenter, sicherer Testdaten für Prototyping, DevOps, Demos usw.

Unload-Beschleunigung: IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um große Tabellen schnell in Flat-Files zu übertragen.

Geben Sie SELECT * FROM aus der Tabelle an, damit Sie das Entladen nicht mit Qualifier wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.

Load-Beschleunigung: IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.

Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Reorgs- und Abfragebeschleunigung: Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.

Optimierung von Transformationen (ETL) und BI-Datenaufbereitung: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall

Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen.

Migration und Replikation von SQL Server Datenbanken: IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort oder Voracity verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.

Daten bereinigen und anreichern (Qualität): CoSort oder Voracity um Fehler in Datenwerten, Bereichen, Formaten oder Kontexten zu finden und zu beheben. Scrubben und standardisieren Sie doppelte oder fuzzy-angepasste Werte. Weitere Möglichkeiten zur Datenqualität finden Sie hier.

Klassifizieren und Maskieren von sensiblen Daten: IRI FieldShield (oder IRI Voracity) um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.

SQL Server Testdaten generieren: IRI RowGen (oder Voracity) um SQL Server- oder SSIS ETL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer integrierter Ansatz.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Credential Stuffing ❌ Verhinderung von Datenschutzverletzung via Verschlüsselung von Klartext in NoSQL, Elasticsearch und AWS S3-Buckets ❗

❌ Credential Stuffing ❌ Verhinderung von Datenschutzverletzung via Verschlüsselung von Klartext in NoSQL, Elasticsearch und AWS S3-Buckets ❗

Big Data Management seit 40 Jahren: Präzise Lokalisierung und konsistente Anonymisierung sensibler Daten in strukturierten, semistrukturierten und unstrukturierten Quellen!

Ungenügend gesicherte Daten können den Ruf Ihres Unternehmens schädigen und hohe Bußgelder verursachen. Die preisgekrönten datenzentrischen ("Startpunkt") IRI-Sicherheitsprodukte haben sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) weltweit wiederholt bewährt.

Verwenden Sie zweckmäßige Software um sensible Daten automatisch zu finden und direkt zu maskieren – egal in welcher Form und wo sie sich befinden – und um zu beweisen, dass Sie sie geschützt haben!

IRI FieldShield: Finden, klassifizieren, maskieren und risikobehaftete PII über Legacy-Dateien, relationale und NoSQL-Datenbanken, Cloud-Anwendungen usw. mit AES-256 FPE, Hashing, Redaktion, Pseudonymisierung, Tokenisierung usw.

IRI CellShield: Finden, Berichten, Maskieren und Überprüfen von PII in einer oder mehreren Excel®-Tabellen auf einmal.

IRI DarkShield: Erkennen, Bereitstellen und Löschen vertraulicher Informationen in unstrukturierten Textdateien, PDFs und mehr. Details hier.

Alles integriert in der End-to-End Datenmanagement-Plattform IRI Voracity: Datenmaskierung und Testdatenmanagement innerhalb einer umfassenden Datenlebenszyklus-Management-Plattform, die große Datenerfassungs-, Integrations-, Migrations-, Governance- und Analysefunktionen vereint. Zusätzlich zu FieldShield enthält Voracity IRI RowGen, so dass Sie auch intelligente Testdaten von Grund auf für DB/ETL-Prototyping, PII-Fertigung und Anwendungs-Stresstests erstellen können.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Pentaho Data Integration ❌ Datentransformation von PDI (ehemals Kettle) 16x schneller, mit umfassenden Datenschutz ❗

❌ Pentaho Data Integration ❌ Datentransformation von PDI (ehemals Kettle) 16x schneller, mit umfassenden Datenschutz ❗

Big Data Management seit 40 Jahren: Pentaho Data Integration ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber einige (Sicherheits-)Mängel auf!

  • Langsame Datentransformation: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge.
  • Eingeschränkter Datenschutz: Daten, die durch Pentaho fließen, können nicht maskiert oder verschlüsselt werden.
  • Begrenzte Testdatengenerierung: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich.

Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung extrem verbessern können und stellen dann Möglichkeiten vor, um Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung zu erstellen.

Seit 1978 wird IRI CoSort eingesetzt, um Sortierfunktionen oder Sortierprozessschritte von Drittanbietern zu beschleunigen oder zu ersetzen. CoSort ist ein eigenständiges Produkt und die Standard-Datenmanipulations-Engine im Betrieb der IRI Voracity Datenmanagement-Plattform. Lizenznehmer beider Produkte können CoSort-Jobs in der kostenlosen IRI Workbench GUI, auf der Kommandozeile, von Pentaho aus, etc. ausführen.

Die Software Pentaho Data Integration (PDI) enthält eine native Sortierung, die für Ihre hochvolumigen Eingaben nicht schnell genug ist. Die PDI-Prozessabläufe unterstützen jedoch die Verwendung von Funktionen von Drittanbietern, so dass Daten extern sortiert werden können, ohne den Prozess zu unterbrechen. Durch die Verwendung des Shell-Skriptschritts von PDI zum Aufruf eines CoSort-Jobs (z. B. SortCL-Skript) können die Sortierzeiten drastisch reduziert werden.

Pentaho- und CoSort-Anwender können ein SortCL-Sortierskript in einem Texteditor oder über den neuen Sortierjob-Assistenten in der IRI Workbench GUI, die auf Eclipse™ aufbaut, erstellen.

Benchmarks zeigen, dass die Verwendung des Pentaho/CoSort-Hybrids 14-16 Mal schneller ist als die Verwendung des nativen Sortierschritts in Pentaho allein!

Über das Sortieren hinaus führt das CoSort SortCL-Programm eine Reihe zusätzlicher Transformationen zur gleichen Zeit durch und bereinigt, migriert, föderiert, schützt und berichtet über Daten in unterschiedlichen Quellen. Selbst wenn Sie Pentaho für viele Aktivitäten verwenden, können Sie also feststellen, dass es unter Umständen effizienter ist, bestimmte langsamer laufende Schritte an CoSort auszulagern, wenn Sie ein hohes Datenvolumen haben.

Klicken Sie hier für die Maskierung von Produktionsdaten in Pentaho, um so PII zu schützen und Datenschutzgesetze einzuhalten, oder hier um Testdaten für Pentaho synthetisch zu erstellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ MariaDB und MySQL ❌ Nahtlose Performance Beschleunigung und sensible Daten DSGVO-konform schützen ❗

❌ MariaDB und MySQL ❌ Nahtlose Performance Beschleunigung und sensible Daten DSGVO-konform schützen ❗

Big Data Management seit 40 Jahren: Schnelleres und sicheres Datenmanagement! Sie können mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit MySQL konfrontiert werden:

  1. Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  2. Be- und Entladen großer Tabellen
  3. Routinemäßige Versorgungsoperationen (Reorgs)
  4. Komplexe Abfragen
  5. Migration oder Replikation
  6. Maskierung sensibler Daten
  7. Generierung intelligenter und sicherer Testdaten

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, erfordern eine Optimierung und dauern dann immer noch zu lange.

Beschleunigung der Entladungen: IRI FACT (Fast Extract) zur Beschleunigung der MySQL-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um Tabellendaten in Flat-Files zu übertragen. Geben Sie SELECT * aus der Tabelle an, damit Sie das Entladen nicht mit Kennzeichen wie "distinct", "order by" und "group by" belasten. Aber sobald sich diese Daten in der Flat-File befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu deduplizieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Beschleunigung der Ladungen: IRI CoSort um Flat-Files für den Massen-BCP-Import vorzusortieren. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt mit der Index-Erstellung zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Beschleunigung der Reorgs und Abfragen: Offline Reorg Wizard in der IRI Workbench, um die Kombination der oben genannten schnellen Extraktions-, Sortier- und Rückladevorgänge für klassische (Offline-)MySQL-Reorgs zu kombinieren und zu automatisieren, die die Pflege Ihrer Tabellen in optimaler Abfragereihenfolge erleichtern.

Auslagerung der SQL-Transformationen: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.

Migration und Replikation der Datenbanken: IRI NextForm-Datenbank-Edition um neue Tabellen während der Migration zu und von MySQL zu erwerben, neu abzubilden, neu zu formatieren und zu erstellen/zu füllen. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort verwenden, um Daten in MySQL neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

Datenmaskierung in MySQL-Spalten: IRI FieldShield um sensible Daten in MySQL zu maskieren, wie personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI), wendet FieldShield Maskierung, Verschlüsselung und andere De-Identifizierungsfunktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und GDPR einzuhalten.

Generierung von synthetischen Testdaten: IRI RowGen um MySQL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren.

In dem Blog unseres Partners IRI finden Sie ausführliche technische Artikel und Demos!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Oracle Datensicherheit ❌ Sensible Daten in Oracle Datenbank via Datenmaskierung in Echtzeit DSGVO-konform schützen ❗

❌ Oracle Datensicherheit ❌ Sensible Daten in Oracle Datenbank via Datenmaskierung in Echtzeit DSGVO-konform schützen ❗

Datensicherheit in Echtzeit: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen.

Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, das heißt zum Maskieren von Daten, wie sie in Echtzeit erzeugt werden. Er kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen.

Der Artikel geht zunächst auf die Installation von FieldShield ein und nennt die dazu benötigten Anforderungen. Danach folgt ein anschaulicher Anwendungsfall mit PL/SQL-Triggern für die ASCII-Format bewahrende Verschlüsselung und die dazu gehörende entschlüsselte Ansicht. Allgemeiner gesagt können Sie mit den genannten FieldShield-Maskierungsroutinen und -verfahren (wie PL/SQL) jetzt sensible Daten auf der Grundlage von Echtzeit-Datenbankereignissen für eine Vielzahl von Anwendungsfällen maskieren.

IRI Ripcurrent – eine mögliche Erweiterung: Die Möglichkeit, Daten in Datenbank-Tabellen in andere Datenbank-Tabellen oder Dateien zu replizieren und/oder zu maskieren, wird von IRI-Software seit langem unterstützt. Dies geschieht in der Regel über IRI Workbench, die grafische Benutzeroberfläche für alle IRI-Produkte zur Verwaltung von (strukturierten) Daten.

Der "Schema Data Class Job Wizard" in IRI Workbench – bei dem Daten in einem Schema gesucht und in Datenklassen gruppiert werden – kann mit Maskierungsregeln kombiniert werden. Aus dem Assistenten wird eine Batch-Datei oder ein Shell-Skript generiert, um in FieldShield-Skripten definierte Massenmaskierungsoperationen auszuführen.

Wenn jedoch Änderungen an der Datenbank vorgenommen werden, gibt es keine einfache Möglichkeit, die Änderungen zu replizieren, ohne das Batch-/Shell-Skript erneut auszuführen. Und wenn der Datenbank zusätzliche Tabellen oder neue Spalten zu bestehenden Tabellen hinzugefügt wurden, werden diese ignoriert, es sei denn, der Assistent wird erneut ausgeführt, um ein neues Batch-/Shell-Skript und die entsprechenden IRI FieldShield-Skripts für den Vorgang zu generieren.

Die Notwendigkeit, mit Datenbank-Änderungen synchron zu bleiben, ist die Motivation für die Entwicklung von IRI Ripcurrent. Für diejenigen, die das/die nachgelagerte(n) Ziel(e) mit einer Quell-Datenbank synchron halten wollen, z. B. zu Testzwecken, bietet Ripcurrent die Funktionalität eines Datenbank-Maskierungsauftrags der Datenklasse, jedoch auf dynamische Weise.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ PDSG für IT-Sicherheit ❌ Patientendaten-Schutz-Gesetz für Informationssicherheit im Gesundheitswesen ❗

❌ PDSG für IT-Sicherheit ❌ Patientendaten-Schutz-Gesetz für Informationssicherheit im Gesundheitswesen ❗

Sensible PHI-Daten identifizieren und anonymisieren: Mit Hunderttausenden von medizinischen Bildgebungsgeräten die im Einsatz sind, ist DICOM einer der am weitesten verbreiteten Nachrichtenstandards im Gesundheitswesen weltweit; Milliarden von DICOM-Bildern werden derzeit für die klinische Versorgung verwendet. Dieser Artikel beschreibt die Suche und De-Identifizierung von geschützten Gesundheitsinformationen (Protected Health Information, PHI) in DICOM-Metadaten und -Bildern mit Hilfe des Datenmaskierungstools IRI DarkShield und seiner Remote Procedure Call (RPC)-API für Dateien im Besonderen.

DICOM (Digital Imaging and Communications in Medicine) ist ein Standard für die Kommunikation und Verwaltung medizinischer Bilddaten und zugehöriger Daten. DICOM ist in fast allen Geräten der Radiologie, der kardiologischen Bildgebung und der Strahlentherapie (Röntgen, CT, MRI, PET, Ultraschall usw.) und zunehmend auch in Geräten anderer medizinischer Bereiche wie der Augenheilkunde und der Zahnmedizin implementiert.

DICOM definiert einzelne Dateien (in der Regel mit der Dateierweiterung .dcm), die eine eindeutige binäre Struktur aufweisen, die aus einer Kopfzeile und einem Datensatz mit einer Liste von Attributen besteht. Die Attribute enthalten Informationen über den Scan, wie z. B. den Patientennamen. Das letzte Attribut sind die eigentlichen Pixeldaten (Bilddaten) des Scans.

DICOM definiert auch eine Verzeichnisstruktur, in der Scans nach Patient, Studie und Serie geordnet sind. Diese Verzeichnisstruktur enthält Metadaten im CSV-Format an der Wurzel des Verzeichnisses.

DICOM-Dateien können aufgrund ihrer einzigartigen binären Struktur weder mit einem Texteditor bearbeitet noch mit einem typischen Bildbetrachter angezeigt werden.

Einzelne DICOM-Dateien enthalten eine Liste von Attributen. Zu den Attributen gehören Informationen über den Scan wie Patientenname, Geburtsdatum, Krankenhausname usw. sowie die Pixeldaten des Scans als letztes Attribut in der Sequenz. Einige Attribute sind optional, und alle können mit einem Tag gekennzeichnet werden.

Ein DICOM-Anzeigeprogramm zeigt in der Regel die Pixeldaten als Bild an, wobei die anderen Attribute über das Bild gelegt werden, obwohl diese anderen Attribute eigentlich von den Pixeldaten selbst getrennt sind. Die anderen Attribute sind immer noch Teil einer DICOM-Datei, aber nicht Teil der Pixeldaten. Es ist möglich, dass DICOM-Dateien eingebrannten Text enthalten, der in die Pixeldaten eingebettet ist.

End-to-End Datensicherheit: Maskierung sensibler DICOM-Daten!

Die DarkShield-API für Dateien bietet nun eine Lösung für die Suche und Maskierung sensibler Attribute in einer DICOM-Datei, die auf einigen der bereits in der API vorhandenen Funktionen zur Dateiverarbeitung aufbaut, einschließlich HL7- und X12-EDI-Dateien.

Pixeldaten sind nur eines von vielen Attributen, die in einer DICOM-Datei enthalten sein können, und werden von anderen Attributen getrennt, die Schlüssel- oder Quasi-Identifikatoren wie Patientenname, Geburtsdatum und Krankenhaus enthalten können. DarkShield durchsucht alle Attribute, die nicht Teil der Pixeldaten sind.

Ein DICOM-Verzeichnis kann CSV-Metadaten in der Wurzel des Verzeichnisses enthalten, wie in der folgenden Abbildung dargestellt. Ein aufrufendes Programm kann dieses Verzeichnis durchlaufen und die CSV-Metadaten sowie die DICOM-Dateien an die DarkShield Files API senden.

Zusätzlich kann eine Reihe von Black Boxes in einem Dateimasken-Kontext angegeben werden, um bekannte Teile der Pixeldaten, die möglicherweise sensible Informationen in eingebranntem Text enthalten, zu schwärzen. Die Höhe, Breite sowie die X- und Y-Koordinaten jeder Blackbox können in der Konfiguration angegeben werden.

Gzielte Datenmaskierung: Demoprogramm auf GitHub!

Ein auf GitHub verfügbares Demoprogramm demonstriert, wie der Inhalt eines DICOM-Verzeichnisses mithilfe der DarkShield-API maskiert werden kann. In diesem Programm wird ein ganzes Verzeichnis durchlaufen, um die CSV-Metadaten, Ordnernamen und einzelne DICOM-Dateien zu durchsuchen und zu maskieren. Das resultierende maskierte DICOM-Verzeichnis wird in einen separaten Ordner geschrieben.

Diese DICOM-Dateien werden zusammen mit anderen in der Verzeichnisstruktur, den Metadaten im Stammverzeichnis des DICOM-Verzeichnisses und den Ordnernamen durchsucht und maskiert. Alle sensiblen Informationen, die durch Suchabgleiche und Maskierungsregeln definiert sind, werden einheitlich behandelt. Jeder Suchmatcher ist mit einem Datentyp verknüpft, und jeder Datentyp wird auf der Grundlage der mit dem jeweiligen Matcher verbundenen Maskierungsregeln maskiert.

Umfassende Kontrolle: Überprüfung der Such- und Maskierungsergebnisse!

Die DarkShield-API gibt Suchanmerkungen als Teil ihrer Antwort zurück, wenn einer der Suchendpunkte aufgerufen wird. Außerdem werden die Ergebnisse der Maskierung als Teil der Antwort auf Maskierungsendpunkte zurückgegeben. Die Maskierungsergebnisse und Suchkommentare liegen in einem benutzerfreundlichen JSON-Format vor, das in BI-Tools aggregiert werden kann, um Einblicke in den Inhalt zu erhalten.

Beispielsweise können die gefundenen Übereinstimmungen mit sensiblen Daten und die Suchabgleicher, die diese Übereinstimmungen gefunden haben, zusammengefasst und auf visuelle Weise angezeigt werden. Die Visualisierung ist eine intuitive Methode, um Einblicke in diese Ergebnisse zu gewinnen, insbesondere wenn sie sehr umfangreich sind.

Die Überprüfung der Visualisierung von Annotationen und maskierten Ergebnissen kann helfen zu bestätigen, dass die Ergebnisse den Erwartungen entsprechen. Weitere Informationen, die in den Suchkommentaren und maskierten Ergebnissen enthalten sind, umfassen den Dateinamen, alle fehlgeschlagenen Maskierungsergebnisse und die Stelle in der Datei, an der die sensiblen Daten gefunden wurden.

Fazit: Einfach zu integrierende Lösung!

DICOM ist ein wichtiger Standard für die Speicherung personenbezogener Daten und Bilder im Gesundheitswesen, aber die De-Identifizierung von DICOM-Dateien kann aufgrund ihrer Komplexität eine schwierige Aufgabe sein. Dennoch müssen Datenschutzgesetze wie die im Rahmen des HIPAA erlassenen befolgt werden, um die PHI in den von Ihnen kontrollierten Datenquellen und -silos, einschließlich DICOM-Dateien, zu de-identifizieren oder zu anonymisieren.

Geldstrafen und ein geschädigter Ruf sind die Folge von Verstößen gegen PHI-Daten. Die DarkShield-API bietet jetzt eine effektive, einfach zu integrierende Lösung, um diese Herausforderungen und Vorschriften gleichzeitig zu bewältigen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Dynamische Datenmaskierung ❌ Automatische Anonymisierung und Verschleierung von sensiblen Daten in Echtzeit ❗

❌ Dynamische Datenmaskierung ❌ Automatische Anonymisierung und Verschleierung von sensiblen Daten in Echtzeit ❗

Sensible Daten bei Zugriff schützen: Dynamische Datenmaskierung bezeichnet den Prozess, bei dem Maskierungstechniken in Echtzeit angewandt werden, um sensible Informationen zu schützen. Diese Technik passt bestehende vertrauliche Daten an, sobald Benutzer darauf zugreifen oder Abfragen durchführen. Ihr Hauptziel besteht darin, rollenbasierte Sicherheitsmaßnahmen in Anwendungen wie Kundensupport oder Krankenaktenverwaltung zu implementieren. Die Funktionsweise der dynamischen Datenmaskierung gestaltet sich folgendermaßen:

  • Alle Anwender interagieren über einen Vermittlungsserver (Proxy) mit der Datenbank.
  • Bei Datenleseanfragen wendet der Datenbank-Proxy Maskierungsregeln an, die auf Benutzerrollen, Berechtigungen oder Zugriffsebenen basieren.
  • Autorisierte Nutzer erhalten die unmaskierten Originaldaten, während nicht autorisierte Nutzer maskierte Daten erhalten.

Dieser Artikel erläutert eine Methode zur dynamischen Datenmaskierung (DDM), die in IRI FieldShield integriert ist. Dabei wird ein Proxy-gestütztes System genutzt, um Anfragen von Anwendungen an JDBC-verbundene Datenbanken abzufangen. Diese Methode ist nur eine von mehreren Ansätzen, die FieldShield-Nutzer zur Datenmaskierung während der Übertragung in Betracht ziehen können. Weitere Optionen für IRI-DDM beinhalten:

  1. API-aufrufbare FieldShield-Funktionen, die in C/C++/C#-, Java- oder .NET-Programme eingebettet werden können.
  2. Echtzeit-FieldShield-Funktionen, die in SQL-Prozeduren integriert werden und maskierte Ansichten erstellen.
  3. Dynamische Demaskierung von statisch maskierten Tabellen für autorisierte Benutzer.

Das in diesem Artikel vorgestellte proxy-basierte System nutzt einen speziell auf Datenbanken zugeschnittenen "JDBC SQL Trail"-Treiber. Dieser arbeitet in Verbindung mit einer Konfigurations- und Verwaltungs-Webanwendung namens SQL Sharp (SQL#). Für eine detaillierte Erläuterung der technischen Aspekte verweise ich auf den zugehörigen Blog-Artikel mit dem Titel "Datenzentrierte Sicherheit: Ein lohnenswertes Unterfangen!"

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Data Vault für Data Warehouse ❌ Datenmigration von RDB-Datenbankmodell in eine hybride Data Vault 2.0 Architektur ❗

❌ Data Vault für Data Warehouse ❌ Datenmigration von RDB-Datenbankmodell in eine hybride Data Vault 2.0 Architektur ❗

Big Data Management seit 40 Jahren: IRI CoSort kam 1978 auf den Markt, um Sortier- und Berichtsfunktionen im Großrechnerformat auf Abteilungs- und Desktop-Computer zu bringen. Heute können Sie die jahrzehntelangen Fortschritte bei der Hochgeschwindigkeitsdatenbewegung und -manipulation in ergonomischen Softwareprodukten nutzen – oder in einer einzigen Plattform "IRI Voracity", die Folgendes kombiniert:

  1. Data Discovery – Klassifizierung, Diagrammerstellung, Profilerstellung und Suche in strukturierten, halbstrukturierten und unstrukturierten Datenquellen, vor Ort oder in der Cloud
  2. Datenintegration – individuell optimierte, aber konsolidierte E-, T- und L-Operationen in einem Durchgang sowie CDC, sich langsam ändernde Dimensionen und Möglichkeiten zur Beschleunigung oder zum Verlassen jeder bestehenden ETL-Plattform
  3. Datenmigration – Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder Massendatenreplikation und Föderation
  4. Data Governance – Maskierung von PII-Daten und Re-ID-Risikobewertung, DB-Subsetting, Generierung synthetischer Testdaten, Datenvalidierung, -bereinigung und -anreicherung, Master- und Metadatenmanagement usw.
  5. Analysen – eingebettete Berichte, Integrationen mit DataDog, KNIME und Splunk sowie schnelle Datenverarbeitung für BOBJ, Cognos, Microstrategy, Power BI, Qlik, R, Spotfire, Tableau usw.

All diese Funktionalitäten werden in der gleichen Eclipse-IDE bereitgestellt – und ein Großteil davon läuft gleichzeitig über IRI CoSort oder austauschbare Hadoop-Engines in der IRI Voracity-Plattform. Voracity Subskriptions- oder unbefristete Lizenzmodelle zählen nur Engine-Knoten, nicht Quellen, Benutzer oder Kerne. Die IRI Workbench IDE enthält einen Data Vault Generator Assistenten, der den Benutzern der IRI Voracity Plattform hilft, ein relationales Datenbankmodell in eine Data Vault 2.0 (DV) Architektur zu migrieren. Der Assistent hat drei Ausgabeoptionen, die von den Bedürfnissen des Benutzers abhängen.

Alle Optionen erstellen das Entity Relationship Diagram (ERD) für die Ausgaben. Die erste Option erzeugt nur die vollständige DDL und ERD. Die zweite Option erstellt eine DDL für Tabellen, die noch nicht existieren, und erstellt außerdem Jobskripte zum Laden der Daten aus den Quelltabellen in die neuen Zieltabellen. Die dritte Option erstellt eine DDL für Tabellen, die nicht existieren, und lädt die neuen Tabellen mit zufällig generierten Testdaten. Dieser Artikel behandelt Option drei.

Laut Dan Lindstedt, dem Erfinder des Data Vault, "ist der Data Vault ein detailorientierter, historisch nachverfolgender und eindeutig verknüpfter Satz normalisierter Tabellen, die einen oder mehrere Funktionsbereiche des Unternehmens unterstützen.

Data Vault ist ein hybrider Ansatz, der das Beste aus der 3. Normalform (3NF) und dem Sternschema umfasst … [es] ist eine Datenintegrationsarchitektur; eine Reihe von Standards und definitorischen Elementen oder Methoden [dafür, wie] Informationen innerhalb eines RDBMS-Datenspeichers verbunden werden, um sie sinnvoll zu nutzen."

Im DV2-Standard gibt es drei Arten von Tabellen. Ein Hub enthält die eindeutigen Geschäftsschlüssel. Ein Link definiert die Beziehungen zwischen den Geschäftsschlüsseln. Ein Satellit enthält den Kontext (Attribute) der Tabelle. Ein Satellit kann entweder ein Kind einer Hub- oder einer Link-Tabelle sein.

In jeder dieser Tabellen wird ein Hash der Rohdaten des Schlüssels als Primärschlüssel der neuen Tabelle verwendet. Jede Tabelle enthält auch die Quelle der ursprünglichen Daten und einen Ladezeitstempel für die historische Verfolgung. Ein Satellit enthält auch einen Endzeitstempel und eine optionale Hash-Differenz zur Verfolgung von Änderungen an den Datensätzen.

Der "Voracity Data Vault Generator Wizard" verwendet die vorhandenen Primär- (PK) und Fremdschlüssel (FK) als Ausgangspunkt für die Organisation der neuen Tabellen. Die Standardwerte pro Tabelle sind wie folgt:

  1. Ein Knotenpunkt für jeden PK-Schlüssel (einschließlich zusammengesetzter Schlüssel).
  2. Ein Link für jeden selbstreferenzierenden FK.
  3. Ein Link für jede Gruppe von FKs (ohne die selbstreferenzierenden Schlüssel).
  4. Ein Satellit auf dem Hub, wenn die Tabelle null FKs enthält.
  5. Ein Satellit auf dem Link, wenn mindestens ein FK existiert.

In diesem Beispiel werden sieben verknüpfte Tabellen verwendet, die Personaldaten darstellen. Nachfolgend ist die ERD für die Quelltabellen dargestellt. Alle technischen Details dazu sind hier im Blog-Artikel zu finden.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Vertica Datenbank ❌ Schnelle Datenintegration, umfassende Datenmigration und Datenschutz von Vertica Database ❗

❌ Vertica Datenbank ❌ Schnelle Datenintegration, umfassende Datenmigration und Datenschutz von Vertica Database ❗

Big Data Management seit 40 Jahren: Wie andere Artikel in unserem Blog über die Verbindung und Konfiguration von relationalen Datenbanken mit der IRI Voracity Datenmanagement-Plattform beschreibt dieser Artikel detailliert, wie man gezielt Vertica-Quellen erreicht. Die IRI Voracity Datenmanagement-Plattform besteht aus ihren Ökosystemprodukten:

  • IRI CoSort für schnellste Big Data Manipulation seit 1978
  • IRI NextForm gezielt zur Datenmigration und -formatierung
  • IRI FieldShield gezielt zur Datenmaskierung von sensiblen Daten in semi- un strukturierten Quellen
  • IRI DarkShield gezielt zur Datenmaskierung von sensiblen Daten in semi- und unstrukturierten Quellen
  • IRI RowGen gezielt zur synthetischen Testdatengenerierung

Dieser technische Artikel beschreibt, wie man Vertica-Quellen erreicht. Er beschreibt unter anderem die ODBC- und JDBC-Verbindungen und Konfigurationen, die erforderlich sind um Vertica Daten gezielt verarbeiten zu können.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Testdaten für Excel ❌ Formatierte, bereichsbezogene und nach Häufigkeit verteilte Testdaten in Microsoft Excel erzeugen❗

❌ Testdaten für Excel ❌ Formatierte, bereichsbezogene und nach Häufigkeit verteilte Testdaten in Microsoft Excel erzeugen❗

Dieser Artikel ist eine Fortsetzung des vorangegangenen Artikels, in dem die IRI-Unterstützung für XLS- und XLSX-Dateiformate im SortCL-Programm vorgestellt wurde, das zum Verschieben und Bearbeiten von Tabellenkalkulationsdaten in der IRI Voracity-Datenmanagement-Plattform und den darin enthaltenen Fit-for-Purpose-Produkten verwendet wird. Diese Job-Beispiele zeigen, was diese Metadaten-kompatiblen Anwendungen mit Daten direkt in/aus Excel-Tabellen im XLS- oder XLSX-Format alles machen können:

  1. Synthese von Testdaten: Dieses Skript demonstriert die Verwendung eines IRI RowGen-Auftragsskripts zum Generieren einer kleinen Menge zufälliger Testdaten in einer XLSX-Datei und einer XLS-Datei mit einer Kopfzeile.
  2. Synthese von Zufallsdaten mit verschlüsselten Feldern: Dieser hybride RowGen-FieldSheld-Job demonstriert die zufällige Auswahl von Namen und E-Mail-Domänen aus Set-Dateien und die anschließende Maskierung dieser Namen mit formatbewahrender AES256-Verschlüsselung mit einer verschlüsselten Passphrase. Eine E-Mail-Adresse wird aus dem ersten Buchstaben des Vornamens und dem Nachnamen generiert. Die Ausgabe erfolgt in einem bestimmten Bereich eines XLS-Blattes.
  3. Synthese von 5.000 Zeilen Testdaten mit einer Kopfzeile: Dieses IRI RowGen-Beispiel demonstriert die Synthese von 5.000 Zeilen Testdaten mit einer Kopfzeile, die auf XLS- und XLSX-Dateien auf der Grundlage von Zufallswert-Lookups in statischen Inline-Sets und Set-Dateien abzielt.

Alle weiteren technischen Details und Beispiele finden Sie hier im Blog-Artikel unseres Partners IRI.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.