
❌ Informationssicherheit ❌ Vormaskierung von Daten um Datenverstoß abzuschwächen oder komplett zunichte zu machen ❗
Zusammen mit IRI und seinen autorisierten Partnern auf der ganzen Welt können wir Ihnen helfen, zweckmäßige Compliance- und Verletzungsminderungslösungen mit diesen Technologien zu implementieren, wenn Sie Hilfe benötigen. Für weitere Informationen verlinken Sie auf die untenstehenden Produkte und Anwendungsfälle. Vereinbaren Sie hier eine kostenlose Online-Demonstration oder eine Evaluierung vor Ort.
Kooperierende und kompatible IRI-Werkzeuge in Voracity, einschließlich IRI RowGen, können auch Testdaten von Grund auf synthetisieren und referenziell korrekte (und optional maskierte) Datenbankteilsätze erzeugen.
Wir können Ihnen bei Bedarf auch bei der Implementierung zweckgerechter Lösungen zur Einhaltung von Vorschriften und zur Eindämmung von Sicherheitsverletzungen mithilfe dieser Technologien helfen. Weitere Informationen erhalten Sie über die Links zu den unten aufgeführten Produkten und Anwendungsfällen. Planen Sie eine kostenlose Online-Demonstration oder eine Evaluierung vor Ort.
- IRI FieldShield für strukturierte Datenmaskierung:
FieldShield klassifiziert, findet Deidentifizierungen, Risiko-Scores und auditiert PII in Datenbanken, Flat-Files, JSON, etc. - IRI DarkShield für unstrukturierte Datenmaskierung
DarkShield klassifiziert, findet und löscht PII in Text, PDF, MS-Dokumenten, Protokollen, NoSQL-DBs, Bilddateien und Gesichtern - IRI CellShield für Excel® Datenmaskierung:
CellShield findet, berichtet, maskiert und überprüft Änderungen an PII in Excel-Spalten und Werte LAN-weit oder in Office 365 - IRI RowGen für synthetische Testdatengenerierung: Verwenden Sie die oben genannten bewährten Tools von IRI, das IRI RowGen-Datensynthesepaket oder die IRI Voracity-Plattform, um sichere, intelligente Testdaten in DB-, Datei- und Berichtsziele für ETL-Prototypen, DevOps, Benchmarking usw. zu unterteilen, zu erstellen oder zu virtualisieren
- Datenmaskierung als Service: IRI DMaaS-Ingenieure in den USA und im Ausland übernehmen für Sie die Klassifizierung, Auffindung und Deidentifizierung von PII. Mehr Informationen dazu hier.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Datenschutz in Excel ❌ Individuelle oder global anwendbare Funktionen zur Datenmaskierung in XLS- und XLSX-Dateien ❗
Die auch einzeln verfügbaren drei Produkte der IRI Data Protector Suite haben gemeinsame Suchmethoden (wie Muster- oder Wörterbuchabgleiche) und individuell oder global anwendbare Datenmaskierungsfunktionen (wie Verschlüsselung, Redigierung, Hashing und Pseudonymisierung).
Alle drei können daher identische und potenziell austauschbare Chiffretexte erzeugen, um Determinismus und Datenintegrität zu wahren. Sie sind auch alle unterstützte Komponenten der IRI Voracity Datenmanagement-Plattform:
- IRI FieldShield wurde entwickelt, um strukturierte Datenbank- und Flat-File-Daten zu klassifizieren, zu suchen und zu maskieren. FieldShield verwendet das CoSort SortCL-Programm zur Datendefinition und -manipulation, um Quell- und Ziellayouts sowie alle Mapping-/Maskierungstransformationen zu definieren. SortCL verwendet 4GL-Job-Skripte, die in der Regel in der auf Eclipse basierenden IRI Workbench IDE erstellt und verwaltet werden
- IRI DarkShield wurde in erster Linie für das Auffinden und Maskieren von Daten in halbstrukturierten und unstrukturierten Text- und EDI-Dateien, RDB C/BLOB-Spalten, NoSQL-DB-Sammlungen, Bildern und Dokumenten in PDF- und MS-Office-Formaten entwickelt – einschließlich XLS- und XLSX-kompatibler Dateien, die sogar PII in Diagrammen und Bildern in den Tabellen enthalten können
- IRI CellShield wurde speziell für das Auffinden und Maskieren von Daten in Tabellenkalkulationen entwickelt und ist das einzige "Shield"-Produkt von IRI, das ausschließlich in der Excel-Umgebung eingesetzt werden kann. CellShield ist als kostengünstige Personal Edition (PE) oder als professionelle Enterprise Edition (EE) mit mehreren Tabellenblättern erhältlich. CellShield PE ist nützlich für die manuelle Suche und Maskierung von PII auf einem einzelnen Blatt. Es bietet eine Point-and-Click-Schnittstelle zu denselben Verschlüsselungs-, Schwärzungs- und Hashing-Funktionen, die auch von den anderen IRI Shield-Produkten unterstützt werden, mit Ausnahme der Pseudonymisierung, die zufällig und nicht deterministisch ist
Jedes dieser Tools kann auch persönlich identifizierbare/geschützte Gesundheitsinformationen (PII/PHI) und andere sensible Daten in MS Excel-Tabellen finden und maskieren. Die Tools unterscheiden sich jedoch in der Excel-Bedienung und der Job-Konfiguration, so dass es wichtig ist, zu wissen, welche(s) Tool(s) in welcher Situation verwendet werden soll(en).
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com

❌ Data Governance ❌ End-to-End-Metadaten mit no-Code Plattform (DataSwitch) für Daten-Modernisierung, Data-Engineering und Daten-Demokratisierung ❗
Dies ist der erste in einer Reihe von Artikeln, in denen die Verbindung zwischen IRI Voracity-Datenmanagementoperationen und der webbasierten Kontrolle durch die codefreie DataSwitch-Plattform für Datenmodernisierung, -entwicklung und -demokratisierung vorgestellt wird. Die Ankündigung der Zusammenarbeit von Q3’2021 für Unternehmen und Code finden Sie hier.
Sie wissen bereits, dass IRI Voracity die Datenmanagement-Plattform für das Erkennen, Integrieren, Migrieren, Verwalten und Analysieren großer und/oder sensibler Daten in einer Vielzahl von Quellen und Silos ist. Voracity-Operationen auf strukturierten Daten werden in der auf Eclipse aufbauenden IRI Workbench IDE entwickelt und durch das ‚SortCL‘-Manipulationsprogramm unterstützt, das zuerst mit IRI CoSort verbunden war.
Aber so leistungsfähig und vielseitig die SortCL-Engine und die IRI Workbench (Eclipse IDE) für das Mapping, Masking, Munging und Mining von Daten auch sind, fehlt Voracity eine webbasierte Job-Design- und Server-basierte Orchestrierungsumgebung sowie KI-Erweiterungen für Dinge wie textuelles ETL und Self-Service-Analytics. Und für diejenigen, die alte ETL-Tool-Mappings in Voracity-Aufgaben umwandeln wollen, können nur Erwin-Tools und -Dienste helfen.
DataSwitch (DS) füllt diese Lücken mit einer webbasierten "no-code"-Plattform für die digitale Datenmodernisierung, bei der alte Unternehmensdaten und -architekturen in kundenorientiertere Formate umgewandelt werden. Genauer gesagt bietet DS drei Toolkits, mit denen lokale oder Cloud-Datenplattformen aufgebaut werden können: 1) Entscheidungsprozesse zu skalieren – "DS Migrate"; 2) die manuelle Datenverarbeitung zu automatisieren – "DS Integrate"; und 3) komplexe Analysen zu vereinfachen – "DS Democratize"
DataSwitch (DS) ist eine no-code Plattform für die schnelle Datenmodernisierung, -entwicklung und -demokratisierung. Ihr Ziel ist es, einem breiten Spektrum von Unternehmen und Anwendern problemlose Möglichkeiten zur Neudefinition der Datenarchitektur in kundenorientiertere, Cloud-freundliche Designs und Ergebnisse zu bieten.
Zu diesem Zweck kann die neue, enge Integration auf API-Ebene zwischen DS und IRI Voracity Geschäfts- und IT-Anwendern das Beste aus beiden Welten bieten. Ein großer Teil der High-Speed-Discovery-, Integrations-, Migrations-, Governance- und Analysefunktionen in Voracity ist jetzt direkt von allen drei oben genannten DS-Cloud-Data-Toolkits aus zugänglich.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Splunk SOAR ❌ Data Munging vor der Indizierung in Splunk Phantom für höhere Leistung und GDPR-konformen Datenschutz ❗
Der Vorteil ist ein nahtloser, gleichzeitiger operativer Daten-zu-Informationsfluss von der schnellen Vorbereitung und dem Schutz großer und kleiner Datenquellen durch Voracity bis hin zu den leistungsstarken Visualisierungen und dem adaptiven Response-Framework von Splunk.
In einem einzigen Durchgang durch mehrere Eingaben können Voracity-Jobs Daten für Analysen transformieren, filtern, bereinigen, neu formatieren und in ein Stadium (Wrangling) bringen und die darin enthaltenen PII für Compliance- und Datenverletzungen zu de-identifizieren!
Die Anwendung nimmt Daten, die von IRI-Jobs erzeugt werden die in den 4GL (*.cl)-Job-Skripten von "SortCL"-kompatiblen Produkten in Voracity definiert sind – einschließlich CoSort, NextForm, FieldShield und RowGen – und indexiert deren Ergebnisse automatisch in festgelegten Intervallen in Splunk.
Diese IRI-App für Splunk ist auch in der Lage, zusätzliche Befehlszeilenargumente auszuführen, die diesen Jobs zur Verfügung stehen, wie z.B. /WARNINGSON, /STATISTICS und zusätzliche /OUTFILE-Ziele.
Splunk ist ein robustes Analysetool für eine Vielzahl von Datenquellen. Splunk kann jedoch keine Dark Data auf umfassende Weise aufnehmen und es fehlt ihm an den Datenschutzfunktionen, die Compliance-orientierte Datenwissenschaftler benötigen. Mit IRI-Software und solchen Splunk-Kombinationen wie diesen können Sie noch viel mehr tun:
1. Splunk sofort mit vorbereiteten und geschützten Daten indizieren: Mit dem neuen IRI-Add-on für Splunk können Sie die extrem schnellen Datenaufbereitungs– und Schutzfunktionen von IRI Voracity aus Splunk heraus nutzen. Integrieren und maskieren Sie Rohdatensätze in einer Vielzahl von Formaten, u m sie sofort über den Speicher in Splunk-Indizes zu übertragen.
2. Unstrukturierte Datensätze für Splunk vorbereiten: Der Dark Data Discovery Wizard in der IRI Workbench GUI kann Daten in MS Office Dokumenten, E-Mail Repositories und .pdf,.rtf und.xml Dateien auf einmal suchen und strukturieren. Es kann auch forensische Metadaten über jede Datenquelle mit einem Element entdecken, das dem Suchmuster des Benutzers entspricht.
Die resultierende Flat-File enthält alle Daten (und optionale Metadaten), die Splunk leicht indizieren kann…. und sogar in der gleichen GUI mit Ihren Datenaufbereitungs- und Verwaltungsaktivitäten anzeigen kann, siehe weitere Details in unserem Blog hier.
3. Schutz der Daten für Splunk, mit oder ohne Reversibilität: Splunk hat eine Reihe von Datenverschlüsselungsszenarien identifiziert, bietet aber nicht die formaterhaltende Verschlüsselung von IRI FieldShield (einzeln verfügbar in der gleichen GUI oder als Teil eines Voracity-Abonnements), die Realismus bei der Dateneingabe oder referentielle Integrität bei der Datenabgabe gewährleistet. Verwenden Sie das IRI-Add-on für Splunk, um ein FieldShield (od er IRI RowGen Testdatengenerierung) Job-Skript auszuführen, um diese Daten in Splunk zu indizieren, wenn sie geschützt (oder produziert) sind.
Da sich die Datenschutzfunktionen von IRI auf Feldebene befinden, sind sie sicherer; wenn (im Gegensatz zu Splunk) ein Verschlüsselungscode offenbart wird, sind andere Felder mit anderen Schlüsseln oder Algorithmen noch sicher, siehe mehr Details in unserem Blog hier.
4. Senden Sie die Protokolle der IRI-Datensicherheitssoftware an Splunk: Darüber hinaus können alle statischen IRI-Datenmaskierungsprodukte – FieldShield, DarkShield und CellShield EE – Audit-Trail-Ausgaben erzeugen, die für Spunk Enterprise Security (ES) SIEM/SOC-Umgebungen geeignet sind.
In dieser Pressemitteilung finden Sie Links zu Artikeln über die Anzeige und das Verhalten bei Daten von IRI-Produkten wie DarkShield in Splunk! Hier ist ein Beispiel für Splunk ES, das die DarkShield Dark Data Search und das Maskieren von Logs visualisiert.
In dem Blog-Artikel unseres Partners finden Sie ein Beispiel für Splunk ES, das die DarkShield Dark Data Suche und das Maskieren von Logs visualisiert!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ TDM ❌Strukturell und referenziell korrekte Testdaten für RDB wie Oracle, DB2, PostgreSQL oder SQL Server synthetisieren ❗
Endbenutzer-Assistenten für RowGen in der IRI Workbench GUI (auf Eclipse™ aufbauend) helfen bei der Erzeugung von Testdaten. Einer der nützlichsten ist der Assistent für neue RowGen-Datenbanktestdaten, der ein komplettes RowGen-Projekt erstellt, um mehrere Tabellen auf einmal mit vorsortierten Schlüsselwerten und der Möglichkeit zur Anpassung automatisch zu befüllen. Obwohl er sich auf vorhandene Metadaten für jede Testtabelle stützt, können Sie auch die Generierung von Spaltenwerten anpassen – und über Regeln verallgemeinern -.
In diesem Artikel zeigen wir Ihnen, wie Sie mit IRI Workbench Zieltabellen in Oracle erstellen und deren Schema abbilden können und dann einen der RowGen-Assistenten verwenden, um Testdaten zu erzeugen und in diese Tabellen zu laden.
Nebenbei bemerkt, möchten wir auch, dass RowGen zufällig ausgewählte reale Werte in bestimmte Spalten aus Setdateidaten einfügt. Eine Set-Datei ist eine Textdatei mit einer oder mehreren Zeilen, die mehrere tabulatorgetrennte Spalten enthalten kann, die Sie selbst eingeben oder mit einem anderen Workbench-Assistenten, Set File from Column, automatisch extrahieren. In unserem Fall haben wir unsere Set-Dateien jedoch manuell erstellt: emp.set, item.set, project.set, quantity.set, salary.set, department.set und category.set.
Alle Details zur Generierung der synthetischen Testdaten in nur 3 Schritten finden Sie hier!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Data Vault 2.0 ❌ Relationales Datenbankmodell mit Datenmigration von Produktionstabellen in Data Vault 2.0-Modelle ❗
Die IRI Workbench IDE enthält einen Data Vault Generator Assistenten, der den Benutzern der IRI Voracity Plattform hilft, ein relationales Datenbankmodell in eine Data Vault 2.0 (DV) Architektur zu migrieren. Der Assistent hat drei Ausgabeoptionen, die von den Bedürfnissen des Benutzers abhängen.
Alle Optionen erstellen das Entity Relationship Diagram (ERD) für die Ausgaben. Die erste Option erzeugt nur die vollständige DDL und ERD. Die zweite Option erstellt eine DDL für Tabellen, die noch nicht existieren, und erstellt außerdem Jobskripte zum Laden der Daten aus den Quelltabellen in die neuen Zieltabellen. Die dritte Option erstellt eine DDL für Tabellen, die nicht existieren, und lädt die neuen Tabellen mit zufällig generierten Testdaten. Dieser Artikel behandelt Option drei.
Laut Dan Lindstedt, dem Erfinder des Data Vault, "ist der Data Vault ein detailorientierter, historisch nachverfolgender und eindeutig verknüpfter Satz normalisierter Tabellen, die einen oder mehrere Funktionsbereiche des Unternehmens unterstützen.
Data Vault ist ein hybrider Ansatz, der das Beste aus der 3. Normalform (3NF) und dem Sternschema umfasst … [es] ist eine Datenintegrationsarchitektur; eine Reihe von Standards und definitorischen Elementen oder Methoden [dafür, wie] Informationen innerhalb eines RDBMS-Datenspeichers verbunden werden, um sie sinnvoll zu nutzen."
Im DV2-Standard gibt es drei Arten von Tabellen. Ein Hub enthält die eindeutigen Geschäftsschlüssel. Ein Link definiert die Beziehungen zwischen den Geschäftsschlüsseln. Ein Satellit enthält den Kontext (Attribute) der Tabelle. Ein Satellit kann entweder ein Kind einer Hub- oder einer Link-Tabelle sein.
In jeder dieser Tabellen wird ein Hash der Rohdaten des Schlüssels als Primärschlüssel der neuen Tabelle verwendet. Jede Tabelle enthält auch die Quelle der ursprünglichen Daten und einen Ladezeitstempel für die historische Verfolgung. Ein Satellit enthält auch einen Endzeitstempel und eine optionale Hash-Differenz zur Verfolgung von Änderungen an den Datensätzen.
Der "Voracity Data Vault Generator Wizard" verwendet die vorhandenen Primär- (PK) und Fremdschlüssel (FK) als Ausgangspunkt für die Organisation der neuen Tabellen. Die Standardwerte pro Tabelle sind wie folgt:
- Ein Knotenpunkt für jeden PK-Schlüssel (einschließlich zusammengesetzter Schlüssel).
- Ein Link für jeden selbstreferenzierenden FK.
- Ein Link für jede Gruppe von FKs (ohne die selbstreferenzierenden Schlüssel).
- Ein Satellit auf dem Hub, wenn die Tabelle null FKs enthält.
- Ein Satellit auf dem Link, wenn mindestens ein FK existiert.
In diesem Beispiel werden sieben verknüpfte Tabellen verwendet, die Personaldaten darstellen. Nachfolgend ist die ERD für die Quelltabellen dargestellt. Alle technischen Details dazu sind hier im Blog-Artikel zu finden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ DBTA Big Data ❌ Unsere Software ist erneut in der DBTA Big Data 50 Liste der „Companies Driving Innovation“ vertreten ❗
Obwohl die heutigen CoSort-gestützten Aktivitäten weitaus umfangreicher sind, laufen sie immer noch bekannt schnell im Volumen. Sie werden in Eclipse ausgeführt und sind jetzt in einer erschwinglichen All-in-One-Datenmanagement-Plattform namens Voracity für Multi-Source verfügbar:
- Data Discovery – Klassifizierung, Diagrammerstellung, Profiling und Suche von strukturierten, halbstrukturierten und unstrukturierten Datenquellen, vor Ort oder in der Cloud
- Datenintegration – individuell optimierte und konsolidierte E-, T- und L-Aufgaben sowie Erfassung von Änderungsdaten, sich langsam ändernde Dimensionen und die Möglichkeit, bestehende ETL-Tools zu beschleunigen oder zu verlassen
- Datenmigration – Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder Massendatenreplikation und Föderation
- Data Governance – Maskierung von PII-Daten und Re-ID-Risikobewertung, DB-Subsetting, Generierung synthetischer Testdaten, Datenvalidierung, -bereinigung und -anreicherung, Master- und Metadatenmanagement usw.
- Analytik – eingebettete Berichte, Feeds zu DataDog, KNIME und Splunk, und schnelle Datenverarbeitung für BOBJ, Cognos, Cubeware, iDashboards, Microstrategy, Oracle, Power BI, Qlik, R, Spotfire und Tableau
Voracitys gemeinsame, wiederverwendbare Metadaten und die Eclipse IDE unterstützen mehrere Optionen für Job-Design, Einsatz und gemeinsame Nutzung. Egal, ob Sie DBA, BI/DW-Architekt, Datenwissenschaftler, Datenschutzbeauftragter, Anwendungsentwickler oder IT-Manager sind, Sie können eine Lösung aus einer Hand nutzen und zusammenarbeiten, die das Beste aus alten und neuen Techniken vereint!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com

❌ ASN.1-Dateien ❌ Direkte Datenintegration und Datenmigration mit Datenbereinigung und Datenmaskierung, für Datenverarbeitung und Report ❗
Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie). Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können.
Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big Data Manipulation, NextForm für Datenmigration, FieldShield für Datenmaskierung und RowGen für Testdatengenerierung) verarbeitet.
ASN.1 CDRs: Jeder Festnetz- oder Mobiltelefonanruf, der über ein Public Land Mobile Network (PLMN) getätigt wird, erzeugt einen oder mehrere Anrufdatensätze. Diese Call Detail Records (CDRs) oder Usage Detail Records (UDRs) werden von der Mobilvermittlungsstelle (MSC) generiert – dem primären GSM/CDMA-Dienstleistungsknoten, der für die Weiterleitung von Sprachanrufen, SMS und anderen Diensten zuständig ist. CDRs enthalten Informationen, die der Netzbetreiber für die Teilnehmeridentifizierung, die Abrechnung von Anrufen, die in Anspruch genommenen Dienste, die Anrufweiterleitung usw. verwendet. Nachdem ein "Datensammler" in der Netzvermittlungsstelle die CDRs erfasst hat, werden sie in der Regel von einem "Vermittlungssystem" von einem binären Format in ein Flat-File-format umgewandelt.
CDRs werden in der Regel in einem Format kodiert, das einem Standard namens ASN.1 (Abstract Syntax Notation One) entspricht. ASN.1 ist ein flexibles Rahmenwerk für die Darstellung von Datenstrukturen in Telekommunikations- und Computernetzwerken, das in gewissem Umfang auch für Fahrzeugverkehrs- und Finanztransaktionsprotokolle verwendet wird. Ein Beispiel für ein standardisiertes ASN.1-Schema ist TAP3, dem viele CDRs folgen.
Flat CDRs werden von nachgelagerten Abrechnungs- und Analyseanwendungen verwendet, die diese Daten nutzen müssen. Voracity und die meisten Datenintegrations- (ETL) und Telco Application Service Provider (ASP)-Operationen sind in der Tat auf Mediation angewiesen, um die Daten zunächst zu konvertieren und anzureichern, da sie die rohen, binären ASN.1-Formate nicht selbst verarbeiten können. Der Grund dafür ist, dass ASN.1 darauf ausgelegt ist, maschinell erzeugte Daten für die Übermittlung an einen unspezifischen, nachgeschalteten Prozessor streng zu kodieren. Die Vermittlung ist notwendig, weil die Prozessoren unbekannt sind und weil die Datensätze strukturiert, mit Makros versehen und nicht für den Menschen lesbar sind.
In Rohform können CDR-Daten im Allgemeinen mehr als 700 Felder enthalten, die im tatsächlichen Laufzeitstrom erscheinen können oder auch nicht. Aber auch hier sind die Zeichenketten und Werte in Oktetten kodiert, die für Menschen nicht lesbar sind. Bis jetzt!
Ab CoSort Version 10.5 im Jahr 2021 bietet IRI direkte Unterstützung für die Verarbeitung jeder ASN.1 kodierten Datei im Sort Control Language (SortCL) Datenmanipulationsprogramm des Unternehmens. Dies ermöglicht SortCL-kompatiblen Programmbenutzern (in Voracity, CoSort, FieldShield, NextForm und RowGen), Daten wie native ASN.1 CDRs direkt zur Laufzeit zu verarbeiten – ohne vorherige Vermittlung.
Alle technischen Detals sind hier im Blog von IRI zu finden, wir helfen Ihnen gerne bei Fragen!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ Database Subsetting ❌ Metadaten-kompatibles Subsetting mit Datenmaskierung und synthetischen Testdaten ❗
Herausforderungen: Entwickler von Datenbankanwendungen verlassen sich zum Testen oft auf Daten in Produktionstabellen. Aber es gibt mehrere Nachteile dieses Ansatzes, einschließlich der:
- Vertraulichkeit der Daten in diesen Tabellen
- Kosten für die Migration, Maskierung, Aktualisierung und/oder Speicherung replizierter Datenbanken zum Testen
- Redundanz der Produktionsdaten, was zu Platzverschwendung und unzureichender Testabdeckung führt
- nur kleine Datenmengen für spezifische Testfälle benötigt werden
Lösungen: Zusätzlich zu den leistungsstarken Funktionen zum Parsen, Generieren und Populieren von Datenbanken die IRI RowGen für die Synthese von strukturell und referenziell korrekten Testdaten bereitstellt, können Sie nun auch Datenbank-Subsets erzeugen (und maskieren).
Ein leistungsfähiger Datenbank-Subsetting-Assistent ist nun in der IRI Workbench GUI für Benutzer der IRI Voracity-Plattform oder der IRI Datenschutz Suite-Software (einschließlich IRI FieldShield und/oder RowGen) verfügbar. Dieses ergonomische Dienstprogramm ermöglicht es Ihnen, schnell überschaubare Mengen zuverlässiger und referenzfreier Daten aus Produktionstabellen zu erstellen und gleichzeitig Maskierungs- und Abbildungsregeln anzuwenden.
Subsetting minimiert nicht nur das Risiko von PII-Exposition und Datenschutzverletzungen, sondern senkt auch die Kosten für Datenbank- und Anwendungstest-Infrastrukturen drastisch… einige sagen bis zu 50.000€ pro Datenbank. Erfahren Sie hier, wie Sie in der Workbench Unteraufträge automatisch einrichten und erstellen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com

❌ MariaDB und MySQL ❌ Schnellere Datenbankabfrage- und Ladeleistung, sowie sensible PII schützen ❗
MySQL und MariaDB: schnellere und sichere Datenbank!
Sie können mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit MySQL konfrontiert werden:
- Datenermittlung: Profilerstellung, Klassifizierung, ERDs
- Be- und Entladen großer Tabellen
- Routinemäßige Versorgungsoperationen (Reorgs)
- Komplexe Abfragen
- Migration oder Replikation
- Maskierung sensibler Daten
- Generierung intelligenter und sicherer Testdaten
Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, erfordern eine Optimierung und dauern dann immer noch zu lange.Beschleunigen Sie die Entladung: IRI FACT (Fast Extract) zur Beschleunigung der MySQL-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um Tabellendaten in Flat-Files zu übertragen . Geben Sie SELECT * aus der Tabelle an, damit Sie das Entladen nicht mit Kennzeichen wie "distinct", "order by" und "group by" belasten. Aber sobald sich diese Daten in der Flat-File befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu deduplizieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.
Beschleunigen Sie die Ladungen: IRI CoSort um Flat-Files für den Massen-BCP-Import vorzusortieren. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt mit der Index-Erstellung zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.
Beschleunigen Sie die Reorgs und Abfragen: Offline Reorg Wizard in der IRI Workbench, um die Kombination der oben genannten schnellen Extraktions-, Sortier- und Rückladevorgänge für klassische (Offline-)MySQL-Reorgs zu kombinieren und zu automatisieren, die die Pflege Ihrer Tabellen in optimaler Abfragereihenfolge erleichtern.
Lagern Sie die SQL-Transformationen aus: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.
Migrieren und replizieren Sie die Datenbanken: IRI NextForm-Datenbank-Edition um neue Tabellen während der Migration zu und von MySQL zu erwerben, neu abzubilden, neu zu formatieren und zu erstellen/zu füllen. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort verwenden, um Daten in MySQL neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.
Maskieren Sie Daten in MySQL-Spalten: IRI FieldShield um sensible Daten in MySQL zu maskieren, wie personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI), wendet FieldShield Maskierung, Verschlüsselung und andere De-Identifizierungsfunktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und GDPR einzuhalten.
Generieren Sie synthetische Testdaten: IRI RowGen um MySQL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren.
In dem Blog unseres Partners IRI finden Sie ausführliche verschiedene technische Artikel!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com