Autor: Firma JET-Software
❌ MySQL & MariaDB ❌ Schnellere und sichere Datenbank dank bewährter Lösung für zeitaufwendige Probleme ❗

❌ MySQL & MariaDB ❌ Schnellere und sichere Datenbank dank bewährter Lösung für zeitaufwendige Probleme ❗

By |
Herausforderungen bei der Arbeit mit MySQL und MariaDB: schnellere und sichere Datenbank als Ziel!

Sie können mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit MySQL konfrontiert werden:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen
  • Migration oder Replikation
  • Maskierung sensibler Daten
  • Generierung intelligenter und sicherer Testdaten

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, erfordern eine Optimierung und dauern dann immer noch zu lange.

Beschleunigen Sie die Entladung: IRI FACT (Fast Extract) zur Beschleunigung der MySQL-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um Tabellendaten in Flat-Files zu übertragen. Geben Sie SELECT * aus der Tabelle an, damit Sie das Entladen nicht mit Kennzeichen wie "distinct", "order by" und "group by" belasten. Aber sobald sich diese Daten in der Flat-File befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu deduplizieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Beschleunigen Sie die Ladungen: IRI CoSort um Flat-Files für den Massen-BCP-Import vorzusortieren. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt mit der Index-Erstellung zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Beschleunigen Sie die Reorgs und Abfragen: Offline Reorg Wizard in der IRI Workbench, um die Kombination der oben genannten schnellen Extraktions-, Sortier- und Rückladevorgänge für klassische (Offline-)MySQL-Reorgs zu kombinieren und zu automatisieren, die die Pflege Ihrer Tabellen in optimaler Abfragereihenfolge erleichtern.

Lagern Sie die SQL-Transformationen aus: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.

Migrieren und replizieren Sie die Datenbanken: IRI NextForm-Datenbank-Edition um neue Tabellen während der Migration zu und von MySQL zu erwerben, neu abzubilden, neu zu formatieren und zu erstellen/zu füllen. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort verwenden, um Daten in MySQL neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

Maskieren Sie Daten in MySQL-Spalten: IRI FieldShield um sensible Daten in MySQL zu maskieren, wie personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI), wendet FieldShield Maskierung, Verschlüsselung und andere De-Identifizierungsfunktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und GDPR einzuhalten.

Generieren Sie synthetische Testdaten: IRI RowGen um MySQL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren.

In dem Blog unseres Partners IRI finden Sie ausführliche verschiedene technische Artikel!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Einfache interoperable Metadaten ❌ Versteckte, kryptische und binäre Metadaten in Plattformen für Datenverwaltung sind schwer zu interpretieren ❗

❌ Einfache interoperable Metadaten ❌ Versteckte, kryptische und binäre Metadaten in Plattformen für Datenverwaltung sind schwer zu interpretieren ❗

By |
SortCL: Datendefinition und -manipulation 4GL!

IT- und Datenabteilungen sind auf Metadaten angewiesen, um ihre eigenen Systeme zu verstehen und ihre Tools und Prozesse aufeinander abzustimmen. Einige Tools verwenden jedoch:

  • kryptische Metadaten, die nicht leicht verständlich sind
  • versteckte Metadaten, so dass sie nicht geändert werden können
  • binäre Metadaten, die andere Tools nicht verwenden können

Die Metadaten, die im IRI CoSort-Paket, in der IRI-Voracity-Datenmanagement-(und ETL)-Plattform und ihren zweckmäßigen Teilprodukten (IRI NextForm für befreiende Datenkonvertierung, IRI FieldShield für datenzentrierte Sicherheit und IRI RowGen für synthetische Testdatengenerierung) verwendet werden, befinden sich in einem vertrauten und selbstdokumentierenden 4GL für die Datendefinition, Manipulation (Transformation, Maskierung, Bereinigung, etc.) und Zuordnung (Umformatierung und Reporting) namens SortCL.

Benannt nach seinen Wurzeln im Jahr 1992 nach der "Sort Control Language" von VMS, profitiert SortCL seitdem von der Klarheit, Geschwindigkeit, Zuverlässigkeit und Erweiterbarkeit dieser Syntax. Und heute wird die SortCL-Syntax und das Auftragsmanagement in der kostenlosen Eclipse IDE für alle IRI-Produktbenutzer, der IRI Workbench, vollständig unterstützt.

SortCL ermöglicht es Anwendungs-, DW-, Geschäfts- und Data Governance-Teams, Ihre strukturierten Datenquellen, Manipulationen und Berichte in einer einfachen, gemeinsamen Sprache zu beschreiben. SortCL reduziert die Komplexität von Definitionen und die Notwendigkeit einer aufwändigen Metadatenpflege durch eine einfache, gemeinsame Syntax, die in Textdateien und Eclipse verwaltet wird, in der Cloud gemeinsam genutzt werden kann und mit Mapping-Automatisierungs- und Metadatenkonvertierungstechnologien von AnalytiX DS (jetzt Erwin) und MITI (MIMB) kompatibel ist.

SortCL definiert das Layout und die Manipulation Ihrer Datenquellen, Prozesse und Ziele für eine Vielzahl von Anwendungen und IRI-Softwareprodukten. Unabhängig davon, ob Sie IRI-Software verwenden, um Datentransformation, Migration, Schutz oder Reporting durchzuführen, zu beschleunigen und/oder zu kombinieren, SortCL-Metadaten definieren dies.

SortCL-Datendefinitionsdateien (.DDF) definieren die Struktur und das Aussehen von Quelldateien und Datenbanktabellen. SortCL-Spezifikationsdateien (.SCL) oder Jobskripte beziehen sich auf die.DDF-Layouts. .SCL-Dateien verwenden die Quellfeldnamen als symbolische Referenzen für die Manipulation und Zuordnung von Zielfeldern.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ PII in strukturierten Flat-Files ❌ Sensible personenbezogene Daten automatisch klassifizieren, finden und schützen ❗

❌ PII in strukturierten Flat-Files ❌ Sensible personenbezogene Daten automatisch klassifizieren, finden und schützen ❗

By |
Datenklassifizierung: Daten katalogisieren und durchsuchen – und Datentransformations- + Schutzfunktionen anwenden!

Benutzer von PII-Maskierungswerkzeugen wie FieldShield für strukturierte Flat-Files, DarkShield für semi/unstrukturtierte Datenquellen und CellShield für gezielte Datenmaskierung in Microsoft Excel®-Tabellen können ihre Daten katalogisieren und durchsuchen – und Datentransformations- und Schutzfunktionen als Regeln anwenden – unter Verwendung der integrierten Datenklassifizierungsinfrastruktur in ihrer gemeinsamen Front-End-IDE, IRI Workbench, die auf Eclipse™ aufbaut.

Die Multi-Source-Datenerkennungsfunktionen (Suchfunktionen) in IRI Workbench können die von Ihnen definierten Datenklassen nutzen oder Ihnen dabei helfen, Ihren Daten auf der Grundlage Ihrer Suchergebnisse, Geschäftsregeln und/oder Domänenontologien Datenklassen oder Datenklassengruppen zuzuordnen.

Sie können Ihre Datenklassenbibliothek in wiederverwendbaren Feldregeln (z. B. Datenmaskierung) verwenden. Und Sie können diese Regeln auch bei der automatischen Klassifizierung von Daten zuweisen. Diese Funktionen bieten Datenarchitekten und Governance-Teams Komfort, Konsistenz und Compliance-Funktionen. In diesem Artikel finden Sie ein durchgängiges Beispiel für die Verwendung von Datenklassen zum konsistenten Suchen und Maskieren von Daten über mehrere Tabellen in RDB-Schemata.

Dieser Artikel beschreibt, wie Sie diese Klassen definieren können, während mehrere andere im Blog ihre Anwendung in verschiedenen (meist Datenmaskierungs-) Kontexten behandeln. Einen vollständigen Index dieser Artikel finden Sie in diesem Abschnitt der IRI-Software-Selbstlernseite.

Lernen Sie weitere Details hier kennen, wie Sie erst Datenklassen und -gruppen erstellen und via dem "Data Classification Source Wizard" die Daten in Ihren ausgewählten Quellen klassifizieren!

Die Datenklassenzuordnungen verwenden Verweise auf die Datenklassen und Felder, weshalb die Bibliothek neben der Zuordnung selbst auch die Quellen und Datenklassen speichert. Durch das Löschen einer Quelle oder Datenklasse werden auch alle zugehörigen Datenklassen-Maps entfernt, die auf dieses gelöschte Element verweisen. Wenn Sie auf Entfernen klicken, wird eine Warnung angezeigt, um Sie daran zu erinnern. Der Vorgang kann für die anderen enthaltenen Quellen wiederholt werden, und es können jederzeit weitere Quellen hinzugefügt werden.

Die Klassifizierungsergebnisse dieser Bibliothek können nun verwendet werden, um Feldregeln auf diese Datenquellen anzuwenden. Der Vorgang wird im nächsten Artikel über das Anwenden von Feldregeln mithilfe der Klassifizierung erläutert.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Schnellste Datenerfassung ❌ Parallele Extraktion aus bspw. Oracle und DB2 in Flat-Files beschleunigen BI/DW-, Migration und Archivierung ❗

❌ Schnellste Datenerfassung ❌ Parallele Extraktion aus bspw. Oracle und DB2 in Flat-Files beschleunigen BI/DW-, Migration und Archivierung ❗

By |
.
Paralleles Entladeprogramm für sehr große Datenbanken: ETL, Reorgs & Migration!

Ein schneller Extraktionsschritt kann eine kritische Komponente sein:

  • Datenbankarchivierung und -replikation
  • Datenbankberichte und Migrationen
  • Data Warehouse ETL-, ELT- und ODS-Operationen
  • Offline-Berichterstattung und Schutz von Massendaten

IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen.

Obwohl FACT ist ein eigenständiges und anwendungsunabhängiges Dienstprogramm ist, kann es auch gut mit anderen Programmen und Plattformen zusammenarbeiten. So erstellt FACT optional Metadaten für Datendefinitionsdateien (.DDF), mit denen IRI CoSort und seine kompatiblen Datenmanagement- und Schutztools die Flat-Files manipulieren können. FACT erstellt auch automatisch Konfigurationsdateien für das Laden von Datenbanken für dieselbe Quelle.

FACT ist auch eine optionale und nahtlos integrierte Komponente in der IRI Voracity ETL- und Datenmanagementplattform. Die automatische Metadatenerstellung – und die Koexistenz anderer IRI-Software in derselben IDE – erleichtert die Spezifikation und kombinatorische Ausführung von sofortigen oder nachgelagerten Datentransformations-, Schutz-, Berichts- und (vorsortierten) Ladevorgängen. Wenn Sie FACT, CoSort und Ihren Datenbanklader in einem einzigen I/O-Pass zusammenfassen, werden ETL- und Reorg-Vorgänge noch schneller, befriedigen Sie nicht nur SLAs. Erfüllen Sie die Anforderungen an die Skalierbarkeit von VLDB-Daten!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Trend Setting Produkt für 2021 ❌ Plattform Voracity für schnelles Data Staging, Governance, Wrangling und Analytik ❗

❌ Trend Setting Produkt für 2021 ❌ Plattform Voracity für schnelles Data Staging, Governance, Wrangling und Analytik ❗

By |
.
Integrieren, bereinigen, analysieren und auf Daten reagieren – alles auf einmal!

Eine "Production Analytic Platform" ist ein modernes Datenintegrations-Paradigma, das von Barry Devlin, PhD, definiert wurde und Datenprozesse mit Informationen in einer Post-Data-Warehousing- und Data-Lake-Welt gleichsetzt. Die Production Analytic Platform vermählt Datenaufbereitung und -präsentation in Design- und vor allem Laufzeitaspekten, um Predictive Analytics mit Produktionswerten und -zielen zu verbinden.

Devlin hat IRI Voracity als die seltene Plattform für schnelles Data Staging, Governance, Wrangling und Analytik identifiziert. Angetrieben von schnellen IRI CoSort- oder Hadoop-Engines und mit Eclipse als Frontend, können Voracity-Jobs gleichzeitig Datenintegrations- (Transformation und Konsolidierung) und Governance-Operationen (PII-Maskierung und -Bereinigung) kombinieren und ihre Ergebnisse direkt in unzählige unterschiedliche Ziele einspeisen (wiederum gleichzeitig).

Die Ziele von Voracity reichen von benutzerdefinierten Detail- und Zusammenfassungsberichten bis hin zu Data Marts, Tabellenkalkulationen, XML-Dateien, NoSQL-Sammlungen, CI/CD-Teststreams, Message Queues, S3-Buckets und Analyse-Engines von Drittanbietern für indizierte Suchen, visuelle Interpretation und adaptive Reaktionen auf diese Daten … wie Splunk.

Die Voracity App für Splunk ist ein Aufruf- und Ingestionspunkt für die gleichzeitige Ausführung und Nutzung von Voracity-Jobs und deren Ergebnissen. Die App startet einen ausgewählten Voracity-Job und indiziert automatisch dessen Ausgabe in Splunk. Von dort aus sind die Daten bereit, um erweiterte Analysen durchzuführen, Visualisierungen zu füllen und definierte Aktionen auszulösen.

Wenn Sie jedoch extreme analytische Effizienz und Datensicherheit ohne jahrelange individuelle Programmierung wünschen, dann ist nichts anderes zu empfehlen!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Schutz von Dark Data ❌ PII in semi/un/strukturierten Datenquellen via Eclipse GUI und Web Service Call via API schützen ❗

❌ Schutz von Dark Data ❌ PII in semi/un/strukturierten Datenquellen via Eclipse GUI und Web Service Call via API schützen ❗

By |
 

PII in unstrukturierten Datenquellen: Definieren, erkennen und de-identifizieren!

Mit IRI DarkShield können Sie Daten in mehreren semistrukturierten und unstrukturierten Dateiformaten und RDB-Spalten auf einmal klassifizieren, finden und löschen oder anderweitig maskieren (ebenso wie Gesichter und NoSQL DBs), indem Sie gemeinsame Datendefinitionen und benutzerdefinierte Kombinationen von Such- und Maskierungsfunktionen verwenden. Dabei können Sie auch Auftragsergebnisse (und die zugehörigen Dateimetadaten) in Ihrer DarkShield– oder SIEM-Umgebung extrahieren, gemeinsam nutzen und anzeigen.

Der beste Weg um unstrukturierte Daten zu finden und zu maskieren: PII und andere sensible Daten in Dark Data schützen!

Mit DarkShield können Sie Anfragen nach dem "Recht auf Vergessen" erfüllen, bestimmte Datenextrakte an diejenigen liefern, die die Übertragbarkeit von Datensätzen anfordern und die Datenqualität in Datenkorrekturanfragen erleichtern. Außerdem können Sie die maskierten Dateien entweder in den Originaldateien oder in gleichnamigen Zieldateien und -ordnern in Ihrem Netzwerk oder in der Cloud speichern.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Oracle Datenmaskierung ❌ Sensible Daten in-situ mit verschiedenen Funktionen beim Einfügen oder Aktualisieren automatisch maskieren ❗

❌ Oracle Datenmaskierung ❌ Sensible Daten in-situ mit verschiedenen Funktionen beim Einfügen oder Aktualisieren automatisch maskieren ❗

By |
Echtzeit-Datenmaskierung mit Triggern: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen.

Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten, wie sie in Echtzeit erzeugt werden. Er kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen.

Dieser Artikel geht zunächst auf die Installation von FieldShield ein und nennt auch die dazu benötigten Anforderungen. Danach folgt ein anschaulicher Anwendungsfall mit PL/SQL-Triggern für die ASCII-Format bewahrende Verschlüsselung und die dazu gehörende entschlüsselte Ansicht. Allgemeiner gesagt können Sie mit den genannten FieldShield-Maskierungsroutinen und -verfahren (wie PL/SQL) jetzt sensible Daten auf der Grundlage von Echtzeit-Datenbankereignissen für eine Vielzahl von Anwendungsfällen maskieren.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Microsoft SQL Server 10x schneller ❌ Lokal oder Cloud: ETL/Reorgs optimieren, BI-Datenaufbereitung, PII finden/schützen, migrieren und testen ❗

❌ Microsoft SQL Server 10x schneller ❌ Lokal oder Cloud: ETL/Reorgs optimieren, BI-Datenaufbereitung, PII finden/schützen, migrieren und testen ❗

By |
Herausforderungen: Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen oder PowerBI-Performance
  • Migrations- oder Replikationsarbeiten
  • Schlechte Datenqualität oder Einheitlichkeit
  • Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall)
  • Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
  • Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, etc.

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange.

Lösungen: Einfache und kostengünstige IRI-Software löst diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung.

Unload-Beschleunigung: IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um große Tabellen schnell in flache Dateien zu übertragen.

Geben Sie SELECT * FROM aus der Tabelle an, damit Sie das Entladen nicht mit Qualifier wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.

Load-Beschleunigung: IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.

Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Reorgs- und Abfragebeschleunigung: Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.

Optimierung von Transformationen (ETL) und BI-Datenaufbereitung: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall

Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen.

Migration und Replikation von SQL Server Datenbanken: IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort oder Voracity verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.

Daten bereinigen und anreichern (Qualität): CoSort oder Voracity um Fehler in Datenwerten, Bereichen, Formaten oder Kontexten zu finden und zu beheben. Scrubben und standardisieren Sie doppelte oder fuzzy-angepasste Werte. Weitere Möglichkeiten zur Datenqualität finden Sie hier.

Klassifizieren und Maskieren von sensiblen Daten: IRI FieldShield (oder IRI Voracity) um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.

SQL Server Testdaten generieren: IRI RowGen (oder Voracity) um SQL Server- oder SSIS ETL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer integrierter Ansatz.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Intelligente + synthetische Testdaten ❌ Erstellung von Test Data via Produktions-Metadaten für DevOps, DB, DV und ETL-Prototypen ❗

❌ Intelligente + synthetische Testdaten ❌ Erstellung von Test Data via Produktions-Metadaten für DevOps, DB, DV und ETL-Prototypen ❗

By |
Herausforderungen: Anwendungen und Datenbanken haben ihre eigene Logik und einzigartigen Eigenschaften. Damit Testdaten in diesen Kontexten nützlich sind, müssen sie Produktionsmerkmale widerspiegeln, wie z.B:

  • Auswahlbedingungen (Geschäftsregeln)
  • Spaltenattribute und Transformationen
  • Inter-Feld/Schlüssel-Beziehungen (referentielle Integrität)
  • Wertebereiche und spaltenübergreifende Berechnungen

Auch Testdaten zur Produktionsqualität müssen diese Attribute aufweisen:

  • Typ – korrekte Spalten-/Feldwerte und Formate
  • Breite – Werte mit aktuellen (und zukünftigen) Bereichen
  • Häufigkeit – realistische Muster des Auftretens von Werten
  • Tiefe – Volumina, die Skalierbarkeitsprobleme ansprechen

In einer schnelllebigen DevOps- und Continuous Integration (CI)/ Continuous Deployment (CD)-Umgebung kann die Fähigkeit, konsistente und realistische Testsätze zu generieren und zu automatisieren, die in Format und Umfang sehr unterschiedlich sein können, eine große Herausforderung darstellen und Programmierer mit engen Lieferfristen ablenken.

Lösungen: Anwendungen, die mit realistischen Datenformaten und -mengen entwickelt werden, haben in der Produktion eher Aussicht auf Erfolg. Das IRI RowGen-Paket zur Erstellung von Testdaten verwendet Produktions-Metadaten, um benutzerdefinierte, synthetische Testsätze mit zufällig generierten Daten und/oder zufällig ausgewählten Daten aus Produktionsquellen zu erstellen.

Um die richtigen Volumen und Wertebereiche zu erzeugen, verwendet RowGen bedingte Auswahl- und Formatierungsparameter. RowGen verbessert den Realismus der Testdaten weiter durch referentielle Integrität, Häufigkeitsverteilungen und integrierte Transformations- und Formatierungsfunktionen. Beispielsweise können Sie Daten nach dem Zufallsprinzip auswählen und Bereiche aus Pools von realen Daten und gewichteten Zahlen (jeweils) angeben.

Für Continuous Integration und Continuous Deployment or Delivery (CI/CD)-Umgebungen kann RowGen Testdaten in jedem Schritt eines Entwicklungsprozesses synthetisieren, ohne auf die Bereitstellung von Daten aus einem anderen Schritt angewiesen zu sein. Darüber hinaus und auf einzigartige Weise können eingebettete Datentransformations-, Validierungs- und Formatierungsfunktionen gleichzeitig mit den generierten Daten im selben Skript ausgeführt werden! Dies kann inkrementelle Anwendungstests erleichtern, die Rückwärtskompatibilität und Vorwärtskompatibilität mit Ihren Produktionsversionen sicherstellen. Siehe diesen Anwendungsfall.

Kombinieren Sie zufällige Generierung und Auswahl von Set-Dateien, Bedingungen und Manipulationen auf Feldebene und benutzerdefinierte Layout-Funktionen. Erstellen Sie schnell die intelligenten Daten, die Sie zum Stresstest und zur Überprüfung Ihrer Anwendungen benötigen. Verbessern Sie die Qualität und Zuverlässigkeit Ihrer Ergebnisse. Planen Sie Jobs zur Wiederholung von Generierungs- und Testvorgängen in der IRI-Workbench (oder Ihrem eigenen CLI-unterstützenden Automatisierungstool), um CI- und CD-Prozesse zu glätten.

Wenn Sie es immer noch vorziehen, mit Daten zu testen, die sich in Produktions-DBs befinden, können Sie auch RowGen verwenden, um sie schnell zu unterteilen und zu maskieren. Oder Sie können mit IRI FieldShield ein noch breiteres Spektrum von Quellen maskieren. Wenn Sie mehrere Funktionen benötigen oder Testdaten aus einer Vielzahl von statischen oder Streaming-Quellen virtualisieren müssen, sehen Sie sich die IRI Voracity-Datenmanagement-Plattform an, die alles bietet.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Talend Data Fabric ❌ Mittels CoSort 4x schnellere Datenintegration, plus PII-Datenschutz via Datenmaskierung und synthetische Testdaten generieren ❗

❌ Talend Data Fabric ❌ Mittels CoSort 4x schnellere Datenintegration, plus PII-Datenschutz via Datenmaskierung und synthetische Testdaten generieren ❗

By |
Herausforderungen: Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend!

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

Aus Sicherheitssicht bietet Talend möglicherweise nicht die Funktionen zum Erkennen, Klassifizieren oder Maskieren von Daten oder zum Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen

Transformationen beschleunigen: Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf an die Programme CoSort Sort Sort Control Language (SortCL). Führen Sie große Datentransformationen mehrfach zeitsparend aus, ohne aus Mangel an Speicherplatz zusammenzubrechen und ohne andere Jobs in Talend, Ihrem DB- oder BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungs- und Bereinigungsfunktionen auf Feldebene, benutzerdefinierte Berichtslayouts und vorsortierte Ladedateien an.

In diesem Artikel finden Sie Benchmarks und Ratschläge zur Leistungssteigerung durch tSystem-Aufrufe, die CoSort- oder Voracity-Anwendern zur Verfügung stehen. Beschleunigen und kombinieren Sie Transformations- und andere große Daten-Staging-Aufträge in viel weniger Zeit und Speicherplatz.

PII-Daten maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen.

Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten sowie aller über JDBC verbundenen RDB-Datenmodelle. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.

Re-Plattform der Jobs: Automatische Konvertierung von Mappings in Talend in schnellere, einfachere und kostengünstigere ETL-Operationen in IRI Voracity mit Erwin (ehemals AnalytiX DS) Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie, zusammen mit den erwin Lite Speed Conversion Services, gibt ETL-Architekten und der CIO/CFO-Suite routinemäßig die Möglichkeit, zehn bis hunderttausende von Euro pro Jahr zu sparen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.