Autor: Firma JET-Software

❌ ETL vs. ELT ❌ Effizientere und umfassende Datenintegration und Data Staging bzw. Datenaufbereitung ❗

❌ ETL vs. ELT ❌ Effizientere und umfassende Datenintegration und Data Staging bzw. Datenaufbereitung ❗

Wachsendes Datenmengen beherrschen: Data-Warehouse-Architekten (DWA) haben seit ihren Anfängen die Aufgabe, ein Data-Warehouse mit unterschiedlich beschafften und formatierten Daten zu erstellen und zu befüllen. Aufgrund des drastischen Anstiegs der Datenmengen stehen dieselben DWAs vor der Herausforderung, ihre Datenintegrations– und Staging-Vorgänge effizienter zu gestalten.

Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden.

ETL: Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt.

ETL ist nach wie vor weit verbreitet, da der Markt mit bewährten Anbietern wie Informatica, IBM, Oracle – und IRI mit Voracity, das FACT (Fast Extract), CoSort- oder Hadoop-Transformationen und Bulk Loading in derselben Eclipse-GUI kombiniert – floriert, um Daten zu extrahieren und zu transformieren. Dieser Ansatz verhindert, dass Datenbanken, die für die Speicherung und den Abruf von Daten (Abfrageoptimierung) konzipiert sind, mit dem Overhead einer groß angelegten Datentransformation belastet werden.

ELT: Mit der Entwicklung neuer Datenbanktechnologien und Hardware-Appliances wie Oracle Exadata, die Transformationen "in a box" verarbeiten können, kann ELT jedoch unter bestimmten Umständen eine praktische Lösung sein. Die Isolierung der Staging- (Laden) und der semantischen (Transformieren) Schicht bietet zudem besondere Vorteile.

Sehen Sie in diesem Artikel alle Vorteile und Nachteile, differenziert gelistet nach ETL und ELT.

In der Folge entstehen hybride Architekturen wie ETLT, TELT und sogar TETLT, mit denen versucht wird, die Schwächen der beiden Ansätze zu beheben. Diese scheinen jedoch die ohnehin schon komplizierten Prozesse noch weiter zu verkomplizieren. Es gibt wirklich kein Patentrezept, und viele Datenintegrationsprojekte scheitern an der Last der SLAs, der Kostenüberschreitungen und der Komplexität.

Aus diesen Gründen wurde IRI Voracity entwickelt, um Daten über das CoSort SortCL-Programm in bestehende Dateisysteme oder Hadoop-Fabrics ohne Neucodierung zu integrieren. Voracity ist die einzige ETL-orientierte (aber auch ELT-unterstützende) Plattform, die beide Optionen für externe Datentransformationen bietet. Neben einem hervorragenden Preis-Leistungs-Verhältnis bei der Datenbewegung und -manipulation bietet Voracity:

  • erweiterte Datentransformation, Datenqualität, MDM und Reporting
  • Slowly Changing Dimensions, Change Data Capture, Datenföderation
  • Datenprofilierung, Datenmaskierung, Testdatengenerierung und Metadatenmanagement
  • einfache 4GL-Skripte, die Sie oder Eclipse-Assistenten, Diagramme und Dialoge erstellen und verwalten
  • nahtlose Ausführung in Hadoop MR2, Spark, Spart Stream Storm und Tez
  • Unterstützung für erwin Smart Connectors (Konvertierung von anderen ETL-Tools)
  • native MongoDB-Treiber und Verbindungen zu anderen NoSQL-, Hadoop-, Cloud- und Legacy-Quellen
  • eingebettete Reporting-, Statistik- und Vorhersagefunktionen, KNIME- und Splunk-Anbindungen sowie Datenfeeds für Analysetools.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Data Warehouse ❌ Wachsendes DHW bewältigen ohne zusätzlicher Hardware, Spark oder Hadoop ❗

❌ Data Warehouse ❌ Wachsendes DHW bewältigen ohne zusätzlicher Hardware, Spark oder Hadoop ❗

Push von Datenintegration und Datentransformation! Die meisten ETL- und ELT-Tools und Datenbankmodule können große Datenmengen nicht effizient transformieren, denn sie benötigen:

  • eine teure Parallelverarbeitungs-Edition
  • Entnahme von Datenbank- oder Systemressourcen von Dritten
  • eine komplexe, schwer zu wartende Hadoop-Umgebung
  • eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades
  • das Problem auf eine noch teurere Datenbank zu übertragen

Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die viel zu lange dauern. Auch nachfolgende Aufgaben wie das Laden, das Analysieren oder die BI-Displays leiden. Zudem werden diese E-, T- und L-Schritte typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt.

Lösungen: IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort und die IRI Voracity Datenmanagement-Plattform können innerhalb anderer ETL-Tools ausgeführt werden, die auf Unix-, Linux- oder Windows-Hardware laufen.

Optimieren Sie Sortier-, Joint- und Aggregationstransformationen in Inormatica, DataStage, Talend, Pentaho, ODI und anderen Tools mit der SortCL-Engine. Viele SortCL-Aufträge können auch nahtlos in Hadoop ausgeführt werden und werden mit anderen Tools auf API- oder Skriptebene aufgerufen, z.B. in Kalido, ETI, Software AG Natural, SAS und TeraStream.

Verwenden Sie die Metadaten und Workflows die Sie haben und rufen Sie die IRI-Software einfach von Ihrem Tool aus auf, um die Geschwindigkeit zu erhöhen und/oder Entladen, Datentransformationen und Operationen wie:

  • Sortierungen
  • Joins
  • Aggregate
  • Lookups
  • Perl-kompatible reguläre Ausdrücke
  • Datentyp- und Dateiformatkonvertierungen
  • Feld-/Spaltenverschlüsselung und Maskierung
  • Detail-, Delta- (CDC) und Summenberichte
  • Pivoting von Zeilen und Spalten
  • Slowly Changing Dimensions
  • Generierung von Testdaten

Sie können IRI-Jobs auch von der Shell aus (als Batch-Ausführung oder ETL-Tool-Befehl) über API oder Eclipse GUI aufrufen und Daten bei Bedarf über Dateien, Pipelines oder Prozeduren hin und her fließen lassen. In der GUI-Umgebung der IRI Workbench können Sie die einzelnen Job-Spezifikationen oder komplette ELT- oder ELT-Flüsse erstellen, die CoSort (und FACT) mit Ihren Quellen und Zielen verbinden.

Erwin (AnalytiX DS) und Meta Integration Model Bridge (MIMB) Software oder Dienste können auch Metadaten, die in gängigen ETL-Tools (wie Informatica’s.xml und DataStage.dsx Repositories) definiert sind in gleichwertige Voracity-Daten- (und/oder Job-) Spezifikationen konvertieren, wenn Sie diese Mappings in Voracity umplatzieren möchten um Geld und Zeit zu sparen. Diese automatische Metadatenreplikation bewahrt Ihre bestehenden Designinvestitionen, erleichtert die Schaffung von Arbeitsplätzen und reduziert die Migrationskosten.

Kontaktieren Sie uns für einen gezielten Benchmark von Ihrer benutzerdefinierten Umgebung!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ VLDB ❌ Viel schnellere Datenerfassung für Datenintegration, Datenmigration und Archivierung ❗

❌ VLDB ❌ Viel schnellere Datenerfassung für Datenintegration, Datenmigration und Archivierung ❗

7x schnellere Datenerfassung: IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen.

IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten Bulkladungen von IRI CoSort ist der schnellste und kostengünstigste Weg, um Big Data ETL– und Offline-Reorgs durchzuführen.

IRI FACT ist der schnellste Weg für:

  • Entladen von sehr großen Datenbank-(VLDB)-Transaktions-(Fakten)-Tabellen
  • formatierte Flat-Files aus einer Tabelle erzeugen
  • Erstellen der Steuerdatei-Metadaten für Datenbank-Massenladeprogramme
  • Erstellen von IRI CoSort (oder Voracity ETL) Metadaten für Transformationen, Rollups, Delta-Berichte und Preload-Sortierungen
  • Erstellen von IRI NextForm-Metadaten zur Konvertierung der exportierten Daten und Dateitypen
  • Erstellung von IRI FieldShield-Metadaten zur Spaltenverschlüsselung, De-Identifizierung und Maskierung von Spalten
  • Erstellen von IRI RowGen-Metadaten zur Generierung sicherer Testdaten im Tabellenformat

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Datenverarbeitung ❌ Die bewährte, erschwingliche und schnelle Datenmanagement-Plattform für Big Data ❗

❌ Datenverarbeitung ❌ Die bewährte, erschwingliche und schnelle Datenmanagement-Plattform für Big Data ❗

Seit 1978 weltweite Referenzen für Datenmanagement und Sicherheit! IRI Voracity® manipuliert und verwaltet eine riesige Bandbreite und Menge an Daten über eine einzige, auf Eclipse™ basierende Oberfläche. Nutzen Sie Voracity, um schnell und zuverlässig Daten lokal vor Ort oder in der Cloud zu entdecken, zu integrieren, zu migrieren, zu verwalten und zu analysieren und dabei alle "V"-Herausforderungen von Big Data zu bewältigen:

VOLUME: Daten aus internen und öffentlichen Quellen wachsen exponentiell. Voracitys langjährig bewährte IRI CoSort-Engine führt und kombiniert Multi-Gigabyte-Transformationen in Sekundenschnelle und übertrifft damit die Geschwindigkeit herkömmlicher Sortier-, BI-, DB- und ETL-Tools um das 2-20fache.

VIELSEITIGKEIT: Die Vielzahl an strukturierten und unstrukturierten Quellen übersteigt die Möglichkeiten der meisten Tools. Voracity unterstützt mehr als 150 Datenquellen und -ziele, darunter Legacy- und EDI-Dateien, multiple und multi-byte Daten und endianische Typen, jedes RDBMS, sowie viele Big Data und Cloud/SaaS-Quellen.

VELOCITY: CDR-, IOT-, Sozial- und Transaktionsdaten kommen schnell und in unterschiedlichen Intervallen. CoSort oder nahtlos integrierte Hadoop-Engines in Voracity skalieren Workloads über Commodity-Hardware. Voracity kann auch Echtzeit-, Fast-Echtzeit- oder Streaming-DB-, Datei- oder Nachrichtendaten über Kafka oder MQTT, Pipes oder Prozeduren, Spark oder Storm und IRI Ripcurrent verarbeiten.

VERACITY: Daten von geringer Qualität mindern den Wert von Analysen und Tests, und personenbezogene Daten stellen ein Risiko für Sie dar. Voracitys Validierungs-, Scrubbing-, Anreicherungs- und Vereinheitlichungsfunktionen verbessern alle die Datenqualität. Die eingebetteten Funktionen zur Datenklassifizierung, -erkennung und -maskierung sowie die Unterteilung von Datenbanken und die realistische Synthese von Testdaten helfen Ihnen, Datenschutzverletzungen zu verhindern, DevOps zu verbessern und Datenschutzgesetze einzuhalten.

VALUE: Wenn Sie Ihre Informations- und Entscheidungsbedürfnisse auf der Basis von Daten (neu) überdenken, sollten Sie den Wert einer echten Analyseplattform für die Produktion in Betracht ziehen, die Datenaufbereitung mit Analyse und Visualisierung verbindet. Oder kombinieren Sie Voracity mit DataSwitch für Self-Service-Datenvorbereitung und kodierungsfreies Data Engineering, um die Demokratisierung von Daten zu erleichtern.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Testautomatisierung ❌ Den Testentwurf automatisieren für eine effizientere Testautomatisierung ❗

❌ Testautomatisierung ❌ Den Testentwurf automatisieren für eine effizientere Testautomatisierung ❗

Testautomatisierung: Automatisierung des Testentwurfs!

Dies ist der erste in einer Reihe von Blog-Beiträgen, die die verschiedenen Datenmanagement-Funktionen von IRI Voracity in einer Reihe von Kontexten und Anwendungsfällen hervorheben werden. Auf höchster Ebene ist Voracity eine Datenmanagement-Plattform, die eine breite Palette von datenorientierten Funktionen bietet und auf die über die IRI Workbench zugegriffen wird, eine assistentengesteuerte Benutzeroberfläche, die durch grafische Modellierung unterstützt wird. Zum Auftakt dieser Serie beginnen wir mit einem Thema, das uns sehr am Herzen liegt: die Automatisierung des Testentwurfs.

Für diejenigen unter Ihnen, die es noch nicht wissen: Die Automatisierung des Testentwurfs ist philosophisch gesehen eine Weiterentwicklung der Testautomatisierung, die den Einsatz der Automatisierung als Ganzes und während des gesamten Testprozesses betont, nicht nur als Teil der Testausführung. Die Vorteile liegen auf der Hand und bestehen hauptsächlich darin, dass sich Ihre Tests viel einfacher und schneller entwerfen, erstellen und ausführen lassen. Dies wiederum ermöglicht es Ihnen, gründlicher zu testen, die Testabdeckung zu maximieren und so weiter. 

Das Problem ist, dass Sie wirklich jeden Teil Ihrer Testprozesse automatisieren müssen, um diese Art von Vorteilen zu erzielen: Ausführung, Anforderungen, Testentwurf, Testdaten. Ein ausgeklügelter Testprozess, der vom Testentwurf bis zur Testdurchführung alles automatisiert, hat wenig Sinn, wenn Sie die Testdaten jedes Mal manuell generieren und einspeisen müssen, wenn Sie den Test durchführen. 

Jedes schwache Glied in der Kette birgt die Gefahr eines Engpasses, und wenn das passiert, wird Ihr gesamter Testprozess mit beunruhigender Regelmäßigkeit zum Stillstand kommen. "Eine Kette ist nur so stark wie ihr schwächstes Glied", sagt ein Sprichwort: Blitzschneller, automatisierter Testentwurf und -durchführung bedeuten so gut wie nichts, wenn Ihre Testdatenlieferungsprozesse zu langsam sind. 

In der Tat sind Testdaten berüchtigt dafür, diese Art von Engpässen zu verursachen. In der Vergangenheit wurden sie durch lange Lieferzeiten geplagt, insbesondere wenn es sich um sensible Daten handelt. Und wie Sie vielleicht schon erraten haben, ist dies der Hauptbereich, in dem relevante Werkzeuge in Voracity die Testentwurfsautomatisierung unterstützen können. Die robuste, automatisierte Testdatenverwaltung und -bereitstellung ermöglicht es Ihnen, den größten Nutzen aus Ihrer Testentwurfsautomatisierung zu ziehen, indem sie den Engpass bei den Testdaten zumindest deutlich verringert, wenn nicht sogar ganz beseitigt. 

IRI Voracity bietet alle Fähigkeiten zur Datenerkennung, Maskierung und Subsetting, die Sie normalerweise von einer Testdatenmanagement-Lösung erwarten. Es bietet auch die Möglichkeit, synthetische Daten zu generieren, insbesondere die Erstellung von repräsentativen Datensätzen durch die Analyse Ihrer realen Daten. Allein diese Funktionen reichen aus, um die Erstellung und Bereitstellung von Testdatensätzen erheblich zu beschleunigen. 

Darüber hinaus können diese Daten-Subsetting-, Maskierungs- und Synthese-Jobs direkt aus den Prozessen Ihrer CI/CD-Plattform heraus aufgerufen werden, entweder vor Ort oder in der Cloud. Das bedeutet, dass sie in GitLab, Amazon CodePipeline, Azure DevOps und Jenkins-Workflows integriert werden können. All dies spricht für reale, laufende Beispiele des Produkts im Einsatz, die wiederum als anschauliche Beispiele für die Verwendung von Voracity zur Automatisierung der Produktion und des Verbrauchs von Testdaten durch diese Pipelines dienen.

Darüber hinaus ist IRI eine Partnerschaft mit Windocks eingegangen, einem auf Datenbankvirtualisierung spezialisierten Unternehmen. Diese Voracity-Windocks-Kombination liefert Ihre Testdaten in On-Demand-, Self-Service-, containerisierten und virtualisierten Repositories. 

Im Wesentlichen arbeiten die Werkzeuge gleichzeitig und gemeinsam, um bereinigte Klone Ihrer Produktionsdaten zu erstellen, die über Self-Service bereitgestellt und dann extrem schnell abgerufen und genutzt werden können. Im Rahmen der Testdesign-Automatisierung können Sie diese Lösung dank der Unterstützung von RESTful-API-Aufrufen direkt in Ihre Testpipelines einbinden und somit von ähnlichen Geschwindigkeiten sowie einer automatisierten Bereitstellung profitieren. 

Fazit: Kurz gesagt, wenn Sie Ihre Tests im Allgemeinen automatisieren wollen, müssen Sie auch Ihre Testdatenverwaltung automatisieren. IRI erfüllt diese Aufgabe sehr gut, vor allem, wenn seine Testdatenerstellungsprozesse in kundenspezifische oder Standardlösungen für die Bereitstellung von Testdaten integriert werden. 

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Datenbankreplikation ❌ In Echtzeit Quelldatenbank(en) überwachen mit automatischer Datenreplikation in Zielsilo(s) ❗

❌ Datenbankreplikation ❌ In Echtzeit Quelldatenbank(en) überwachen mit automatischer Datenreplikation in Zielsilo(s) ❗

Was ist IRI Ripcurrent? Ripcurrent ist der Name einer von IRI entwickelten Java-Anwendung, die die eingebettete Debezium-Engine und die Streaming-Funktion des SortCL-Programms von IRI CoSort kombiniert, um in Echtzeit auf Datenbank-Änderungsereignisse zu reagieren, indem Daten an nachgelagerte Ziele repliziert werden, optional mit Transformationsregeln (z. B. PII-Maskierung), die konsequent auf der Grundlage der Klassifizierung der Daten angewendet werden.

Ripcurrent lässt sich mit Debezium integrieren, um Änderungen von verschiedenen DBs zu verfolgen. Ripcurrent bündelt Debezium-Konnektoren für MySQL, SQL Server, PostgreSQL und Oracle. Debezium unterstützt MongoDB, DB2 und Vitess, aber es ist mehr Arbeit erforderlich, um Ripcurrent für diese zu unterstützen.

Ripcurrent veranlasst SortCL automatisch, auf eingefügte, aktualisierte oder gelöschte Datenzeilen zu reagieren. Dadurch kann eine Reihe gleichwertiger Ziele (wahrscheinlich in einer niedrigeren Umgebung) mit den Quelltabellen synchronisiert und optional konsistente Transformationen auf Feldebene (wie Maskierung) auf die Daten angewendet werden.

Ripcurrent ist ein nahtloses Analogon zu diesem Ansatz für die Verarbeitung von Änderungen an Flat Files in Echtzeit und eine Alternative zu diesem Ansatz, um geänderte DB-Daten inkrementell zu verschieben und zu maskieren.

IRI Ripcurrent kann Änderungen bei jedem Einfügen, Aktualisieren oder Löschen von Zeilen in allen Tabellen einer Datenbank erkennen, mit Ausnahme von Tabellen oder Schemata, die aufgrund der an Ripcurrent übergebenen Konfigurationseigenschaften herausgefiltert wurden.

Zusätzlich werden auch andere Datenbank-Änderungsereignisse, wie z.B. die Änderung der Struktur einer Tabelle, von IRI Ripcurrent überwacht und aufgezeichnet. Nur Datenbank-Änderungsereignisse, die eine Änderung, Hinzufügung oder Löschung von Daten in einer Tabelle beinhalten, veranlassen IRI Ripcurrent dazu, auf dieses Ereignis zu reagieren.

Warum IRI Ripcurrent verwenden? Die Möglichkeit, Daten in Datenbank-Tabellen in andere Datenbank-Tabellen oder Dateien zu replizieren und/oder zu maskieren, wird von IRI-Software seit langem unterstützt. Dies geschieht in der Regel über IRI Workbench, die grafische Benutzeroberfläche für alle IRI-Produkte zur Verwaltung von (strukturierten) Daten.

Der "Schema Data Class Job Wizard" in IRI Workbench – bei dem Daten in einem Schema gesucht und in Datenklassen gruppiert werden – kann mit Maskierungsregeln kombiniert werden. Aus dem Assistenten wird eine Batch-Datei oder ein Shell-Skript generiert, um in FieldShield-Skripten definierte Massenmaskierungsoperationen auszuführen.

Wenn jedoch Änderungen an der Datenbank vorgenommen werden, gibt es keine einfache Möglichkeit, die Änderungen zu replizieren, ohne das Batch-/Shell-Skript erneut auszuführen. Und wenn der Datenbank zusätzliche Tabellen oder neue Spalten zu bestehenden Tabellen hinzugefügt wurden, werden diese ignoriert, es sei denn, der Assistent wird erneut ausgeführt, um ein neues Batch-/Shell-Skript und die entsprechenden IRI FieldShield-Skripts für den Vorgang zu generieren.

Die Notwendigkeit, mit Datenbank-Änderungen synchron zu bleiben, ist die Motivation für die Entwicklung von IRI Ripcurrent. Für diejenigen, die das/die nachgelagerte(n) Ziel(e) mit einer Quell-Datenbank synchron halten wollen, z. B. zu Testzwecken, bietet Ripcurrent die Funktionalität eines Datenbank-Maskierungsauftrags der Datenklasse, jedoch auf dynamische Weise.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Dark Data finden ❌ Gezielter Datenschutz in unstrukturierten Daten wie Microsoft Office-Dokumenten, PDF, Bildern und Textdateien ❗

❌ Dark Data finden ❌ Gezielter Datenschutz in unstrukturierten Daten wie Microsoft Office-Dokumenten, PDF, Bildern und Textdateien ❗

Tensorflow- und PyTorch-NER-Modelle: Die Erkennung von benannten Entitäten (Named Entity Recognition, NER) ist eine Art des maschinellen Lernens (ML), um benannte Entitäten im grammatikalischen Kontext von unstrukturiertem Text (Dokumenten) zu erkennen. NER wird benötigt, um Dinge wie Personennamen und Straßenadressen zu finden, da diese weder Mustern entsprechen, noch wahrscheinlich eine Übereinstimmung mit Werten in einer definierten Liste (Lookup Set) haben.

Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen sensiblen Daten das Risiko, dass diese Person zum Ziel von Cyberkriminellen wird, wenn der Datensatz angegriffen wird.

IRI DarkShield unterstützt bereits seit Jahren den Import und das weitere Training von OpenNLP-Modellen zum Auffinden und Maskieren von benannten Entitäten. Neu in der DarkShield RPC API 2022 ist jedoch die Unterstützung für moderne Tensorflow und PyTorch NER Modelle. Dies ist eine bedeutende Verbesserung gegenüber dem ersten Satz schneller, aber weniger NER-Modelle auf Basis von OpenNLP.

NER-Modelle, einschließlich solcher aus Quellen wie dem Hugging Face Model Hub. Allein von diesem Hub sind NER-Modelle in über 100 Sprachen verfügbar. Viele dieser Modelle nutzen die Vorteile der relativ neuen Transformer-Architektur für maschinelles Lernen, um die Trainingszeiten zu verkürzen und die Genauigkeit zu verbessern.

Um den Transformers Search Matcher mit der DarkShield-API zu verwenden, empfehlen wir ein System mit einem Grafikprozessor, um die Inferenz der meisten Modelle zu beschleunigen (in der Regel um mindestens das 20-fache). Die DarkShield-API lädt beim Start des Servers automatisch die für den Transformers-Matcher erforderlichen Abhängigkeiten herunter.

Modelle werden entweder als lokales Verzeichnis oder aus dem Hugging Face Model Hub angegeben. Bei direkter Angabe aus dem Hugging Face Model Hub sollte das Python-Skript model_util.py aus dem Ordner plankton/utils vorher ausgeführt werden, um das Modell herunterzuladen. Diesem Skript können die Argumente des Modells und des Tokenizer-Namens (oft derselbe wie der Modellname) übergeben werden.

Wir werden die Erkennung von benannten Entitäten in englischen, türkischen und japanischen Texten anhand von drei verschiedenen NER-Modellen demonstrieren, die alle im Hugging Face Model Hub verfügbar sind. Hier finden Sie den detaillierten technischen Blog-Artikel!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Datenschutz in Excel ❌ Individuelle oder globale Funktionen zur Datenmaskierung in XLS- und XLSX-Dateien ❗

❌ Datenschutz in Excel ❌ Individuelle oder globale Funktionen zur Datenmaskierung in XLS- und XLSX-Dateien ❗

 

Welches ist das beste Tool, um sensible Daten in Excel zu schützen?

Die auch einzeln verfügbaren drei Produkte der IRI Data Protector Suite haben gemeinsame Suchmethoden (wie Muster- oder Wörterbuchabgleiche) und individuell oder global anwendbare Datenmaskierungsfunktionen (wie Verschlüsselung, Redigierung, Hashing und Pseudonymisierung). Alle drei können daher identische und potenziell austauschbare Chiffretexte erzeugen, um Determinismus und Datenintegrität zu wahren. Sie sind auch alle unterstützte Komponenten der IRI Voracity Datenmanagement-Plattform:

  • IRI FieldShield wurde entwickelt, um strukturierte Datenbank- und Flat-File-Daten zu klassifizieren, zu suchen und zu maskieren. FieldShield verwendet das CoSort SortCL-Programm zur Datendefinition und -manipulation, um Quell- und Ziellayouts sowie alle Mapping-/Maskierungstransformationen zu definieren. SortCL verwendet 4GL-Job-Skripte, die in der Regel in der auf Eclipse basierenden IRI Workbench IDE erstellt und verwaltet werden
  • IRI DarkShield wurde in erster Linie für das Auffinden und Maskieren von Daten in halbstrukturierten und unstrukturierten Text- und EDI-Dateien, RDB C/BLOB-Spalten, NoSQL-DB-Sammlungen, Bildern und Dokumenten in PDF- und MS-Office-Formaten entwickelt – einschließlich XLS- und XLSX-kompatibler Dateien, die sogar PII in Diagrammen und Bildern in den Tabellen enthalten können
  • IRI CellShield wurde speziell für das Auffinden und Maskieren von Daten in Tabellenkalkulationen entwickelt und ist das einzige "Shield"-Produkt von IRI, das ausschließlich in der Excel-Umgebung eingesetzt werden kann. CellShield ist als kostengünstige Personal Edition (PE) oder als professionelle Enterprise Edition (EE) mit mehreren Tabellenblättern erhältlich. CellShield PE ist nützlich für die manuelle Suche und Maskierung von PII auf einem einzelnen Blatt. Es bietet eine Point-and-Click-Schnittstelle zu denselben Verschlüsselungs-, Schwärzungs- und Hashing-Funktionen, die auch von den anderen IRI Shield-Produkten unterstützt werden, mit Ausnahme der Pseudonymisierung, die zufällig und nicht deterministisch ist

Jedes dieser Tools kann auch persönlich identifizierbare/geschützte Gesundheitsinformationen (PII/PHI) und andere sensible Daten in MS Excel-Tabellen finden und maskieren. Die Tools unterscheiden sich jedoch in der Excel-Bedienung und der Job-Konfiguration, so dass es wichtig ist, zu wissen, welche(s) Tool(s) in welcher Situation verwendet werden soll(en).

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ Datensicherheit in der Cloud ❌ Reversible Datenmaskierung in semi- und unstrukturierten Dark Data Dateien in S3, GCP und Azure BLOB ❗

❌ Datensicherheit in der Cloud ❌ Reversible Datenmaskierung in semi- und unstrukturierten Dark Data Dateien in S3, GCP und Azure BLOB ❗

IRI DarkShield ist ein Datenmaskierungswerkzeug zum Auffinden und De-Identifizieren sensibler Daten in semi- und unstrukturierten Dateien und Datenbanken. DarkShield ist eines der drei zentralen Datenmaskierungsprodukte der IRI Data Protector Suite, die grafische Datenklassifizierungs-, Such- und Maskierungsjob-Designmodelle in der IRI Workbench IDE, die auf Eclipse basiert, nutzen können.

Es werden zwei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen zur Verfügung gestellt: die "Base" DarkShield API und die DarkShield-Files API. Um sensible Daten in einer Vielzahl von Quellen zu finden und zu schützen, verwenden die DarkShield-APIs spezifizierte Suchabgleiche und Maskierungsregeln, die Geschäftsregeln folgen. Weitere Informationen zur Erstellung von Suchabgleichern und Maskierungsregeln finden Sie in diesem Artikel.

Die DarkShield-Basis-API wird für die Suche und Maskierung von unstrukturiertem Text außerhalb des Dateikontextes verwendet. Alternativ dazu bietet die DarkShield-Files-API die Möglichkeit, Dateien zu durchsuchen und zu maskieren. Mit Hilfe der DarkShield-Files API können semi- und unstrukturierte Daten wie einfache Textdateien, csv/tsv, Word-Dokumente, Excel, pdf, json, xml, parquet, jpeg und png Bilder durchsucht und maskiert werden.

Wir bieten Lösungen mit Datenmaskierungsfunktionen für über 150 semi/un/strukturierten Big (auch Dark) Data Datenquellen: Ausführliche Details finden Sie hier!

Amazon S3, Google Cloud, MS Azure: Auf dem Cloud-Markt für die Speicherung von Dateien, die üblicherweise als BLOBs (Binary Large Object Blocks) bezeichnet werden, gibt es mehrere Wettbewerber. Der Schwerpunkt dieses Artikels liegt auf den drei bekanntesten Anbietern von Cloud-Speicherdiensten: Amazon S3, Google Cloud Storage und Microsoft Azure Storage, und wie die DarkShield-Files API mit diesen öffentlichen Silos genutzt werden kann.

Zuvor konnte IRI DarkShield nur PII in lokalen Dateisystemen suchen und maskieren. Mit der neuesten Version können DarkShield-Benutzer nun jedoch eine weitere wichtige, zielgerichtete Ebene des Datenschutzes zu den Standard-Sicherheitsmaßnahmen hinzufügen, die von Cloud-Speicheranbietern bereitgestellt werden. Dieser Artikel demonstriert, wie die DarkShield-Files-API auf BLOBs in der Cloud zugreifen, sie durchsuchen und PII maskieren kann.

Amazon S3, Google Cloud Storage und Azure BLOB Storage bieten alle Bibliotheken an, mit denen Anwendungscode verwendet werden kann, um von außerhalb der Konsole und der Befehlszeile des Cloud-Speicherdienstes auf Inhalte im Cloud-Speicher zuzugreifen. Für diese Bibliotheken gibt es auch eine ausführliche Dokumentation.

Die DarkShield-File API-Demos, die derzeit auf GitHub hochgeladen werden, sind in der Sprache Python geschrieben; als solche verwenden diese Projekte Client-Bibliotheken für Python. Es können jedoch auch andere aufrufende Sprachen, wie Java, verwendet werden.

Diese aufrufenden Programme oder der "Glue Code" für die API ist der Ort, an dem die Cloud-Speicher- (oder andere spezialisierte Eingabe- und/oder) Verfahren definiert werden können. Siehe den Beispielcode unten für die IRI DarkShield API:

  1. Amazon S3-Demo
  2. Google Cloud-Speicher-Demo
  3. Microsoft Azure BLOB-Speicher-Demo

Fazit: Dank der Flexibilität der kodierbaren Lösungen ist die DarkShield-Files-API hinsichtlich der Datenquellen, auf die sie zugreifen kann, nicht eingeschränkt. Die API ermöglicht eine kritische und hochgranulare Schutzebene für Daten in der Cloud. Durch das Durchsuchen und Maskieren sensibler Daten, die sich in BLOBs in der Cloud befinden, kann die Datensicherheit selbst im Falle kompromittierter Konten oder eines unzulässigen Zugriffs auf den Speicher in der Cloud aufrechterhalten werden.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

❌ TDM Tool ❌ Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen❗

❌ TDM Tool ❌ Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen❗

Sicheres Testdatenmanagement: Daten, die durch Anwendungsentwicklung, maschinelles Lernen und Analysepipelines fließen, müssen mehrere Anforderungen erfüllen, die allen Bereichen gemeinsam sind, darunter:

  1. Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln
  2. Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen
  3. Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise)
  4. Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit

Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive. IRI, auch bekannt als "The CoSort Company", bietet ein vielschichtiges Testdatenmanagement-Framework, um diese Anforderungen zu erfüllen. Die Rolle von IRI in diesem weiten Bereich begann mit der Notwendigkeit, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs- und Formatierungsaktivitäten zu testen, die im IRI CoSort-Produkt zur Datenmanipulation unterstützt werden.

Unter Verwendung der zentralen "SortCL"-Datendefinitionssprache und des Verarbeitungsprogramms von CoSort änderte IRI die Eingabephase seines ETL-Prozesses vom Lesen von Dateien zum Erstellen von Dateien, entweder durch die Generierung von Zufallswerten für bestimmte Datentypen und -bereiche und/oder die zufällige Auswahl von Daten aus externen Beständen.

Sichere und schnelle Lösung für TDM: 2004 brachte IRI das RowGen-Spin-Off-Produkt von SortCL auf den Markt und erweiterte es später, um vorsortierte, strukturell und referenziell korrekte RDB-Schemata nur aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann jetzt auch: neue Datenformate und rechnerisch gültige CCNs und NIDs generieren sowie Sätze für die Behandlung von All-Pairs; Nullen und realistische Wertverteilungen erstellen; in ETL- und CI/CD-Pipelines arbeiten; und Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDF- und Word-Dokumenten und Bildern mit eingebetteten Testdaten auffüllen, wenn sie mit der IRI DarkShield-Such-/Masken-API verwendet werden.

Testdaten für DevOps (TestOps): DevOps rationalisiert die Abläufe im Softwareentwicklungszyklus (SDLC), um die Softwarebereitstellung zu beschleunigen. Viele Entwickler nutzen CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Testdaten, die mit den Datenmaskierungs-, Subsetting- oder Synthesetools von IRI Voracity erstellt wurden, können von Jenkins, Amazon CodePipeline, Azure DevOps, GitLab usw. ausgeführt und genutzt werden, um die Funktionalität und Kapazität der Software bei jedem Build zu bewerten.

Die aufkommende TestOps-Disziplin verwaltet die operativen Aspekte des Testens im SDLC, wozu das Sammeln, Vorbereiten und Sichern von Expositionsdaten, Produktionssystemen und Testfallquellen gehört … um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren (aber auch um die Softwarequalität zu gewährleisten). Intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielt daher eine Schlüsselrolle für TestOps und verbessert gleichzeitig die DevOps-QA und mildert Datenschutzrisiken.

Testdaten für MLOps: Reichhaltige, anonyme Daten helfen auch beim Testen von maschinellen Lernvorgängen (MLOps), zu denen das Speichern, Laden und Transformieren von Daten sowie das Testen von Modellen und die Datenvalidierung gehören. Für jede dieser Phasen kann zum Beispiel das IRI RowGen Produkt in Voracity schnell riesige, realistische Dateien in Bulk-Load (z.B. CSV) und ML-Modellformaten wie PMML/XML und PFA/JSON synthetisieren.

Alternativ können die FieldShield oder DarkShield Datenerkennungs- und Maskierungswerkzeuge in Voracity Datenbanksammlungen, Dateien oder Datenströme, die beim maschinellen Lernen verwendet werden, für die sichere Verwendung beim Testen durchsuchen und säubern.

Testdaten für DataOps: Die Implementierung eines DataOps-Testansatzes für ETL-Projekte bedeutet die Automatisierung von Tests für Quell- und Zieldatensätze und die Sicherstellung, dass diese Sätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und die Automatisierung von Analysetests auf verschiedene Weise.

Eine Möglichkeit besteht in der Kombination von Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese. Einzigartig an Voracity ist die Back-End-Metadaten- und Engine-Unterstützung für eine solche Aufgabenkonsolidierung. In einem einzigen E/A-Durchlauf durch das oben erwähnte SortCL-Datenverarbeitungsprogramm können Voracity-Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Umgekehrt kann das Programm eine oder mehrere Produktionsquellen lesen, sie integrieren und transformieren sowie Daten bereinigen, maskieren und in die gewünschten Ziele umformatieren.

Eine weitere Möglichkeit ist die Datenintegrations-Vorschau-Funktion für Voracity ETL-Architekten, die einen Mapping-Job mit automatisch generierten Testdaten durchführt. Diese Option erstellt Ziel-Subsets mit realistischen Testdaten, so dass Architekten ihre Transformationslogik und ihr Output-Layout validieren können.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über die JET-Software GmbH

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: 06073-711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.