Autor: Firma JET-Software
❌ Testdatenmanagement ❌ Sichere, realistische und referenziell korrekte Testdaten für Prototypen, DevOps, Benchmarks, etc.❗

❌ Testdatenmanagement ❌ Sichere, realistische und referenziell korrekte Testdaten für Prototypen, DevOps, Benchmarks, etc.❗

By |
Intelligente Testdaten erstellen und verwalten: Realistische Daten in realen Formaten!

Brauchen Sie einen einfacheren Weg für:

  • Erstellen von Test-DBs mit referentieller Integrität
  • Simulation und Freigabe von Datei- und Berichtslayouts
  • Entwicklung und Stresstest von Anwendungen
  • Benchmarking neuer Hard- und Software
  • Durchführung von Data Warehouse ETL-Tests

 mit Ihren Datenmodellen und Metadaten, aber nicht mit Produktionsdaten?

Tabellenansichten, Indexreihenfolgen, Schlüsselbeziehungen sowie Datei- und Berichtsinhalte müssen die Realität widerspiegeln, um beim Testen nützlich zu sein. Das Erzeugen realistischer Werte und Formate mit sicheren Daten in idealen Bereichen – und das Befüllen großer Ziele – kann mit anderen Tools oder Programmen sehr lange dauern.

Mit dem IRI RowGen-Produkt oder der IRI Voracity-Plattform können Sie mehrere Testdatenziele für Testdatenbanklasten, Flat-File-Strukturen und benutzerdefinierte Berichtsformate von Grund auf neu generieren – alles ohne Zugriff auf echte Daten. Oder wenn Sie reale Daten für Produktions-, On-Demand- oder virtualisierte Testszenarien verwenden und anonymisieren, unterteilen oder anderweitig maskieren möchten, können Sie das in IRI Voracity oder auch mit dem IRI FieldSield-Produkt tun!

Es können 11 verschiedene Arten von synthetischen Testdaten generiert werden, hier sind die technischen Details zu den verschiedenen Generatoren wie zum Datumsbereich-Generator, Lineare Verteilung, Normalverteilung, Gewichtete Verteilung von Elementen, E-Mail-Generator, Nationale ID-Funktionen, Prozentsatz der Nullen Wert, Zufallswertgenerierung, Zeilen-ID-Wert, Dateiauswahl setzen, String-Generierungsfunktionen und Tabellen-Lookup.

Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in Datenbanken, Flat-File, semi-strukturierten Dateien und formatierten Berichtszielen:

  1. Produktionsdatenmaskierung/Vertauschung
  2. Datenbank-Subsetting & Maskierung
  3. Synthetische Testdatenerstellung (über Zufallsgenerierung/-auswahl)
  4. Eine Kombination der obigen Techniken

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ PII in Cloud-Datenbank finden/schützen ❌ Automatische Datenmaskierung in Google Bigtable, Azure Cosmos DB und Amazon DynamoDB ❗

❌ PII in Cloud-Datenbank finden/schützen ❌ Automatische Datenmaskierung in Google Bigtable, Azure Cosmos DB und Amazon DynamoDB ❗

By |
PII in Google BigTable, Azure Cosmos DB und Amazon DynamoDB finden und maskieren!

Dieser Artikel behandelt die Verwendung der IRI DarkShield API zum automatischen Auffinden und De-Identifizieren von PII oder anderen sensiblen Daten in den drei großen NoSQL-Datenbanken der Cloud-Anbieter – Google Bigtable, MS CosmosDB in Azure und Amazon DynamoDB. Frühere Artikel in diesem Blog befassen sich damit, wie DarkShield-Assistenten in IRI Workbench Daten in anderen beliebten NoSQL-DBs finden und maskieren, darunter Cassandra, Elasticsearch und MongoDB. Ein weiterer Artikel behandelt CouchDB, Redis und Solr.

Es gibt eine lange Liste von Endpunkt-Sicherheitspraktiken für NoSQL-DBs. Aber selbst damit gelingt es Angreifern immer noch, Löcher in diese Verteidigungsmaßnahmen zu schlagen. Unternehmen müssen daher das Sicherheitsprofil dieser Sammlungen mit einer weiteren Schutzebene ausbauen.

An dieser Stelle kommt IRI DarkShield ins Spiel. Als datenzentrierte oder "Startpunkt-Sicherheitslösung" bietet DarkShield Masking eine weitere wichtige Ebene des Datenschutzes zusätzlich zu den Endpunktmaßnahmen, die von Anbietern von Cloud-Datenbankdiensten eingesetzt werden.

Über IRI DarkShield: IRI DarkShield ist ein Datenmaskierungstool zum Auffinden und De-Identifizieren sensibler Daten in halbstrukturierten und unstrukturierten Dateien und Datenbanken. DarkShield ist eines der drei zentralen Datenmaskierungsprodukte der IRI Data Protector Suite, die grafische Datenklassifizierungs-, Such- und Maskierungsjob-Designmodelle in der IRI Workbench IDE, die auf Eclipse aufbaut, nutzen.

Ab DarkShield Version 4 werden jedoch auch zwei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen zur Verfügung gestellt: die "Base" DarkShield API und die DarkShield-Files API. Die DarkShield-APIs erweitern die Nutzung der DarkShield-Funktionalität außerhalb von Workbench und nutzen ein Plugin auf der IRI-Web-Services-Plattform namens Plankton.

Um sensible Daten in einer Vielzahl von Quellen zu finden und zu schützen, verwenden die DarkShield-APIs spezifizierte Suchabgleiche und Maskierungsregeln, die Geschäftsregeln folgen. Weitere Informationen zur Erstellung von Suchabgleichern und Maskierungsregeln finden Sie in diesem Artikel.

Die DarkShield-Basis-API wird für die Suche und Maskierung von unstrukturiertem Text außerhalb des Dateikontextes verwendet. Alternativ dazu bietet die DarkShield-Files-API die Möglichkeit, PII in Dateien zu suchen und zu maskieren.

Mit Hilfe der DarkShield-Files-API können halbstrukturierte und unstrukturierte Daten wie einfache Textdateien, csv/tsv, Word-Dokumente, Excel, pdf, json, xml, parquet, jpeg und png-Bilder durchsucht und maskiert werden.

AWS DynamoDB, Azure CosmosDB, Google BigTable und die DarkShield-API: Die Unternehmen, die die Cloud-Dienste für NoSQL-Datenbanken beherrschen, sind Amazon AWS mit DynamoDB, Azure CosmosDB von Microsoft und Cloud BigTable von Google. Der Schwerpunkt dieses Artikels liegt auf diesen drei bekannten Dienstanbietern und darauf, wie die DarkShield-Files-API zur Suche und Maskierung innerhalb ihrer NoSQL-Datenbanken in der Cloud genutzt werden kann.

Für diejenigen, die mit der programmatischen Verbindung und Abfrage von NoSQL-Datenbanken nicht vertraut sind, besteht kein Grund zur Sorge. AWS, Azure und Google Cloud sind nicht nur dafür bekannt, einen qualitativ hochwertigen Service zu bieten, sondern stellen auch umfangreiche Dokumentationen zum Zugriff auf ihre Datenbankinhalte mithilfe von Software Development Toolkits (SDK) bereit, die in verschiedenen Programmiersprachen unterstützt werden.

Die DarkShield-File API-Demos, die derzeit auf GitHub hochgeladen werden, sind in der Sprache Python geschrieben; daher verwenden diese Projekte Client-Bibliotheken für Python. Es können jedoch auch andere aufrufende Sprachen, wie Java, verwendet werden.

Diese aufrufenden Programme, oder "Glue Code" für die API, sind der Ort, an dem diese Prozeduren definiert werden können. Nachfolgend finden Sie die Links zu den DarkShield-Files-API-Demos:

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenmanagement-Plattform ❌ Kombination von Datenermittlung, Datenintegration, Datenmigration, Data Governance und Datenanalyse ❗

❌ Datenmanagement-Plattform ❌ Kombination von Datenermittlung, Datenintegration, Datenmigration, Data Governance und Datenanalyse ❗

By |
IRI Voracity mit neuem Data Vault Generator: Die Datenmanagement-Plattform Voracity von IRI wurde 2018 erstmals als DBTA Trend Setting Product ausgezeichnet. Voracity kombiniert Datenermittlung, Integration, Migration, Governance und Analysefunktionen, die sich durch Upgrades der Back-End-Datenverarbeitungs-Engine IRI CoSort 10.5 und der Front-End-IRI Workbench IDE auf Basis von Eclipse weiterentwickeln.

Eine der neuesten Innovationen in Voracity ist ein Multioptions-Assistent zum Generieren, Profilieren, Migrieren zu und Prototypisieren von Data Vault-Modellen. Dan Linstedt erfand den Data Vault in den 1990er Jahren als eine modernere, agilere Methode, um skalierbare Data Warehouses zu entwerfen und zu erstellen und um Enterprise Analytics Services bereitzustellen.

Der heutige Data Vault 2.0 (DV2) umfasst eine Referenzarchitektur, Entwicklungs- und Betriebsprozesse, agile Projektabwicklung, Automatisierung und kontinuierliche Verbesserung. Voracity enthält jetzt einen IRI-Workbench-Assistenten für DV2-Anwender zur Erstellung:

1) ein neues Data Definition Language (DDL) Repository und Entity Relationship Diagram (ERD) für DV2-Ausgaben;
2) die DDL für DV2-Tabellen, die noch nicht existieren, die Voracity Job-Skripte zum Laden von Daten aus bestehenden RDB-Quelltabellen in die neuen DV2-Zieltabellen und das ERD der Zieltabellen; oder,
3) die DDL für DV2-Tabellen, die nicht existieren, neue DV2-Tabellen, die mit zufällig (IRI RowGen) generierten Testdaten geladen werden, und ihr neues ERD.

Der Voracity-Generator respektiert die den DV2-Datenmodellen innewohnende Geschäftsschlüssel-Logik und richtet alle Hub-, Link- und Satellitentabellen ein. Mehr über diesen Assistenten und viele weitere Themen rund um Datenintegration und Governance erfahren Sie hier.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenschutz von PII in Bildern ❌ Vorverarbeitung von Bildern zur Verbesserung der OCR-Ergebnisse ❗

❌ Datenschutz von PII in Bildern ❌ Vorverarbeitung von Bildern zur Verbesserung der OCR-Ergebnisse ❗

By |
Vorverarbeitung von Bildern zur Verbesserung der OCR- und DarkShield-Ergebnisse: OCR-Software (Optical Character Recognition) ist eine Technologie zur Erkennung von Text in einem digitalen Bild. OCR wird von der IRI DarkShield-Software verwendet, um Text in eigenständigen oder eingebetteten Bildern während der PII-Suche und -Maskierungsvorgänge zu erkennen.

OCR hat jedoch ihre Grenzen: Um genaue Ergebnisse zu erzielen, muss das Bild vertikal ausgerichtet sein, die richtige Größe haben und so klar wie möglich sein. Nicht jedes Bild erfüllt diese Anforderungen! Wir müssen daher Methoden finden und anwenden, um diese Bilder durch Vorverarbeitung an unsere Bedürfnisse anzupassen. In diesem Artikel werden einige Vorverarbeitungsmethoden vorgestellt und erläutert, wie sie die Qualität der OCR-Ausgabe im Zusammenhang mit der DarkShield-Datenmaskierung verbessern können.

In dem Artikel werden 3 Vorverarbeitungsmethoden aufgezeigt: Bildskalierung, Binarisierung und Entzerrung. Diese auf GitHub verfügbare Demo demonstriert, wie die in diesem Artikel besprochenen Vorverarbeitungsmethoden mit der DarkShield-API für (Bild-)Dateien integriert werden können.

Das Demoprogramm erlaubt es, entweder ein einzelnes Bild oder einen Ordner mit Bildern für die Vorverarbeitung anzugeben. Jedes Bild wird zunächst vorverarbeitet, zur Suche und Maskierung an die DarkShield-Files-API gesendet und dann nachbearbeitet, um das Originalbild wiederherzustellen.

In solchen Fällen enthält das Bild immer noch alle Black Boxes, die von der DarkShield-Files-API platziert wurden, um sensible Daten zu maskieren. Beachten Sie, dass es bei Anwendung der adaptiven Binarisierung als eine der Vorverarbeitungsmethoden nicht möglich ist, die ursprüngliche Farbgebung des Bildes wiederherzustellen.

Die Bilder werden in einem Verzeichnis mit dem Namen masked gespeichert, das automatisch erstellt wird, wenn es beim Ausführen der Demo noch nicht existiert. Dem Programm können zusätzliche Argumente angegeben werden, die bestimmen, ob eine Pipeline verwendet werden soll.

Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Dateiüberwachung ❌ Dynamisches Echtzeit Datenmanagement für Flat-Files ist jetzt möglich ❗

❌ Dateiüberwachung ❌ Dynamisches Echtzeit Datenmanagement für Flat-Files ist jetzt möglich ❗

By |
Automatisierung von Aufträgen durch Datei-Überwachung: Die manuelle Auslösung von SortCL-kompatiblen Jobs in IRI Voracity ETL-, CoSort Reporting-, FieldShield Maskierung- oder NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, nicht realistisch oder produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.

In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.

Anmerkung: Dieser Artikel ist technischer Natur und erfordert ein grundlegendes Verständnis von Ereignissen und Skriptsprachen. IRI arbeitet an einer analogen, protokollbasierten Lösung zur Auslösung von SortCL-Jobs bei Echtzeitänderungen von Daten in relationalen Datenbanktabellen und MongoDB-Sammlungen.

Überblick über die Dateiüberwachung: Die Dateiüberwachung wird im Allgemeinen verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.

Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.

Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.

Dieser Beitrag konzentriert sich auf den ereignisgesteuerten Ansatz unter Verwendung von PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.

Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. Wir haben es zwar noch nicht getestet, aber PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar. Wie zu erwarten, sind nicht alle unter Windows verfügbaren Befehle auch unter Linux verfügbar.

Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Call Detail Record ❌ Tieferen Einblick in die CDRs erhalten und direkte Datenverarbeitung und Datenmaskierung von ASN.1 kodierten Dateien ❗

❌ Call Detail Record ❌ Tieferen Einblick in die CDRs erhalten und direkte Datenverarbeitung und Datenmaskierung von ASN.1 kodierten Dateien ❗

By |
Direkte Unterstützung des ASN.1-Formats: Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie).

Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können.

Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big Data Manipulation, NextForm für Datenmigration, FieldShield für Datenmaskierung und RowGen für Testdatengenerierung) verarbeitet.

ASN.1 CDRs: Jeder Festnetz- oder Mobiltelefonanruf, der über ein Public Land Mobile Network (PLMN) getätigt wird, erzeugt einen oder mehrere Anrufdatensätze. Diese Call Detail Records (CDRs) oder Usage Detail Records (UDRs) werden von der Mobilvermittlungsstelle (MSC) generiert – dem primären GSM/CDMA-Dienstleistungsknoten, der für die Weiterleitung von Sprachanrufen, SMS und anderen Diensten zuständig ist.

CDRs enthalten Informationen, die der Netzbetreiber für die Teilnehmeridentifizierung, die Abrechnung von Anrufen, die in Anspruch genommenen Dienste, die Anrufweiterleitung usw. verwendet. Nachdem ein "Datensammler" in der Netzvermittlungsstelle die CDRs erfasst hat, werden sie in der Regel von einem "Vermittlungssystem" von einem binären Format in ein Flat-File-format umgewandelt.

CDRs werden in der Regel in einem Format kodiert, das einem Standard namens ASN.1 (Abstract Syntax Notation One) entspricht. ASN.1 ist ein flexibles Rahmenwerk für die Darstellung von Datenstrukturen in Telekommunikations- und Computernetzwerken, das in gewissem Umfang auch für Fahrzeugverkehrs- und Finanztransaktionsprotokolle verwendet wird. Ein Beispiel für ein standardisiertes ASN.1-Schema ist TAP3, dem viele CDRs folgen.

Flat CDRs werden von nachgelagerten Abrechnungs- und Analyseanwendungen verwendet, die diese Daten nutzen müssen. Voracity und die meisten Datenintegrations- (ETL) und Telco Application Service Provider (ASP)-Operationen sind in der Tat auf Mediation angewiesen, um die Daten zunächst zu konvertieren und anzureichern, da sie die rohen, binären ASN.1-Formate nicht selbst verarbeiten können. Der Grund dafür ist, dass ASN.1 darauf ausgelegt ist, maschinell erzeugte Daten für die Übermittlung an einen unspezifischen, nachgeschalteten Prozessor streng zu kodieren. Die Vermittlung ist notwendig, weil die Prozessoren unbekannt sind und weil die Datensätze strukturiert, mit Makros versehen und nicht für den Menschen lesbar sind.

In Rohform können CDR-Daten im Allgemeinen mehr als 700 Felder enthalten, die im tatsächlichen Laufzeitstrom erscheinen können oder auch nicht. Aber auch hier sind die Zeichenketten und Werte in Oktetten kodiert, die für Menschen nicht lesbar sind.

Bis jetzt! CoSort bietet die direkte Unterstützung für die Verarbeitung jeder ASN.1 kodierten Datei im Sort Control Language (SortCL) Datenmanipulationsprogramm des Unternehmens. Dies ermöglicht SortCL-kompatiblen Programmbenutzern (in Voracity, CoSort, FieldShield, NextForm und RowGen), Daten wie native ASN.1 CDRs direkt zur Laufzeit zu verarbeiten – ohne vorherige Vermittlung.

Alle technischen Detals sind hier im Blog von IRI zu finden, wir helfen Ihnen gerne bei Fragen!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Datenverlust verhindern ❌ NoSQL-Datenbankcluster erfordert sowohl Endpunktsicherheit als auch Datenmaskierung ❗

❌ Datenverlust verhindern ❌ NoSQL-Datenbankcluster erfordert sowohl Endpunktsicherheit als auch Datenmaskierung ❗

By |

Haben Sie Dark Data?

Bis zu 90% der gesammelten oder generierten Unternehmens- und Regierungsdaten bleiben in unstrukturierten Text- und Bilddateien, Dokumenten und NoSQL-DBs oder anderen so genannten Dark Data Repositories verborgen. Um das rechtliche, finanzielle und Reputationsrisiko der Offenlegung von persönlich identifizierbaren Informationen (PII) in diesen oft obskuren Quellen zu mindern und um Datenschutzgesetze wie das GDPR einzuhalten, benötigen Sie eine Möglichkeit, die PII in diesen Quellen schnell zu lokalisieren und zu sichern.

IRI DarkShield ist ein neues Produkt für die Erkennung, Bereitstellung, De-Identifizierung und Detaillierung von PII und anderen sensiblen Daten in unstrukturierten Dateien. Es stellt einen Durchbruch in den Bereichen unstrukturierte Datenmaskierungstechnologie, Geschwindigkeit, Benutzerfreundlichkeit und Erschwinglichkeit dar.

IRI DarkShield konsolidiert (plus Multi-Threads) die Suche, Extraktion, Korrektur und Berichterstattung von PII in verschiedenen Dateiformaten und Ordnern in Ihrem Netzwerk, oder in der Cloud. Es kombiniert das Beste aus IRI-Datenmaskierung, bewährten Suchtechnologien und Eclipse™ zu einer einzigen, benutzerfreundlichen Oberfläche, um alles auf einmal oder in geplanten Schritten auszuführen. Und wie gewohnt macht IRI diese Lösung erschwinglich durch flexible Lizenzoptionen, die auf Quellvolumen, Lizenzdauer und anderen benötigten Funktionen basieren.

Dieses Beispiel demonstriert die Verwendung der darkshield-files API, um JSON-Dokumente aus einer lokalen Elasticsearch-Instanz zu suchen und zu maskieren. Um zu funktionieren, muss die plankton Web Services API an dem in server_config.py angegebenen Ort gehostet werden (standardmäßig http://localhost:8959) und darkshield-files Plugins müssen installiert sein.

Elasticsearch muss installiert sein und lokal auf dem Standardport gehostet werden.

Um die zusätzlichen Abhängigkeiten zu installieren, führen Sie pip install -r requirements.txt aus (stellen Sie sicher, dass Ihre virtuelle Umgebung aktiviert ist, sonst werden Ihre Abhängigkeiten global installiert).

Im Beispiel werden zwei JSON-Dokumente in einen Index namens test-index geladen. Der Inhalt des Index wird von der DarkShield-API durchsucht und maskiert und an einen neuen Index namens test-index-masked gesendet. Die maskierten Inhalte in test-index-masked werden vom Programm gesucht und angezeigt.

DarkShield findet und maskiert Folgendes:

  • Emails (EmailMatcher): Gefunden mit einem regulären Ausdruck und maskiert mit einer Hashing-Funktion
  • Telefonnummern (PhoneMatcher): Werden mit Hilfe eines regulären Ausdrucks gefunden und mit einer format-erhaltenden Verschlüsselung maskiert
  • Namen (NameMatcher): Gefunden mit Hilfe eines NER-Modells (Named Entity Recognition) UND unter Verwendung formatspezifischer json-Pfade (alle Namen können im Schlüssel "name" gefunden werden, unabhängig von der Verschachtelung)

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ PII in Dark Data ❌ Sensible Informationen auch in semi/un/strukturierten Quellen entdecken, bereitstellen und löschen ❗

❌ PII in Dark Data ❌ Sensible Informationen auch in semi/un/strukturierten Quellen entdecken, bereitstellen und löschen ❗

By |
.
Dark Data: Versteckte PII überall finden und schützen!

IRI DarkShield Version 4 verfügt über ein Remote Procedure Call (RPC) Application Programming Interface (API) für die Suche und Maskierung unstrukturierter Dateien. Die API ermöglicht die einfache Einbindung von DarkShield als Middleware in eine Pipeline außerhalb von IRI Workbench. Derzeit werden folgende Formate unterstützt:

  • CSV/TSV
  • Fixed Width
  • HL7
  • X12
  • JSON
  • MS Excel (.xls/.xlsx)
  • MS Word (.doc/.docx)
  • Parquet
  • Klartext
  • XML
  • PDFs (mit eingebetteten Bildern)
  • Bilder (png, .jpg/x/2, .tif/f, .gif, .bmp)
  • DICOM

Die API ist als Plugin auf der IRI Web Services Platform (Codename Plankton) aufgebaut, so dass der Benutzer selbst entscheiden kann, welche Dienste er benötigt, und dabei die gleichen Hosting-, Konfigurations- und Protokollierungsfunktionen nutzen kann, die über die Plattform bereitgestellt werden.

Bevor Sie mit diesem Artikel fortfahren, machen Sie sich bitte mit den Operationen der Basis-DarkShield-API in diesem Artikel vertraut. Er beschreibt die Deklaration und Verwendung von Such- und Maskenkontexten zur Suche und Maskierung von Freiformtext, der in json-Payloads gesendet wird.

Die Dateien-API verwendet dieselben Such- und Maskierungskontexte, um Such- und Maskierungsoperationen für Text durchzuführen, der aus den verschiedenen Dateiformaten geparst wurde. Die Datei-API enthält zusätzliche Matcher, Filter und Konfigurationsoptionen für bestimmte Dateiformate.

Alle technischen Details zu dem Produkt und der Konfiguration finden Sie hier im Blog-Artikel!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Testdata für CICD ❌ Testdatenmanagement für sichere realistische Testdaten für Azure, GitLab + AWS DevOps-CodePipeline ❗

❌ Testdata für CICD ❌ Testdatenmanagement für sichere realistische Testdaten für Azure, GitLab + AWS DevOps-CodePipeline ❗

By |
Was wird hier demonstriert? Dies ist die dritte Ergänzung zur DevOps-Pipeline-Serie, hier finden Sie die Links zu den DevOps-Artikeln zu GitLab und AWS CodePipeline.

In diesem Artikel zeigen wir, wie man die IRI Voracity TDM-Plattformsoftware innerhalb einer Azure DevOps-Pipeline verwendet, um realistische Testdaten in verschiedenen Quellen für CI/CD-Zwecke zu erzeugen und zu verwenden. Konkret führen wir IRI RowGen-Skripte aus, um Testdaten in einer Excel-Tabelle zu synthetisieren, und die DarkShield-Files-API, um PII aus einer CosmosDB NoSQL-Datenbank zu maskieren.

Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in referenziell korrekten Datenbank-, Flat-File-, halbstrukturierten Datei-, formatierten Berichts- und sogar unstrukturierten Dateizielen:

Über Azure Pipelines: Azure Pipelines ist eine Reihe von automatisierten Prozessen zum Erstellen, Testen und Bereitstellen von Projekten. Die Automatisierung dieser Prozesse soll die kontinuierliche Integration, die kontinuierliche Bereitstellung und die kontinuierlichen Tests der DevOps-Methoden unterstützen. Kontinuierliches Testen ist ein Konzept in DevOps, das das Testen von Software in jeder Phase des Lebenszyklus der Softwareentwicklung unterstützt.

Testdatenverwaltung und DevOps: TDM ist der Prozess, bei dem produktionsähnliche Testdaten generiert und verschiedenen Tests zur Verfügung gestellt werden, damit der Testprozess Zugang zu realistischen Daten hat. Eine effektive TDM-Strategie ist aus mehreren Gründen von Vorteil.

Zum einen führen unrealistische Testdaten nicht zu mehr Vertrauen in eine Anwendung, sondern können zu unfruchtbaren Tests führen. Daher ist eine produktionsähnliche Testumgebung mit produktionsähnlichen Testdaten notwendig, um genau zu beurteilen, wie sich eine Anwendung in der Produktion verhalten wird.

Zweitens soll TDM die Verfügbarkeit von Testdaten garantieren, wenn sie während der Tests benötigt werden. Gute Testdaten bringen keinen Nutzen, wenn sie zum Zeitpunkt der Testdurchführung nicht verfügbar sind.

Tests in DevOps und die Rolle von Testdaten: Testdatenmanagement sollte implementiert werden, um verschiedene Tests mit realistischen, qualitativ hochwertigen Daten während des gesamten DevOps-Prozesses zu unterstützen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Data Lake für Datenverarbeitung ❌ Unterschiedliche semi/un/strukturierte Rohdaten im Datenspeicher bündeln und in wenigen Schritten verarbeiten ❗

❌ Data Lake für Datenverarbeitung ❌ Unterschiedliche semi/un/strukturierte Rohdaten im Datenspeicher bündeln und in wenigen Schritten verarbeiten ❗

By |
Big Data Verarbeitung: Laut der Open Knowledge Foundation ist die Datenpaketierung "eine einfache Möglichkeit, Sammlungen von Daten und deren Beschreibungen an einem Ort zu platzieren, so dass sie leicht ausgetauscht und verwendet werden können" und dass ein Datenpaket "in einem Format vorliegt, das sehr einfach, webfreundlich und erweiterbar ist".

Für IRI und viele Menschen in der Welt der Datenverarbeitung und Datenwissenschaft ist die Datenverarbeitung eine Manifestation von Datenintegrations-, Staging- oder Wranglingoperationen, die über die Datentransformation und -filterung hinaus auch Aufgaben wie Konsolidierung, Bereinigung und Anonymisierung beinhalten können. IRI-Software verarbeitet seit Jahrzehnten große Datenmengen in brauchbare und sinnvoll formatierte Ergebnismengen, schnell, zuverlässig und kostengünstig.

Berücksichtigen Sie die traditionelle Stärke von CoSort für schnellste Sortierung und wie wichtig das für so viele große Daten-Staging-Prozesse ist, die auch Lookups, Joins, Aggregationen und Remapping beinhalten.

Heute können Sie die CoSort Engine oder austauschbare Hadoop-Engines (MR2, Spark, Spark Stream, Storm und Tez) innerhalb der IRI Voracity-Plattform für das vollständige Datenmanagement nutzen, um Daten in vielerlei Hinsicht zu verarbeiten. Kombinieren, Mungen, Reinigen, Maskieren und Minen Sie strukturierte und semistrukturierte interne und "offene" Quellen für Analytik, Governance und DevOps. Es gibt auch viele Dinge, die Sie mit unstrukturierten Daten tun können, die in Voracity entdeckt und extrahiert wurden.

Was kann ich konkret tun und wie mache ich es? Genauer gesagt, können Sie die IRI Voracity-Plattform für totales Datenmanagement auf Basis von CoSort (oder Hadoop) nutzen, um unterschiedliche Datenquellen zu bündeln. Sie können verwandte Elemente zu mehreren, speziell angefertigten, benutzerdefinierten Zielen vereinheitlichen und destillieren, die für Forschung und Analytik geeignet sind. Mit Voracity können Sie all diese Dinge tun:

  • Datenerfassung (Extraktion), Manipulation (Transformation) und Population (Laden)
  • Datenfilterung, -bereinigung und -validierung (Verbesserung der Datenqualität)
  • Datenkonsolidierung und -standardisierung (MDM)
  • Datenföderation und Virtualisierung Datenintegration, inklusiver:
  • Datenreporting (integrierte BI)
  • Datenmigration und Replikation
  • Datenklassifizierung, Scanning & Maskierung (siehe Big Data Schutz)
  • Testdatengenerierung (siehe Big Data Schutz)
  • Data Wrangling für BI-Tools wie Qlik und Tableau, oder Analysesoftware wie R oder KNIME (siehe auch die Registerkarte Big Data Bereitstellung oben).

Die meisten dieser Aktivitäten können spezifiziert und in Wizard-gesteuerten, aufgabenkonsolidierenden, Single-IO-Jobskripten oder gut strukturierten Batch-Workflows kombiniert werden, die sie enthalten. Mithilfe der intuitiven Diagramme oder der selbstdokumentierenden Textdateien, die sie veranschaulichen, können Sie Ihre Aufträge leicht verstehen, ändern, ausführen, planen und freigeben.

Sehen Sie sich das preisgekrönte IRI 4GL-Programm für Datenmanipulation (SortCL) und die grafische IDE an, die auf Eclipse (IRI Workbench) basiert, um Ihre Datenverpackungsaufträge zu erstellen, zu automatisieren und zu verwalten…. große oder kleine, einfache oder komplexe, lokale oder in der Cloud.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.