IRI RowGen generiert Datensätze in verschiedenen Formaten, darunter Flat-Files, Datenbanktabellen und Berichte. Dies geschieht entweder durch zufällige Erzeugung von Werten in bestimmten Datentypen, Bereichen und Verteilungen oder durch die zufällige Auswahl von Daten aus Nachschlagetabellen oder externen "Set-Dateien". Die Wahl zwischen diesen beiden Methoden kann ad hoc getroffen werden oder basierend auf Spaltenregeln, die über verschiedene Tabellen hinweg gelten.

Die Verwendung von Set-Dateien ermöglicht die Erzeugung realistischer Daten für Spalten, die Namen, Orte, Adressen und andere nicht-numerische Werte enthalten. IRI stellt einige vorgefertigte Set-Dateien bereit, aber sie können auch leicht beschafft oder selbst erstellt werden.

Eine sichere und schnelle Lösung für das Testdatenmanagement (TDM): IRI führte im Jahr 2004 das Produkt RowGen ein und erweiterte es später, um strukturierte und referenziell korrekte Datenbankschemata aus DDL-Details zu analysieren, zu synthetisieren und zu laden. RowGen kann nun auch neue Datenformate generieren, rechnerisch gültige Kennnummern und Identifikationsnummern erstellen, Sätze für die Bearbeitung von All-Pairs generieren, Nullen und realistische Wertverteilungen erzeugen sowie in ETL- und CI/CD-Pipelines arbeiten. Es kann auch Testdaten in halb- und unstrukturierten Quellen wie EDI- und Excel-Dateien, PDFs und Word-Dokumente sowie Bilder mit eingebetteten Testdaten auffüllen, wenn es zusammen mit der IRI DarkShield-Such-/Masken-API verwendet wird.

Testdaten für DevOps (TestOps): DevOps zielt darauf ab, den Softwareentwicklungszyklus zu optimieren und die Bereitstellung von Software zu beschleunigen. Entwickler nutzen häufig CI/CD-Pipelines, um Software-Releases agiler und kontinuierlicher zu gestalten. Mit den Datenmaskierungs-, Subsetting- und Synthesetools von IRI Voracity erstellte Testdaten können in Jenkins, Amazon CodePipeline, Azure DevOps, GitLab und anderen Tools ausgeführt und genutzt werden, um die Funktionalität und Leistung der Software bei jedem Build zu überprüfen.

Die aufkommende Disziplin des TestOps konzentriert sich auf die operativen Aspekte des Testens im Softwareentwicklungszyklus. Dazu gehört die Sammlung, Vorbereitung und Sicherung von Testdaten, Produktionsdaten und Testfallquellen, um die Testabdeckung, Mitarbeiter und Aktivitäten zu skalieren und die Qualität der Software sicherzustellen. Die intelligente Datenintegration und Anonymisierung dieser Quellen in Voracity spielen eine Schlüsselrolle für TestOps und tragen gleichzeitig zur Verbesserung der DevOps-Qualität bei und minimieren Datenschutzrisiken.

Testdaten für MLOps: Reichhaltige, anonymisierte Daten sind auch für das Testen im Bereich maschinelles Lernen (MLOps) von großer Bedeutung. Hierbei geht es um das Speichern, Laden, Transformieren und Testen von Daten sowie die Validierung von Modellen. IRI RowGen kann beispielsweise große, realistische Dateien in Bulk-Load-Formaten wie CSV und ML-Modellformaten wie PMML/XML und PFA/JSON schnell synthetisieren. Alternativ können die Datenerkennungs- und Maskierungswerkzeuge IRI FieldShield und DarkShield in Voracity Datenbanken, Dateien oder Datenströme durchsuchen und bereinigen, die für das maschinelle Lernen verwendet werden sollen.

Testdaten für DataOps: Bei der Umsetzung eines DataOps-Testansatzes für ETL-Projekte geht es darum, Tests für Quell- und Ziel-Datensätze zu automatisieren und sicherzustellen, dass diese Datensätze die Eigenschaften von Daten widerspiegeln, die in echten Analysemodellen verwendet werden, ohne dabei Personen zu identifizieren. IRI-Software erleichtert die Datenintegration und Automatisierung von Analysetests auf verschiedene Weisen. Eine Möglichkeit besteht darin, Datentransformation und -verarbeitung mit Datenmaskierung oder -synthese zu kombinieren. Einzigartig an Voracity ist die Unterstützung von Metadaten und Engine für diese Aufgabenkonsolidierung im Hintergrund. In einem einzigen Durchlauf durch das SortCL-Datenverarbeitungsprogramm von Voracity können Benutzer gleichzeitig Testdaten synthetisieren, transformieren und in mehrere künstliche, aber realistische Analyseziele formatieren. Alternativ kann das Programm Produktionsdatenquellen lesen, integrieren, transformieren, Daten bereinigen, maskieren und in die gewünschten Formate umwandeln.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Big Data 75: Companies Driving Innovation in 2023!

Die Zeitschrift Database Trends and Applications (DBTA) hat Innovative Routines International (IRI), Inc. auch bekannt als The CoSort Company, in ihre Liste der "Big Data 75: Companies Driving Innovation in 2023" aufgenommen. Die Liste wurde in der Big Data Quarterly (BDQ)-Ausgabe der DBTA veröffentlicht, um Unternehmen bei der Bewältigung neuer Herausforderungen und eines sich schnell entwickelnden Big-Data-Ökosystems zu unterstützen", indem sie Unternehmen vorstellt, die Innovationen vorantreiben und die Möglichkeiten bei der Erfassung, Speicherung und Gewinnung von Werten aus Daten erweitern".

Laut DBTA-Chefredakteurin Stephanie Simone haben "KI-Technologien in diesem Jahr unmittelbar an Zugkraft gewonnen … das Zugpferd, um das man sich hinter den Kulissen kümmern muss, sind Datenbanken und zugehörige Datenumgebungen. Damit KI und andere fortschrittliche Initiativen in Unternehmen erfolgreich sein können, müssen die Daten sicher, hochverfügbar und praktikabel sein."

Diese Botschaft steht im Einklang mit der jüngsten Bloor-Forschung zu KI. In seinem Artikel Prepare and Protect Data for AI with Voracity (Daten für KI mit Voracity vorbereiten und schützen) erklärt Bloor-Analyst Daniel Howard, dass "man allzu leicht vergisst, dass KI-Modelle auf Daten trainiert werden und dass, wenn diese Daten in irgendeiner Weise unzureichend sind – wenn viele davon falsch sind, wenn Daten fehlen oder doppelt vorhanden sind, wenn es ungesicherte sensible Daten gibt oder wenn es unerkannte und nicht berücksichtigte Verzerrungen in den Daten gibt, um nur eine Handvoll Möglichkeiten zu nennen – die Ergebnisse, die Ihr KI-System ausspuckt, ähnlich fehlerhaft sein werden. Es handelt sich um ein Paradigma, bei dem Müll rein und Müll raus kommt.

David Friedland, SVP von IRI, stimmte dem zu und meinte, dass diese Tatsache die DBTA dazu veranlasst hat, die Datenmanagement-Plattform Voracity von IRI so prominent in der DBTA-Liste der Big-Data-Unternehmen aufzuführen." IRI ist ein Pionier in der Big-Data-Branche und bietet Lösungen zum Verpacken, Schützen und Bereitstellen von Daten für Analysen, ML/AI und DevOps.

Voracity kann vor Ort oder in von Kunden verwalteten Cloud-Umgebungen eingesetzt werden, um die Schlüsselaktivitäten der Datenerkennung, -integration, -migration, -steuerung und -analyse durchzuführen, zu beschleunigen und zu konsolidieren. Angetrieben von der IRI CoSort Big Data Manipulation Engine und aufbauend auf der ergonomischen IDE oder Eclipse oder No-Code-Apps wie DataSwitch, kann Voracity eine breite Palette von Big Data Management Herausforderungen in verschiedenen Branchen adressieren.

Einem aktuellen Bericht von Research and Markets zufolge wurde der globale Markt für Big Data und Business Analytics im Jahr 2022 auf 294,16 Milliarden US-Dollar geschätzt. Es wird erwartet, dass der Marktwert bis 2028 auf 662,63 Mrd. US-Dollar ansteigen wird, wobei die CAGR im Prognosezeitraum 2023-2028 um 14,48 % zunimmt. Das Softwaresegment ist die dominierende Komponente.

"Wir glauben, dass der Umfang und die Ausgereiftheit von Voracitys Fähigkeiten im Bereich des High-Volume-Datenmanagements dafür sorgen, dass Voracity auf dem Radar der DBTA und anderer Analystenfirmen bleibt", sagte Friedland. Voracity wird in der Top 75 Liste der DBTA hier online hervorgehoben.

Big Data Wegbereiter: Erschwingliches Big Data Management!

IRI Voracity® manipuliert und verwaltet ein riesiges Spektrum und Volumen von Daten in einem einzigen, auf Eclipse™ basierenden Fenster. Nutzen Sie Voracity, um schnell und zuverlässig Daten vor Ort oder in der Cloud zu entdecken, zu integrieren, zu migrieren, zu verwalten und zu analysieren und dabei alle "V"-Herausforderungen von Big Data zu bewältigen:

VOLUME: Daten aus internen und öffentlichen Quellen wachsen exponentiell. Voracitys langjährig bewährte IRI CoSort-Engine führt und kombiniert Multi-Gigabyte-Transformationen in Sekundenschnelle und übertrifft damit die Geschwindigkeit herkömmlicher Sortier-, BI-, DB- und ETL-Tools um das 2-20fache.

VARIETÄT: Voracity unterstützt mehr als 150 Datenquellen und -ziele, darunter Legacy- und EDI-Dateien, Multi- und Multi-Byte-Daten und Endian-Typen, jedes RDBMS, sowie viele Big Data- und Cloud/SaaS-Quellen.

VELOCITY: CDR-, IOT-, soziale und transaktionale Daten kommen schnell und in unterschiedlichen Intervallen. CoSort oder nahtlos integrierte Hadoop-Engines in Voracity skalieren Workloads über Commodity-Hardware. Voracity kann auch Echtzeit-, Fast-Echtzeit- oder Streaming-DB-, Datei- oder Nachrichtendaten über Kafka oder MQTT, Pipes oder Prozeduren, Spark oder Storm und IRI Ripcurrent verarbeiten.

VERACITY: Daten von schlechter Qualität mindern den Wert von Analysen und Tests, und PII stellen ein Risiko für Sie dar. Voracitys Validierungs-, Scrubbing-, Anreicherungs- und Vereinheitlichungsfunktionen verbessern alle die Datenqualität. Die eingebetteten Funktionen zur Datenklassifizierung, -erkennung und -maskierung sowie die Unterteilung von Datenbanken und die realistische Synthese von Testdaten helfen Ihnen, Datenschutzverletzungen zu verhindern, DevOps zu verbessern und Datenschutzgesetze einzuhalten.

VALUE: Wenn Sie Ihren Informations- und Entscheidungsbedarf auf Basis von Daten (neu) überdenken, sollten Sie den Wert einer echten analytischen Produktionsplattform bedenken, die Datenaufbereitung mit Analyse und Visualisierung verbindet. Voracity kann benutzerdefinierte Detail- und Zusammenfassungsberichte generieren oder Daten so aufbereiten, dass sie saubere und anonyme Teilmengen an Cognos, PowerBI, Qlik, R, Splunk, etc. weitergeben.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.