❌ Snowflake Datenbank ❌ Datenintegration, Datenbereinigung und Datenmaskierung + direkte Bereitstellung in Zieltabellen für Datenanalyse ❗
Möglicherweise sind Sie mit diesen zeitaufwendigen Problemen bei der Arbeit mit Snowflake konfrontiert:
- Datensuche, -profilierung und/oder -klassifizierung
- Integration oder Daten-Wrangling für DW/BI-Ops
- Datenbewegung/Migration zu/von Tabellen
- Transformieren oder Laden großer Tabellen
- Datenerfassung oder -replikation ändern
- Clustering oder Abfrage der Performance
- Generierung intelligenter und sicherer Testdaten
- Maskierung sensibler Daten
Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange!
Daten in Ordnung halten: IRI CoSort für die Vorsotierung von Flat-Files für Bulk-Ladungen und Inserts. Das entfernt den Overhead dieser Arbeit von Snowflake, wenn es notwendig ist und verbessert die Leistung von Clustering und häufig ausgeführten Abfragen.
SQL-Transformationen auslagern: IRI CoSort für die Entlasung der Datenbank von den Verarbeitungskosten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.
Migration und Replikation: IRI NextForm für die Erfassung, Re-Mapping, Re-Formatting, und Erstellung/Befüllung neuer Tabellen während der Migration von und nach Snowflake. Sie können auch Daten in Snowflake neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.
Datenmaskierung: IRI FieldShield für die Maskierung sensibler Daten in Snowflake, wie persönlich identifizierbare Informationen (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere de-identifizierende Funktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield zur Einhaltung von Datenschutzgesetzen wie HIPAA, PCI DSS, FERPA und GDPR.
Testdaten generieren: IRI RowGen für die Testdatengenerierung um Snowflake-Operationen schnell mit sicheren Testdaten zu bestücken. RowGen verwendet Ihre Datenmodelle, um die Testdaten automatisch für eine gesamte Datenbank mit referentieller Integrität zu generieren.
Alle Funktionen sind einzeln, oder integriert in der IRI Voracity-Plattform verfügbar!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Vom Data Lake, Data Mart zum Data Warehouse ❌ Moderner und gemischter Ansatz zwischen Datenintegration und Datenvirtualisierung ❗
In dieser kurzen Serie von Blog-Beiträgen haben wir die Macht der Verlagerung unseres Denkens von der Informationskomponente einer Informationsarchitektur auf ihre Prozesskomponenten untersucht. Im Fall der Production Analytic Platform haben wir gesehen, dass diese Prozesssicht das De-Layering eines traditionellen Data Warehouses, das Ingesting und die Analyse von Streaming-Daten und schließlich die richtige Positionierung der Datenvirtualisierung ermöglicht.
Mit seiner prozesszentrierten Sichtweise adressiert IRI Voracity alle drei oben genannten Bereiche. Da es In-Memory arbeitet und Daten nur dann im Speicher landen, wenn es unbedingt notwendig ist, erreicht Voracity ein hohes Maß an Verarbeitungseffizienz und Kosteneffizienz. Ein gut integrierter Satz technischer Metadaten, der auf der offenen, expliziten SortCL-Sprache basiert, erleichtert das Datenmanagement und die Governance und ermöglicht die gemeinsame Nutzung von Funktionen zwischen den drei oben genannten Lösungsbereichen. Zusammengenommen ermöglicht Voracity eine stärker integrierte Verarbeitung und reduziert damit den Bedarf an Zwischenkopien von Daten: ein starker Treiber für Kosteneinsparungen in der heutigen Welt explodierender Datenmengen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Test Data Generation ❌ Realistische Testdaten-Werte konsistent über Tabellen oder Dateien hinweg synthetisieren ❗
Die IRI Workbench GUI enthält einen Abschnitt mit Datengenerierungsregeln auf Feldebene zur Verwendung in der IRI RowGen-Testdatensynthese, der IRI FieldShield-Datenmaskierung und anderen SortCL-kompatiblen Aufgaben oder IRI Voracity (ETL)-Workflows. In diesem Artikel werden diese Funktionen vorgestellt, die ebenso wie Datenmaskierungs- oder Datenqualitätsfunktionen ad hoc oder global in Multi-Source-Jobs eingesetzt werden können.
Es können 11 verschiedene Arten von synthetischen Testdaten generiert werden, hier sind die technischen Details zu den verschiedenen Generatoren wie zum Datumsbereich-Generator, Lineare Verteilung, Normalverteilung, Gewichtete Verteilung von Elementen, E-Mail-Generator, Nationale ID-Funktionen, Prozentsatz der Nullen Wert, Zufallswertgenerierung, Zeilen-ID-Wert, Dateiauswahl setzen, String-Generierungsfunktionen und Tabellen-Lookup.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ Anonymisierung von PHI ❌ Blurring auf Zeilenebene statt auf Spaltenebene bei gleichzeitiger Beibehaltung des Intervalls zwischen diesen Daten ❗
Verschieben von Datumsangaben unter Beibehaltung von Intervallen:
Eine der Anforderungen an die Datenmaskierung für IRI FieldShield, die wir in Anwendungsfällen der PHI-Anonymisierung sehen, beinhaltet das Blurring (Unschärfe/Verwischen) von Daten auf Zeilenebene statt auf Spaltenebene bei gleichzeitiger Bereitstellung einer konfigurierbaren Option zur Beibehaltung des Intervalls zwischen diesen Daten. Dies wird typischerweise in klinischen Forschungs- oder Testdatenszenarien benötigt, bei denen bestimmte Intervalle zwischen den Daten für die Aufnahme oder Entlassung in ein Krankenhaus oder den Beginn und das Ende einer Behandlung eingehalten werden müssen.
Nehmen wir an, dass eine Tabelle oder Datei in der Produktion eine Spalte "StartDate" und "EndDate" enthält. Die Werte beider Daten müssen anonymisiert, aber um die gleiche konstante Anzahl von Tagen verschoben werden, damit sich die Dauer des Ereignisses nicht ändert. Für jeden Datensatz kann eine neue Zufallszahl innerhalb des gewünschten Bereichs verwendet werden, wobei der Ablauf voraussichtlich wie folgt ist:
- Benutzer wählt die Eingangsdatenquelle (Tabelle oder Datei)
- Benutzer wählt die Spalten aus, die den Anfang und das Ende des Intervalls definieren
- Benutzer gibt den Bereich des Shift-Faktors vor (z. B. -10 bis +10)
- Die Software wählt eine Zufallszahl innerhalb der Verschiebung
- In jeder Zeile werden die Anfangs- und Endwerte um den Zufallswert verschoben, wobei das Intervall erhalten bleibt
Das FieldShield-Skript verarbeitet dies mit einem separat generierten Zufallszahlen-Offset innerhalb eines vorgegebenen Bereichs. Ein schönes Merkmal dieses Ansatzes ist, dass mit unseren datums- und zeitbasierten mathematischen Funktionen der Offset als Sekunden, Minuten, Stunden, Tage, Wochen, Monate oder Jahre definiert werden kann. Der Offset kann auf jeden zeitbasierten Datentyp, wie z. B. ein Datum, eine Uhrzeit oder einen Zeitstempel, angewendet werden.
Dieses Beispiel verarbeitet eine CSV-Datei, aber das gleiche Prinzip gilt für eine Datenbanktabelle oder jede andere strukturierte Datenquelle, die von der FieldShield-Datenverarbeitungs-Engine, SortCL, unterstützt wird. Und natürlich könnten verschiedene Maskierungsfunktionen auf andere Felder im selben Jobskript angewendet werden; zum Beispiel Pseudonymisierung der Namen und/oder Unschärfe der Alterswerte.
Alle weiteren technischen Details zu diesem Anwendungsfall finden Sie hier im Blog-Artikel!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Dynamische Datenmaskierung ❌ Sensible Informationen in Echtzeit von datenbankverbundenen Anwendungen dynamisch schützen ❗
Dieser Artikel beschreibt eine Methode zur dynamischen Datenmaskierung (DDM), die für IRI FieldShield verfügbar ist und ein Proxy-basiertes System zum Abfangen von Anwendungsabfragen an JDBC-verbundene Datenbanken verwendet. Es ist einer von mehreren Ansätzen zur Maskierung von Daten im Flug, die FieldShield-Benutzer in Betracht ziehen können.
Andere IRI-DDM-Optionen umfassen: API-aufrufbare FieldShield-Funktionen, die in C/C++/C#-, Java- oder .NET-Programme eingebettet sind; Echtzeit-FieldShield-Funktionen, die in SQL-Prozeduren eingebettet sind, die maskierte Ansichten erstellen; und die dynamische Demaskierung von statisch maskierten Tabellen für autorisierte Benutzer.
Das hier vorgestellte proxy-basierte System verwendet einen zweckmäßigen, datenbankspezifischen "JDBC SQL Trail"-Treiber in Verbindung mit einer Konfigurations- und Verwaltungs-Webanwendung namens SQL Sharp (SQL#). Alle technischen Details finden Sie hier im Blog-Artikel, datenzentrierte Sicherheit lohnt sich!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Datenmigration und Datenbankmigration ❌ Umfangreiche Datenkonvertierung oder Neuzuordnung/Datenmapping in Legacy-Quellen ❗
Höhere Leistung und niedrigere Kosten: NextForm bietet auch die Möglichkeit, Daten während des Verschiebens zu löschen, wodurch I/O beschleunigt und Speicher reduziert wird. Reduzieren Sie Design und Laufzeit um 75% und nutzen Sie die Point-and-Click-Feldzuordnung, mit der Sie Daten mühelos kontrollieren können!
Ein aktueller Live-Walkthrough: Schauen Sie sich dieses neue technische Youtube-Video an!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Schnelleres ETL und ELT ❌ Die Big Data Sortier-, Join- und Aggregationsjobs erheblich beschleunigen, ohne RDB oder Budget zu belasten ❗
Schnelleres E, T & L: Die meisten Datenintegrationsaufgaben werden in älteren ETL- oder ELT-Tools durchgeführt, die auf kompilierten Java-Programmen oder ineffizienten In-DB-Transformationen beruhen. Der Entwurf und die Ausführungszeit von Jobs leidet darunter. Dies gilt auch für alle nachgeschalteten Abfragen und Anwendungen, die von diesen Jobs abhängen. Details hier!
Die erschwingliche Alternative: Hunderttausende von Euros und viele Monate werden für den Aufbau und die Unterstützung von Arbeitsplätzen in veralteten ETL-Tools aufgewendet. Mehrere Benutzer und Lizenzen summieren sich schnell und dominieren die Projektbudgets. Kleine und mittelständische Unternehmen sind mit Open-Source-Tools beschäftigt, die nicht leistungsfähig sind. Details hier!
5 einfachere Vorgehensweisen: Lange Beratungsverträge sind erforderlich, um neue und unsaubere Datensätze in alten ETL-Tools abzubilden oder Motoren von Drittanbietern anzuschrauben, um sie zu beschleunigen. Viele ETL-Werkzeuge können Daten nicht einfach entdecken, verfolgen, verwalten oder verknüpfen und ihre Metadaten sind kryptisch oder versteckt. Details hier!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Beschleunigung von VLDB ❌ Paralleles Entladen von Oracle, DB2 und anderer Big Data Tabellen in Flat-Files ❗
IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen.
IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten Bulkladungen von IRI CoSort ist der schnellste und kostengünstigste Weg, um Big Data ETL– und Offline-Reorgs durchzuführen.
IRI FACT ist der schnellste Weg für:
- Entladen von sehr großen Datenbank-(VLDB)-Transaktions-(Fakten)-Tabellen
- formatierte Flat-Files aus einer Tabelle erzeugen
- Erstellen der Steuerdatei-Metadaten für Datenbank-Massenladeprogramme
- Erstellen von IRI CoSort (oder Voracity ETL) Metadaten für Transformationen, Rollups, Delta-Berichte und Preload-Sortierungen.
- Erstellen von IRI NextForm-Metadaten zur Konvertierung der exportierten Daten und Dateitypen
- Erstellung von IRI FieldShield-Metadaten zur Spaltenverschlüsselung, De-Identifizierung und Maskierung von Spalten
- Erstellen von IRI RowGen-Metadaten zur Generierung sicherer Testdaten im Tabellenformat
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
❌ DBTA Top 100 ❌ Die wichtigsten 100 Anbieter für Datenverarbeitung und Datenmanagement von Big Data in 2021 ❗
Die DBTA 100 zeigen zukunftsweisende Unternehmen, die bestehende Technologien und Prozesse verbessern und erweitern, um ihren Kunden eine effektivere Datennutzung zu ermöglichen. Wie jedes Jahr präsentieren wir zusätzlich zu den DBTA 100 auch "View From the Top"-Artikel, die von Führungskräften aus der Branche verfasst wurden und in ihren eigenen Worten erklären, wie ihre Unternehmen die heutigen Probleme und Chancen im Datenmanagement auf einzigartige Weise bewältigen.
Unser Partner IRI wurde 1978 gegründet, um Sortier- und Berichtsfunktionen im Großrechnerformat auf Abteilungs- und Desktop-Computer zu bringen. Heute können Sie die jahrzehntelangen Fortschritte von IRI bei der Hochgeschwindigkeitsdatenbewegung und -manipulation in ergonomischen Softwareprodukten nutzen – oder in einer einzigen Plattform, die alles vereint:
- Data Discovery – Klassifizierung, Diagrammerstellung, Profiling und Suche von strukturierten, halbstrukturierten und unstrukturierten Datenquellen, vor Ort oder in der Cloud
- Datenintegration – individuell optimierte, aber konsolidierte E-, T- und L-Operationen im selben Durchgang, plus CDC, Slowly Changing Dimensions und Möglichkeiten, jede bestehende ETL-Plattform zu beschleunigen oder zu verlassen
- Datenmigration – Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder Massendatenreplikation und Föderation
- Data Governance – Maskierung von PII-Daten und Re-ID-Risikobewertung, DB-Subsetting, Generierung synthetischer Testdaten, Datenvalidierung, -bereinigung und -anreicherung, Master- und Metadatenmanagement usw.
- Analytik – eingebettetes Reporting, Integrationen mit DataDog, KNIME und Splunk sowie schnelles Data Wrangling für BOBJ, Cognos, Microstrategy, Power BI, Qlik, R, Spotfire und Tableau, etc.
All diese Funktionen werden in derselben Eclipse-IDE bereitgestellt – und vieles davon läuft gleichzeitig über IRI CoSort oder austauschbare Hadoop-Engines in der IRI Voracity-Plattform.
Wir fühlen uns geehrt, dass wir erneut zu den DBTA Top 100 Datenmanagement-Anbietern gewählt wurden. Wir laden Sie ein, sich mit Ihrem Anwendungsfall den vielen branchenübergreifenden Anwendern, großen und kleinen weltweit, anzuschließen, die sich alle weiterhin auf unsere bewährte Lösungen verlassen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
❌ Testdatamanagement Marktstudie ❌ Metadaten-kompatible Datenmaskierung, Subsetting und Testdatensynthese ❗
IRI Voracity® ist eine Full-Stack Data Lifecycle Management-Plattform, die das Beste aus CoSort®, Eclipse™, Hadoop® und anderen erstklassigen Technologien nahtlos kombiniert.
Seit 1978 hat IRI CoSort die Datentransformationsarbeit beschleunigt und erweitert. Es ist ein bewährtes Verfahren: ETL-Optimierer, BI-Datenvorbereiter, DB-Lade- und Abfragebeschleuniger, Datenvalidierungs- und Qualitätswerkzeug, Berichtsgenerator, Datenkonverter, und es kann PII maskieren und Testdaten erstellen.
Nur IRI Voracity® kann eine große Bandbreite und Menge an Daten in einer einzigen erschwinglichen Eclipse™ Konsole bearbeiten und verwalten!
Mit der IRI Voracity-Plattform können Sie mehrere Testdatenziele für Testdatenbanklasten, Flat-File-Strukturen und benutzerdefinierte Berichtsformate von Grund auf neu generieren – alles ohne Zugriff auf echte Daten. Oder wenn Sie reale Daten für Produktions-, On-Demand- oder virtualisierte Testszenarien verwenden und anonymisieren, unterteilen oder anderweitig maskieren möchten, können Sie das auch tun!
"Die IRI Voracity-Plattform hat mich veranlasst, die relative Bedeutung der Datenverarbeitung in informationsorientierten Systemen wie Data Warehouses und Data Lakes zu überdenken. Mit den richtigen Funktionen und ausreichender Leistung kann eine Datenverarbeitungsplattform die Funktion der Datenbanken, die traditionell als Kernstück dieser Systeme angesehen werden, ergänzen und sogar erweitern". – Barry Devlin, 9sight Beratung
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com
Telefon: +49 (6073) 711403
Fax: 06073-711405
E-Mail: amadeus.thomas@jet-software.com
