Autor: Firma JET-Software
❌ Adabas und Natural ❌ 6x schnellere Datenverarbeitung und Report via Plug’n’Play Sort für nahtlose Prozessbeschleunigung ❗

❌ Adabas und Natural ❌ 6x schnellere Datenverarbeitung und Report via Plug’n’Play Sort für nahtlose Prozessbeschleunigung ❗

By |
NATURAL Sort-Ersatz: Der 6x schnellere Weg, um große Datensätze direkt zu sortieren!

IRI CoSort enthält eine Plug’n’Play-Sortierbibliothek für Benutzer von Natural unter Unix. Ohne Benutzereingriff und einen einfachen Makefile-Link kann die CoSort Engine in Natural bis zu sechsmal schneller sortieren als die native Sortierung. Eine vollständige Anleitung zur Verwendung von CoSort und einer externen Sortierung finden Sie in der Installationsdokumentation der Software AG Natural unter "Re-Linking a Natural Nucleus".

CoSort´s erschwingliche, bequeme und schnellere Möglichkeit zur Verarbeitung und Berichterstattung großer Dateien, während Sie große Arbeitsdateien von und nach Natural bewegen und gezielt einsetzen. Schließlich kann es erforderlich sein, dass CoSort Daten in Adabas-Quellen und -Zielen manipuliert, maskiert, repliziert, von ihnen berichtet oder anderweitig damit arbeitet!

Zusätzlich zu diesem Drop-In-Sortierersatz kann das Datei-Transformations- und Berichtsprogramm SortCL von CoSort direkt aus Natural aufgerufen werden: CALL shcmd $COSORT_HOME/bin/sortcl /spec=job.scl wobei die /INFILE(s) in und /OUTFILE(s) von SortCL natürliche Arbeitsdateien sein können. Dies ermöglicht eine größere Flexibilität beim Entladen von hochvolumigen Dateibearbeitungen und bei der Neuformatierung von Aufträgen nach SortCL. SortCL-Funktionen schützen auch gefährdete Felddaten.

CoSort und Natural werden auch in der von Tetrad Systems entwickelten Legacy-Anwendungsumgebung "Operational Processing for Unix" (OPX) eingesetzt. OPX lässt sich problemlos in die Tools der Software AG Natural integrieren und verfügt über eine SORT-Wrapper-Schnittstelle zu CoSort, um die JCL-Sortierfunktionalität neu zu hosten und zu erweitern.

CoSort und seine metadatenfähigen Produkte IRI NextForm für Daten- und Datenbankmigration, Replikation und Reporting und IRI FieldShield zur Datenmaskierung, Verschlüsselung und anderen Schutzmaßnahmen auf Feldebene können nun auch über Partnertreiber direkt mit Daten in Adabas-Repositories in der grafischen IDE der IRI Workbench, die auf Eclipse™ basiert, verarbeiten.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Vertica Datenbank ❌ Schnellere Datenintegration und Datenmigration von VLDB mit Datenschutz für Vertica Database ❗

❌ Vertica Datenbank ❌ Schnellere Datenintegration und Datenmigration von VLDB mit Datenschutz für Vertica Database ❗

By |
Schnellstes Big Data Management: Wie andere Artikel in unserem Blog über die Verbindung und Konfiguration von relationalen Datenbanken mit der IRI Voracity Datenmanagement-Plattform beschreibt dieser Artikel detailliert, wie man gezielt Vertica-Quellen erreicht. Die IRI Voracity Datenmanagement-Plattform besteht aus ihren Ökosystemprodukten:

  • IRI CoSort für schnellste Big Data Manipulation seit 1978
  • IRI NextForm zur Datenmigration und -formatierung
  • IRI FieldShield zur Datenmaskierung von sensiblen Daten in semi- un strukturierten Quellen
  • IRI DarkShield zur Datenmaskierung von sensiblen Daten in semi- und unstrukturierten Quellen
  • IRI RowGen zur synthetischen Testdatengenerierung

Dieser Artikel beschreibt detailliert, wie man Vertica-Quellen erreicht. Er beschreibt näher die ODBC- und JDBC-Verbindungen und Konfigurationen, die erforderlich sind, um Vertica mit der SortCL-Engine und dem IRI Workbench Job Design Client zu registrieren, die den meisten IRI-Softwareprodukten, die strukturierte Datenquellen verarbeiten, gemeinsam sind.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Microsoft Power BI ❌ 20x schnellere Datenintegration und Datenvisualisierung, mit Datenbereinigung und Datenmaskierung ❗

❌ Microsoft Power BI ❌ 20x schnellere Datenintegration und Datenvisualisierung, mit Datenbereinigung und Datenmaskierung ❗

By |
Schnellere Datenvorbereitung für Power BI: Power BI ist ein beliebtes Self-Service-Business Intelligence-Tool von Microsoft. Es kann individuell gestaltete Dashboards und Berichte erstellen, die für die Web- oder mobile Darstellung vorbereitet sind. Das Paket ermöglicht es Endanwendern Berichte und Dashboards ohne Unterstützung der IT-Abteilung zu erstellen.

Einfache Datenwrangling-Aufträge wie Sortierung und Aggregation vor und nach der Anzeige der Daten können dauern jedoch zu lange oder stürzen ab, wenn sie mit großen Datenquellen versorgt werden.

Power BI mit mehr Power: Wenn Sie mehrere oder hochvolumige Datenquellen erfassen, integrieren, bereinigen oder maskieren müssen, sollten Sie dies außerhalb der BI-Schicht tun! Das Programm SortCL im IRI CoSort Paket oder die Datenmanagement-Plattform IRI Voracity wickelt schnell und kostengünstig große, rohe Datenquellen im Dateisystem (nicht im SQL Server) ab. Durch die Zentralisierung der Vorverarbeitungsarbeit von Sortier-, Joint- und Aggregattransformationen in SortCL wird dieser Overhead aus Power BI entfernt und die Zeit bis zur Anzeige und Einsicht drastisch verkürzt.

Alle Details finden Sie hier im technischen Blog-Artikel: Beschleunigung von Power BI!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ MariaDB und MySQL ❌ Schnellere Datenbankabfrage- und Ladeleistung, sowie sensible PII schützen ❗

❌ MariaDB und MySQL ❌ Schnellere Datenbankabfrage- und Ladeleistung, sowie sensible PII schützen ❗

By |
Die Lösung für zeitaufwendige Probleme bei der Arbeit mit MariaDB- und MySQL-Datenbanken:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen
  • Migration oder Replikation
  • Maskierung sensibler Daten
  • Generierung intelligenter und sicherer Testdaten

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, erfordern eine Optimierung und dauern dann immer noch zu lange.

Beschleunigen Sie die Entladung: Verwenden Sie IRI FACT (Fast Extract) zur Beschleunigung der MySQL-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um Tabellendaten in Flat-Files zu übertragen. Geben Sie SELECT * aus der Tabelle an, damit Sie das Entladen nicht mit Kennzeichen wie "distinct", "order by" und "group by" belasten. Aber sobald sich diese Daten in der Flat-File befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu deduplizieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Beschleunigen Sie die Ladungen: Nutzen Sie IRI CoSort um Flat-Files für den Massen-BCP-Import vorzusortieren. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt mit der Index-Erstellung zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

Beschleunigen Sie die Reorgs und Abfragen: Eine Möglichkeit ist der Offline Reorg Wizard in der IRI Workbench, um die Kombination der oben genannten schnellen Extraktions-, Sortier- und Rückladevorgänge für klassische (Offline-)MySQL-Reorgs zu kombinieren und zu automatisieren, die die Pflege Ihrer Tabellen in optimaler Abfragereihenfolge erleichtern.

Lagern Sie die SQL-Transformationen aus: IRI CoSort entlastet auch die Datenbank von Verarbeitungsaufwand. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms.

Migrieren und replizieren Sie die Datenbanken: IRI NextForm ist die Lösung zur Erfassung, Neuzuordnung, Neuformatierung und Erstellung/Befüllung neuer Tabellen bei Migrationen zu und von MySQL. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort verwenden, um Daten in MySQL neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Kopien und föderierte Ansichten von Daten zu erstellen.

Maskieren Sie Daten in MySQL-Spalten: IRI FieldShield ist die Lösung um sensible Daten in MySQL zu maskieren, wie personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI), wendet FieldShield Maskierung, Verschlüsselung und andere De-Identifizierungsfunktionen auf eine oder mehrere Spalten gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und GDPR einzuhalten.

Generieren Sie synthetische Testdaten: IRI RowGen befüllt MySQL-Operationen schnell mit sicheren Testdaten. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren.

In diesem Blog unseres finden Sie ausführliche technische Artikel, Demos und Benchmarks!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Microsoft SQL Server ❌ 10-fache ETL-Beschleunigung, Data Preparation und DSGVO-konformen Datenschutz gewährleisten ❗

❌ Microsoft SQL Server ❌ 10-fache ETL-Beschleunigung, Data Preparation und DSGVO-konformen Datenschutz gewährleisten ❗

By |
Herausforderungen: Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken lokal oder in der Azure-Cloud:

  • Datenermittlung: Profilerstellung, Klassifizierung, ERDs
  • Be- und Entladen großer Tabellen
  • Routinemäßige Versorgungsoperationen (Reorgs)
  • Komplexe Abfragen oder PowerBI-Performance
  • Migrations- oder Replikationsarbeiten
  • Schlechte Datenqualität oder Einheitlichkeit
  • Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall)
  • Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
  • Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, etc.

Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange.

Lösungen: Einfache und kostengünstige IRI-Software löst all diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung.

1) Unload-Beschleunigung: IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um große Tabellen schnell in flache Dateien zu übertragen.

Geben Sie SELECT * FROM aus der Tabelle an, damit Sie das Entladen nicht mit Qualifier wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten)…. parallel, außerhalb der Datenbank.

Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.

2) Load-Beschleunigung: IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.

Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.

3) Reorgs- und Abfragebeschleunigung: Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.

4) Optimierung von Transformationen (ETL) und BI-Datenaufbereitung: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall

Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen.

5) Migration und Replikation von SQL Server Datenbanken: IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.

6) Daten bereinigen und anreichern (Qualität): IRI CoSort um Fehler in Datenwerten, Bereichen, Formaten oder Kontexten zu finden und zu beheben. Scrubben und standardisieren Sie doppelte oder fuzzy-angepasste Werte. Weitere Möglichkeiten zur Datenqualität finden Sie hier.

7) Klassifizieren und Maskieren von sensiblen Daten: IRI FieldShield um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.

8) SQL Server Testdaten generieren: IRI RowGen um SQL Server- oder SSIS ETL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer integrierter Ansatz.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Push von IBM Informix ❌ Schnellere Datenintegration von/nach Informix und DSGVO-konformen Datenschutz von OLTP- und IoT-Daten gewährleisten❗

❌ Push von IBM Informix ❌ Schnellere Datenintegration von/nach Informix und DSGVO-konformen Datenschutz von OLTP- und IoT-Daten gewährleisten❗

By |
Schnelleres Datenmanagement und höchste Datensicherheit in nur einer Konsole!

IRI Workbench™ ist die kostenlose grafische Benutzeroberfläche (GUI) und integrierte Entwicklungsumgebung (IDE) für alle IRI-Datenmanagement- und Schutzsoftwareprodukte und die Voracity-Plattform, die sie beinhaltet. Die unter Windows, MacOS und Linux verfügbare Workbench steuert Aufträge über bewährte IRI CoSort und Hadoop Engines und nutzt dabei alles, was Eclipse™ bietet.

Dieser Artikel dokumentiert die Verbindungen, die in IRI Workbench- und 64-bit CoSort-kompatiblen Runtime-Umgebungen erforderlich sind, um mit 64-bit Informix Dynamic Server (IDS) v12 Tabellenquellen und -zielen zu arbeiten. Wie Sie sehen werden, laufen diese Schritte auf die gleiche Weise ab wie andere RDBMS-Verbindungen, die wir in diesem Blog dokumentiert haben, einschließlich: MS SQL, Oracle, PostgreSQL, Salesforce, Snowflake und Teradata.

In jedem Fall ist eine JDBC-Verbindung erforderlich, um das visuelle Browsen und den Metadatenaustausch mit der Datenquellen-Explorer-Ansicht und den Assistenten der oberen Symbolleiste in der IRI-Workbench zu unterstützen. Eine ODBC-Verbindung ist erforderlich, um den Datentransfer zwischen der Datenbank und der SortCL-Engine zu unterstützen.

Erfahren Sie hier die Voraussetzungen und die 3 Schritte um IBM Informix zu verbinden:

Schritt 1. Stellen Sie die ODBC-Verbindung her
Schritt 2. Stellen Sie die JDBC-Verbindung her
Schritt 3. Registrieren der Verbindung

Die IRI Workbench verfügt über Assistenten für die Erstellung, Konvertierung, Erkennung und Verwaltung von Metadaten, mit denen Sie einfache Jobskripte (SortCL usw.), Datendefinitionsdateien (DDF) und XML-Workflows erstellen, bereitstellen und verwalten können, die für alle IRI-Softwaretypen gleich sind. Sie können auch Ihre Datenbanken verwalten und Anwendungen in jeder anderen Sprache oder jedem anderen Plug-in entwickeln und mit ihnen arbeiten, das in Eclipse unterstützt wird.

Alles, was Sie brauchen: Vereinfacht in einer GUI basierend auf Eclipse™!

1. Datenermittlung, Profilerstellung, Klassifizierung und Metadatendefinition
2. Sehr große Datenbank (VLDB) Extraktion (E) in IRI FACT oder Voracity
3. Datentransformation (T), Laden (L) und BI / Datenwrangling in IRI CoSort oder Voracity
4. DW ETL, Change Data Capture und DB-Reorgs mit FACT und CoSort, oder Voracity
5. Datenmigration und -replikation über IRI NextForm oder Voracity
6. Datenmaskierung, Verschlüsselung und Re-ID-Risikobewertung in IRI FieldShield, DarkShield, CellShield EE oder Voracity
7. Testdatengenerierung mit IRI RowGen oder Voracity
8. E-R-, Workflow- und Transform-Mapping-Diagramme

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ IBM DataStage ❌ Nahtlos 10x schnellere Datenintegration für ETL-Tool IBM InfoSphere DataStage ❗

❌ IBM DataStage ❌ Nahtlos 10x schnellere Datenintegration für ETL-Tool IBM InfoSphere DataStage ❗

By |
Herausforderungen: Auch nachdem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage.

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen.

DataStage-Transformationen beschleunigen: Beschleunigen Sie das Sortieren, Aggregieren und Zusammenführen in einem einzigen Durchgang mit der CoSort Sort Control Language (SortCL) in einer sequentiellen Dateistufe oder einem Unterprogramm vor der Job-Routine. Führen Sie große Datentransformationen durch, ohne andere Aufträge in DataStage, Ihrer Datenbank oder Ihrem BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungsfunktionen auf Feldebene, benutzerdefinierte Berichte und vorsortierte Ladedateien an. Verbessern Sie die Leistung der DataStage, indem Sie eine sequentielle Dateistufe vor der Aggregation hinzufügen, ein SortCL-Skript ausführen, um die Datei extern nach Trennschlüsseln vorzusortieren, und dann die sortierten Felder in der Aggregationsstufe definieren.

PII in DataStage maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen. Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

DataStage Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten, .dsx-definierten Dateien und allen über JDBC verbundenen RDB-Datenmodellen. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.

DataStage-Jobs neu platzieren: Erleichtern Sie die Migration von DataStage zu einem schnelleren, kostengünstigeren ETL-Betrieb in IRI Voracity mit Erwin Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie sowie die ADS Lite Speed Conversion Services geben ETL-Architekten und der CIO/CFO-Suite schließlich die Möglichkeit, Hunderttausende von Euros sofort einzusparen und in Zukunft auf kostengünstige Betriebskosten umzustellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Pentaho Data Integration ❌ 16-fache ETL-Beschleunigung von PDI (vorher Kettle) und End-to-End Datenmanagement ❗

❌ Pentaho Data Integration ❌ 16-fache ETL-Beschleunigung von PDI (vorher Kettle) und End-to-End Datenmanagement ❗

By |
Pentaho Data Integration (PDI) von Hitachi Vantara ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber einige (Sicherheits-)Mängel auf!

1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge.

2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden.

3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich.

Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung verbessern können und stellen dann Möglichkeiten vor, Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung zu erstellen.

Seit 1978 wird IRI CoSort eingesetzt, um Sortierfunktionen oder Sortierprozessschritte von Drittanbietern zu beschleunigen oder zu ersetzen. CoSort ist ein eigenständiges Produkt und die Standard-Datenmanipulations-Engine im Betrieb der IRI Voracity Datenmanagement-Plattform. Lizenznehmer beider Produkte können CoSort-Jobs in der kostenlosen IRI Workbench GUI, auf der Kommandozeile, von Pentaho aus, etc. ausführen.

Die Software Pentaho Data Integration (PDI) enthält eine native Sortierung, die für Ihre hochvolumigen Eingaben möglicherweise nicht schnell genug ist. Die PDI-Prozessabläufe unterstützen jedoch die Verwendung von Funktionen von Drittanbietern, so dass Daten extern sortiert werden können, ohne den Prozess zu unterbrechen. Durch die Verwendung des Shell-Skriptschritts von PDI zum Aufruf eines CoSort-Jobs (z. B. SortCL-Skript) können die Sortierzeiten drastisch reduziert werden.

Pentaho- und CoSort-Anwender können ein SortCL-Sortierskript in einem Texteditor oder über den neuen Sortierjob-Assistenten in der IRI Workbench GUI, die auf Eclipse™ aufbaut, erstellen.

Benchmarks zeigen, dass die Verwendung des Pentaho/CoSort-Hybrids 14-16 Mal schneller ist als die Verwendung des nativen Sortierschritts in Pentaho allein!

Über das Sortieren hinaus führt das CoSort SortCL-Programm eine Reihe zusätzlicher Transformationen zur gleichen Zeit durch und bereinigt, migriert, föderiert, schützt und berichtet über Daten in unterschiedlichen Quellen. Selbst wenn Sie Pentaho für viele Aktivitäten verwenden, können Sie also feststellen, dass es unter Umständen effizienter ist, bestimmte langsamer laufende Schritte an CoSort auszulagern, wenn Sie ein hohes Datenvolumen haben.

Klicken Sie hier für die Maskierung von Produktionsdaten in Pentaho, um so PII zu schützen und Datenschutzgesetze einzuhalten, oder hier um Testdaten für Pentaho synthetisch zu erstellen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Informatica ❌ Nahtlos 6-fache ETL-Beschleunigung mit Pushdown-Optimierung und DSGVO-konformen Datenschutz gewährleisten❗

❌ Informatica ❌ Nahtlos 6-fache ETL-Beschleunigung mit Pushdown-Optimierung und DSGVO-konformen Datenschutz gewährleisten❗

By |
Informatica beschleunigen oder ersetzen: ETL-Jobs einfach beschleunigen oder neu gestalten!

PowerCenter-Transformationen sehr großer Datenmengen erfordern eine Partitionierung und können auch nach Rücksprache und Abstimmung langsamer laufen als gewünscht. Engpässe können bei großen Sortier-, Join-, Aggregations-, Lade- oder Entladevorgängen auftreten. Die ersten Optionen von Informatica zur "Pushdown-Optimierung" verlagern die Last in eine bereits ausgelastete Datenbank (Oracle) oder eine sehr teure/komplexe Plattform (Teradata).

Eine weitere ernste Notwendigkeit ist der Schutz sensibler Produktionsdaten, die durch das Informatica Data Warehouse, den Data Mart oder den Testbetrieb transportiert werden. Möglicherweise müssen Sie rollenbasierte Datensicherungen anwenden oder große Mengen realistischer, referenzfreier Testdaten für Prototypanwendungen erzeugen und bestimmte Ziele ausfüllen.

Pushdown-Optimierung: Um Transformationen, Berichte und Schutz auf Feldebene im Allgemeinen zu beschleunigen, sollten Sie die Verwendung von CoSort SortCL-Programmen neben Ihren PowerCenter- oder PowerMart-Betrieben in Betracht ziehen.

Die American Stock Exchange nutzt CoSort als "Push-Down-Optimierung", um die Transformationsleistung drastisch zu steigern. Auf einer 4-CPU IBM p640, die PowerCenter 20m:35s zum Sortieren benötigte, erledigte SortCL den gleichen Job in 1m:19s. Dies stellte nur eine nominelle inkrementelle Softwareinvestition dar und belastete ihre Datenbank nicht.

Führen Sie große Sortierungen, Joins, Aggregationen und Ladungen im Dateisystem durch, wo es viel schneller ist. Plus, konvertieren Sie Datei- und Datentypen, maskieren Sie PII und erstellen Sie benutzerdefinierte Berichte – alles gleichzeitig (im selben Job-Skript und I/O-Pass). Hier weitere Details.

Kostengünstige Datenmaskierung: Möglicherweise möchten Sie die von Informatica erworbene dynamische Datenmaskierungs-Software nicht verwenden. Das datenzentrische Sicherheitsprodukt IRI FieldShield, verfügt über mehr Methoden zum Schutz von Feldern in strukturierten Datensätzen und verwendet einfache, portable, Eclipse™-unterstützte Jobskripte.

Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen: formaterhaltende AES-256, Open SSL- und GPG-Verschlüsselung, Lookup-Value-Substitution (Pseudonymisierung), Zeichenmaskierung, benutzerdefinierte Ausdruckslogik, Benutzerfeld-Funktionen und vieles mehr.

Konformität der Testdaten: Benötigen Sie Testdaten für das Prototyping von Informatica ETL? Nutzen Sie IRI RowGen, um es schnell und kostengünstig zu generieren. Mit RowGen können Sie realistische, referenziell korrekte Testdaten erstellen, um Zieltabellen, Data Marts, Data Vault-Modelle, vollständige EDWs, Flat-Files und Produktionsberichte aufzufüllen und dabei Ihre Datenbankdatenmodelldateien (.DDL) und Informatica Metadaten zu nutzen.

Re-Plattform: Sie können ETL-Aufträge in Informatica nun automatisch über die Erwin (ehemals AnalytiX DS) Code-Automation Frameworks (CATfx) Technologie in Voracity konvertieren. Sowohl Informatica- als auch Voracity-Metadaten sind in Erwin Mapping Manager modelliert, so dass Sie Projekte problemlos zwischen den beiden Plattformen verschieben können. Voracity ist im Vergleich zu Informatica PowerCenter um ein Vielfaches schneller und kostengünstiger und mit dieser bewährten Technologie ist es endlich möglich, zu wechseln.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel
❌ Data Vault 2.0 ❌ Datenmigration von RDB-Datenbankmodell in eine Data Vault 2.0 Architektur – der hybride Ansatz ❗

❌ Data Vault 2.0 ❌ Datenmigration von RDB-Datenbankmodell in eine Data Vault 2.0 Architektur – der hybride Ansatz ❗

By |
End-to-End Datenmanagement: Die IRI Workbench IDE enthält einen Data Vault Generator Assistenten, der den Benutzern der IRI Voracity Plattform hilft, ein relationales Datenbankmodell in eine Data Vault 2.0 (DV) Architektur zu migrieren. Der Assistent hat drei Ausgabeoptionen, die von den Bedürfnissen des Benutzers abhängen.

Alle Optionen erstellen das Entity Relationship Diagram (ERD) für die Ausgaben. Die erste Option erzeugt nur die vollständige DDL und ERD. Die zweite Option erstellt eine DDL für Tabellen, die noch nicht existieren, und erstellt außerdem Jobskripte zum Laden der Daten aus den Quelltabellen in die neuen Zieltabellen. Die dritte Option erstellt eine DDL für Tabellen, die nicht existieren, und lädt die neuen Tabellen mit zufällig generierten Testdaten. Dieser Artikel behandelt Option drei.

Laut Dan Lindstedt, dem Erfinder des Data Vault, "ist der Data Vault ein detailorientierter, historisch nachverfolgender und eindeutig verknüpfter Satz normalisierter Tabellen, die einen oder mehrere Funktionsbereiche des Unternehmens unterstützen.

Data Vault ist ein hybrider Ansatz, der das Beste aus der 3. Normalform (3NF) und dem Sternschema umfasst … [es] ist eine Datenintegrationsarchitektur; eine Reihe von Standards und definitorischen Elementen oder Methoden [dafür, wie] Informationen innerhalb eines RDBMS-Datenspeichers verbunden werden, um sie sinnvoll zu nutzen."

Im DV2-Standard gibt es drei Arten von Tabellen. Ein Hub enthält die eindeutigen Geschäftsschlüssel. Ein Link definiert die Beziehungen zwischen den Geschäftsschlüsseln. Ein Satellit enthält den Kontext (Attribute) der Tabelle. Ein Satellit kann entweder ein Kind einer Hub- oder einer Link-Tabelle sein.

In jeder dieser Tabellen wird ein Hash der Rohdaten des Schlüssels als Primärschlüssel der neuen Tabelle verwendet. Jede Tabelle enthält auch die Quelle der ursprünglichen Daten und einen Ladezeitstempel für die historische Verfolgung. Ein Satellit enthält auch einen Endzeitstempel und eine optionale Hash-Differenz zur Verfolgung von Änderungen an den Datensätzen.

Der "Voracity Data Vault Generator Wizard" verwendet die vorhandenen Primär- (PK) und Fremdschlüssel (FK) als Ausgangspunkt für die Organisation der neuen Tabellen. Die Standardwerte pro Tabelle sind wie folgt:

  1. Ein Knotenpunkt für jeden PK-Schlüssel (einschließlich zusammengesetzter Schlüssel).
  2. Ein Link für jeden selbstreferenzierenden FK.
  3. Ein Link für jede Gruppe von FKs (ohne die selbstreferenzierenden Schlüssel).
  4. Ein Satellit auf dem Hub, wenn die Tabelle null FKs enthält.
  5. Ein Satellit auf dem Link, wenn mindestens ein FK existiert.

In diesem Beispiel werden sieben verknüpfte Tabellen verwendet, die Personaldaten darstellen. Nachfolgend ist die ERD für die Quelltabellen dargestellt. Alle technischen Details dazu sind hier im Blog-Artikel zu finden.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

Über JET-Software

Das Unternehmen JET-Software GmbH wurde 1986 in Deutschland gegründet. Seit fast 4 Jahrzehnten entwickeln wir Software für Big Data Management und Schutz! Unsere Produkte sind für alle gängigen Betriebssysteme: Mainframe (BS2000/OSD, z/OS + z/VSE) und Open Systems (UNIX & Derivate, Linux + Windows).

Wir bieten Lösungen für schnellstes Datenmanagement (Datenprofilierung, Bereinigung, Integration, Migration und Reporting sowie Beschleunigung der BI/DB/ETL-Plattform von Drittanbietern) und datenzentrierten Schutz (PII/PHI-Klassifizierung, -Erkennung und -Deidentifizierung, sowie Re-ID-Risikobewertung und Generierung synthetischer Testdaten).

Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Firmenkontakt und Herausgeber der Meldung:

JET-Software
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
Telefon: +49 (6073) 711403
Fax: +49 (6073) 711405
E-Mail: amadeus.thomas@jet-software.com
Weiterführende Links
Für die oben stehende Story ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die United News Network GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die United News Network GmbH gestattet.

counterpixel

Für die oben stehenden Pressemitteilungen, das angezeigte Event bzw. das Stellenangebot sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Herausgeber verantwortlich. Dieser ist in der Regel auch Urheber der Pressetexte sowie der angehängten Bild-, Ton- und Informationsmaterialien. Die Nutzung von hier veröffentlichten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber.