Startseite » Business & Software » Softwareindustrie » ?Legacy ETL Tool Beschleunigung? Filter/Sort/Join/Aggregate: Pentaho 15x schneller, SSIS + DataStage 10x, Informatica 6x und Talend 4x ?

?Legacy ETL Tool Beschleunigung? Filter/Sort/Join/Aggregate: Pentaho 15x schneller, SSIS + DataStage 10x, Informatica 6x und Talend 4x ?

Herausforderungen:

Die meisten ETL- und ELT-Tools sowie die von ihnen verwendeten Datenbankmodule können große Datenmengen nicht effizient transformieren ohne:

eine teure Parallelverarbeitungs-Edition

Entnahme von Datenbank- oder Systemressourcen von Dritten

eine komplexe, schwer zu wartende Hadoop-Umgebung

eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades

das Problem auf eine noch teurere Datenbank zu übertragen

Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die zu lange dauern können. Auch nachfolgende Aufgaben wie das Laden, Analysieren oder BI-Displays leiden. Und diese E-, T- und L-Schritte werden typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt.

Lösungen:

Wenn Sie andere ETL- oder ELT-Software verwenden, können IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort – oder die IRI Voracity ETL- und Datenmanagement-Plattform, die sie unterstützt – innerhalb anderer ETL-Tools ausgeführt werden, die auf Unix-, Linux- oder Windows-Hardware laufen.

Optimieren Sie Sortier-, Joint- und Aggregationstransformationen in Inormatica, DataStage, Talend, Pentaho, ODI und anderen Tools mit der SortCL-Engine im CoSort Produkt oder der Voracity-Plattform. Viele SortCL-Aufträge können auch nahtlos in Hadoop ausgeführt werden und werden mit anderen Tools auf API- oder Skriptebene aufgerufen, z.B. in Kalido, ETI, Software AG Natural, SAS und TeraStream.

Verwenden Sie die Metadaten und Workflows die Sie haben und rufen Sie die IRI-Software einfach von Ihrem Tool aus auf, um die Geschwindigkeit zu erhöhen und/oder Entladen, Datentransformationen und Operationen wie:

Sortierungen

Joins

Aggregate

Lookups

Perl-kompatible reguläre Ausdrücke

Datentyp- und Dateiformatkonvertierungen

Feld-/Spaltenverschlüsselung und Maskierung

Detail-, Delta- (CDC) und Summenberichte

Pivoting von Zeilen und Spalten

Slowly Changing Dimensions

Generierung von Testdaten

Sie können IRI-Jobs auch von der Shell aus (als Batch-Ausführung oder ETL-Tool-Befehl) über API oder Eclipse GUI aufrufen und Daten bei Bedarf über Dateien, Pipelines oder Prozeduren hin und her fließen lassen. In der GUI-Umgebung der IRI Workbench können Sie die einzelnen Job-Spezifikationen oder komplette ELT- oder ELT-Flüsse erstellen, die CoSort (und FACT) mit Ihren Quellen und Zielen verbinden.

Erwin (AnalytiX DS) und Meta Integration Model Bridge (MIMB) Software oder Dienste können auch Metadaten, die in gängigen ETL-Tools (wie Informatica–s.xml und DataStage.dsx Repositories) definiert sind in gleichwertige Voracity-Daten- (und/oder Job-) Spezifikationen konvertieren, wenn Sie diese Mappings in Voracity umplatzieren möchten um Geld und Zeit zu sparen. Diese automatische Metadatenreplikation bewahrt Ihre bestehenden Designinvestitionen, erleichtert die Schaffung von Arbeitsplätzen und reduziert die Migrationskosten.

Weltweite Referenzen: Seit über 40 Jahren nutzen weltweit Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Lufthansa, Mercedes Benz,.. unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer Referenzen hier mit detaillierten Use Cases.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software besitzt die Vertriebsrechte für diese Produkte für ganz Deutschland. Hier finden Sie weitere Informationen zu unserem Partner IRI Inc.

JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.

Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.

Posted by on 14. April 2020. Filed under Softwareindustrie. You can follow any responses to this entry through the RSS 2.0. You can leave a response or trackback to this entry

Sie müssen angemeldet sein um Kommentare zu schreiben Anmelden


Blogverzeichnis - Blog Verzeichnis bloggerei.de Blog Top Liste - by TopBlogs.de Blogverzeichnis