? Azure Databricks Delta Lake ? Schutz sensibler Daten ohne Datenexport oder Formatkonvertierung ?

Datemaskierung von Azure Databricks Delta Lake: Innovative Routines International hat die Plattform IRI Voracity sowie das Datenmaskierungstool IRI FieldShield um die native Unterstützung von Azure Databricks Delta-Tabellen erweitert. Unternehmen können damit sensible Daten in modernen Lakehouse-Umgebungen direkt identifizieren, klassifizieren, maskieren und transformieren, ohne die Daten exportieren oder in andere Formate konvertieren zu müssen.

Delta Lake bildet die Standard-Speicherschicht von Azure Databricks und ist die Grundlage moderner Lakehouse-Architekturen. Als Open-Source-Technologie erweitert Delta Lake das Parquet-Dateiformat um ein Transaktionsprotokoll, das ACID-konforme Transaktionen, eine zuverlässige Metadatenverwaltung und eine hohe Skalierbarkeit ermöglicht. Durch die vollständige Integration mit Apache Spark und Structured Streaming lassen sich dieselben Daten sowohl für Batch- als auch für Echtzeitverarbeitung nutzen. Funktionen wie Schemaerzwingung, Versionierung („Time Travel“) und leistungsstarke Analysefunktionen sorgen dabei für eine konsistente und performante Datenverarbeitung.

Mit der neuen Integration kann IRI FieldShield sensible Daten – darunter personenbezogene Daten (PII), Gesundheitsdaten (PHI) und Finanzinformationen – direkt in Delta-Lake-Tabellen schützen. Die Verarbeitung erfolgt auf Daten, die in Azure Data Lake Storage gespeichert und über Azure Databricks verwaltet werden. Dabei bleiben Performance, Zuverlässigkeit und Skalierbarkeit auch bei großen Datenmengen erhalten.

Darüber hinaus unterstützt IRI FieldShield den dreistufigen Unity Catalog von Databricks (Katalog, Schema und Tabelle). Dadurch können sensible Daten zentral über gesamte Lakehouse-Umgebungen hinweg identifiziert und abgesichert werden – sowohl in Batch- als auch in Streaming-Workloads. Gleichzeitig bleiben die Governance-, Integritäts- und Konsistenzfunktionen von Delta Lake vollständig erhalten.

Zu den wichtigsten Vorteilen der neuen Integration zählen:

Native Datenmaskierung für Delta-Lake-Tabellen ohne Datenexport oder Formatkonvertierung

Schutz sensibler Daten direkt innerhalb der Lakehouse-Umgebung

Erhaltung von ACID-Transaktionen und Schemaerzwingung während der Datenverarbeitung

Hochperformante Verarbeitung großer analytischer Datenbestände

Unterstützung von Batch- und Streaming-Anwendungen in Azure Databricks

Zentrale Identifizierung und Absicherung sensibler Daten über den Unity Catalog

Mit dieser Erweiterung stärkt IRI den Schutz cloudnativer Datenplattformen und unterstützt Unternehmen dabei, regulatorische Anforderungen wie die DSGVO (GDPR), HIPAA, PCI DSS und CPRA einzuhalten. Gleichzeitig profitieren Datenanalyse-, KI- und Data-Engineering-Projekte von einer sicheren und leistungsfähigen Grundlage für die Verarbeitung sensibler Daten in modernen Lakehouse-Architekturen.

Effizienz trifft Erfahrung: Seit mehr als vier Jahrzehnten unterstützen unsere Softwarelösungen Unternehmen bei Datenmanagement und Datenschutz – technologisch führend, zuverlässig im produktiven Einsatz und branchenübergreifend einsetzbar.

Seit 1978 im Einsatz: Zahlreiche namhafte Unternehmen, Dienstleister, Finanzinstitute sowie Landes- und Bundesbehörden zählen zu unseren langjährigen Kunden – nationale Referenzen sind hier gelistet und internationale Referenzen sind hier zusammengefasst.

Maximale Kompatibilität: Unsere Software unterstützt sowohl klassische Mainframe-Plattformen (Fujitsu BS2000/OSD, IBM z/OS, z/VSE, z/Linux) als auch moderne Open-System-Umgebungen wie Linux, UNIX-Derivate und Windows.

Sparen Sie Zeit und Geld bei der Manipulation oder dem Schutz Ihrer Daten mit unserer bewährten Low-Code-Datenmanagement- und Maskierungssoftware. Wir verbinden modernste Technologie mit jahrzehntelanger Erfahrung in der Verarbeitung von Produktionsdaten auf verschiedenen Plattformen und in unterschiedlichen Branchen.

Mit unserer Software können Sie:

Große Sortier- und ETL-Aufträge beschleunigen

Beschleunigung von Datenbank-Entladungen, -Ladungen, -Reorgs und -Abfragen

Konvertieren und Neuformatieren von alten Datentypen, Dateien und Datenbanken

Erstellung benutzerdefinierter Berichte oder Aufbereitung von Daten für Analysen und KI

Ersetzen von alten ETL-, SQL- und Sortieraufträgen

Suchen, Extrahieren und Restrukturieren unstrukturierter Daten

Replizieren und Erfassen geänderter Datenbank-Daten in Echtzeit

Filtern, Bereinigen, Anreichern und Standardisieren von Daten

PII klassifizieren, entdecken und de-identifizieren

Daten statisch, dynamisch oder inkrementell maskieren

PHI-Re-ID-Risiko bewerten und Quasi-Identifikatoren anonymisieren

Synthetisieren von strukturell und referenziell korrekten Testdaten

Profitieren Sie von der Leistungsfähigkeit und Flexibilität der preisgekrönten IRI-Lösungen, die von Analysten beraten und durch 40 Partnerbüros weltweit unterstützt werden. Vermeiden Sie die steile Lernkurve und die hohen Kosten von Multi-Tool- und Mega-Anbieter-Lösungen und entdecken Sie die Vorteile schnellerer Design- und Laufzeiten für Ihr Unternehmen.

Die spezifischen Lösungen sind kompatibel mit allen gängigen Betriebssystemen, vom Mainframe (Fujitsu BS2000/OSD, IBM z/OS und z/VSE + z/Linux) bis hin zu Open Systems (UNIX & Derivate, Linux + Windows).

Seit 1978 weltweit anerkannt im B2B-Sektor: Großunternehmen, nationale und internationale Dienstleister, Privat-, Groß-, Landes- und Bundesbanken, Sozial- und Privatversicherungen sowie deutsche, Landes- und Bundesbehörden!