Data Integration
Validi strumenti di gestione del dato, in termini di storage e computation, devono essere accostati ad altrettanto valide soluzioni di data integration per massimizzare il valore estraibile dai dati.
Ingestion & Transformation
Il valore dei Big Data non risiede nel proprio volume ma nella correlazione tra la varietà di fonti, di tipologie e di formati dei dati che, su grandi volumi e tramite opportuni processi tecnici e di business, possono garantire l’estrazione di nuova conoscenza.
Gestire svariati set di dati e integrarli tra loro per ottenere una visione aggregata, coerente e connessa con la strategia aziendale, è una sfida tecnica che in Koros Consulting affrontiamo mediante l’utilizzo di tecnologie ETL. Proponiamo, Talend Data Integration come tool ETL on premise e AWS Glue in ambiente cloud. Per i dati in streaming utilizziamo la piattaforma Confluent.
Sfruttando tali tecnologie integriamo e trasformiamo i dati in modo da offrire ai nostri clienti una vista unificata e a lungo termine dei dati. Grazie alla combinazione dei dataset più vecchi insieme a quelli più recenti alimentiamo il Data Lake aziendale per rendere i dati disponibili per successive elaborazioni e analisi di dettaglio.
ETL
Extract, Transform, Load
Extract
Estrazione - Il primo passaggio, quello dell’estrazione dalle fonti di origine, estrapola flussi di dati grezzi, strutturati e non strutturati, provenienti da database esistenti, sistemi legacy, ambienti cloud, ibridi e locali, dispositivi mobile e app. I dati vengono assimilati completamente o in base a regole predefinite e consolidati in un unico repository.
Transform
Trasformazione - La trasformazione è generalmente considerata la parte più importante del processo ETL. Pulizia, standardizzazione, de-duplicazione, verifica, ordinamento fanno parte delle attività di trasformazione dei dati che ne migliorano l'integrità e li rendono gestibili, confrontabili e compatibili.
Load
Caricamento - I dati appena trasformati e pronti per l'uso, vengono caricati sul sito di destinazione e saranno fruibili per le successive analisi.
Tecnologie
Talend
Grazie a Talend è possibile gestire le richieste dei volumi dati in costante crescita, gli utenti e casi d’uso sempre più complessi grazie alla sua architettura aperta, nativa e scalabile per implementare velocemente le innovazioni del mercato.
Confluent
Piattaforma completa per l’analisi di eventi in streaming che aggiunge alla potenza del sistema di messaggistica Apache Kafka numerosi connettori per estrazione, trasformazione e caricamento dei dati in real-time.