Importazioni massive

Introduzione

La seguente sezione descrive lo standard per l'importazione massiva di dati da sistemi esterni e della loro integrazione all’interno della piattaforma. L'importazione viene attivata in corrispondenza di specifici eventi applicativi (ad esempio autenticazione dell’utente o trigger di sistema quali eventi o webhook) e gestisce la sincronizzazione dei record tra i provider esterni e il sistema di archiviazione locale.

Trigger Pattern

Event Source

Componente responsabile della generazione di eventi, derivanti da interazioni utente o trigger applicativi/sistemici (es. autenticazione, webhook, scheduler).

Event Handler

Modulo di orchestrazione che riceve eventi dall’Event Bus, li interpreta e instrada i flussi applicativi corrispondenti.

Authentication Flow

Flusso dedicato alla gestione dei meccanismi di autenticazione e autorizzazione necessari per l’accesso a sistemi o provider esterni.

Import Flow

Flusso che implementa la logica di acquisizione, trasformazione e integrazione dei dati provenienti da sistemi esterni nel dominio applicativo locale.

Three-Phase Import Pattern

Il pattern di importazione si suddivide in tre fasi:

Fase 1: Preparazione (Request Builder)

• Input: Parametri contestuali (utente, tenant, configurazioni applicative)

• Output: Richiesta strutturata per il sistema esterno

• Responsabilità: Composizione della richiesta (payload, intestazioni, endpoint di destinazione)

Fase 2: Esecuzione (Provider Communication)

• Input: Richiesta preparata

• Output: Risposta del sistema esterno

• Responsabilità: Invocazione del canale di comunicazione (es. HTTP, SOAP, gRPC), gestione degli errori, raccolta di metriche e tracciamento delle prestazioni

Fase 3: Elaborazione (Data Processing)

• Input: Risposta del sistema esterno

• Output: Entità normalizzate e integrate nel dominio applicativo locale

• Responsabilità: Mappatura, arricchimento e persistenza dei dati

Data Processing Pattern

Il pattern di importazione e gestione dei dati si articola in sei fasi principali, ognuna con responsabilità specifiche e complementari. Questo approccio garantisce ordine, chiarezza e tracciabilità del processo end-to-end, dalla ricezione dei dati esterni fino alla loro persistenza e notifica nel sistema locale.

Data Lookup

La prima fase prevede la ricerca e l’identificazione di entità già presenti nel sistema, al fine di determinare se i dati ricevuti corrispondono a record esistenti.

Update Pattern

Se un’entità esistente viene individuata, entra in gioco la strategia di aggiornamento. In questa fase vengono applicate le regole di aggiornamento per mantenere i dati coerenti e allineati con le informazioni più recenti.

Create Pattern

Qualora non venga rilevata alcuna corrispondenza, il sistema procede alla creazione di nuove entità. Questa fase consente di ampliare il patrimonio informativo con record del tutto nuovi.

Data Enrichment

Una volta individuate o create le entità, queste possono essere arricchite con informazioni complementari. L’arricchimento può attingere a fonti esterne o interne per completare i dati e aumentarne il valore informativo.

Persistence

Terminata la fase di arricchimento, le entità normalizzate vengono salvate nel livello di persistenza del sistema. Questa operazione assicura la disponibilità dei dati per le elaborazioni successive e per l’uso applicativo.

Event Publish

Infine, ogni modifica o creazione viene notificata all’infrastruttura di messaggistica tramite la pubblicazione di eventi. In questo modo altri componenti o servizi possono reagire in tempo reale ai cambiamenti avvenuti.

External Data Enrichment Pattern

Il processo di arricchimento dei dati si fonda su diverse fonti informative e di configurazione. Ognuna di esse fornisce un contributo specifico alla costruzione dell’entità finale, garantendo accuratezza, coerenza e contestualizzazione rispetto al dominio applicativo.

Dati Core dal Provider

Contiene le configurazioni specifiche di tenant e servizio, consentendo di adattare la logica di arricchimento al contesto applicativo e garantendo flessibilità multi-tenant.

Dataset Esterni

Rappresenta una possibile fonte esterna di supporto, costituita da dataset o sistemi di categorizzazione che possono essere utilizzati per classificare e organizzare i dati secondo criteri predefiniti. L’impiego di questa fonte è opzionale e non sempre necessario: viene adottato solo nei casi in cui la classificazione o la segmentazione delle entità porti un valore aggiunto al processo di arricchimento.