Architetture software

VIDEO

DATA QUALITY PIPELINEyoutube.com/watch?v=evfdjv_YAGw

IMG040I VIDEO PRONTO. PREMI INVIO O CLICCA PER RIPRODURRE.

DATA QUALITY PIPELINE · IL SOFTWARE DEL VIDEO

Raccoglie le tariffe di ricarica per auto elettriche pubblicate su una piattaforma europea di eRoaming, le legge anche dai PDF, le riunisce in un unico template e verifica la qualità dei dati e la conformità al regolamento europeo AFIR.

PIPELINE.FUNZIONI

7 FUNZIONI
  • Download automatico da 6 fonti per ogni offerta, con nuovi tentativi automatici sui file falliti
  • Lettura dei PDF tariffari in 14 lingue, tra cui italiano, inglese, tedesco, francese e spagnolo
  • Ogni dato estratto ha un livello di affidabilità dichiarato: certo, medio, da rivedere a mano
  • Un unico template che riunisce API, punti di ricarica, listini e regole dai PDF, con ogni modifica tracciata
  • 10 controlli di qualità su ogni riga e un report che attribuisce ogni errore a un responsabile, con la sua gravità
  • Verifica di conformità AFIR (Reg. UE 2023/1804), con semaforo e articolo violato
  • Interfaccia a terminale in stile 3270 e assistente AI per leggere i risultati

PIPELINE.STEP

STEP 00-09
  • 00DOWNLOADLogin automatizzato nel browser e download da 6 fonti per offerta (API, PDF, Excel, CSV), con verifica preventiva degli indirizzi e un secondo giro di tentativi sui falliti.
  • 01ANALISI PDFRiconosce colonne, titoli, tabelle e note, e segnala i PDF da cui non si estrae testo.
  • 02REGOLE DAI PDFCinque stadi: rilevamento dei prezzi, classificazione in 14 lingue, normalizzazione, eliminazione dei doppioni, generazione delle regole tariffarie. Ogni regola è marcata come certa, media o da rivedere.
  • 03TEMPLATE INTERMEDIOUnisce API, punti di ricarica e tre formati di listino, anche a struttura variabile, e accorpa le fasce orarie. Ogni scarto ha il suo codice motivo.
  • 04TEMPLATE FINALEDai PDF entrano solo le regole certe, nei campi autorizzati. Ogni sovrascrittura è in rosso, con il valore precedente in nota. Toglie i duplicati.
  • 05VALIDAZIONE QA10 controlli su ogni riga: tariffe senza fascia, sosta senza periodo, testo in campi numerici, valuta ISO 4217, formato delle fasce orarie, testo dei PDF nei campi strutturati.
  • 06CONSEGNAUna cartella datata per ogni esecuzione, con tutti i file prodotti.
  • 07REPORT ERRORIOgni errore ha un responsabile (piattaforma, operatore o pipeline) e una gravità (bloccante, alta, media), con vista per errore e per operatore.
  • 08CONFORMITÀ AFIR10 controlli sul Reg. UE 2023/1804 con l'articolo di riferimento, prezzi convertiti in euro sui cambi BCE, esito PASS · WARNING · FAIL per operatore.
  • 09CONTROLLO FINALEVerifica la copertura delle offerte nuove e bilaterali, segnala gli operatori senza identificativo e chiude con le statistiche.
PIPELINE.TECNOLOGIEPYTHON · PANDAS · OPENPYXL · PYMUPDF · REQUESTS · RICH · PLAYWRIGHT · HTML/JS · AI
>> F4 = AVVIA IL TUO PROGETTO
4BAIMAGINA01 Imagina · P.IVA 04146980125 · Privacy 001/015