EIDA Protocol

Protocollo per l'inserimento dei dati sismici nel nodo di EIDA Italia

L'INGV si fa promotore dei principi e delle regole per l'immissione di dati e metadati di alta qualità nel nodo EIDA Italia (EN).

Si definisce una strategia per l'inserimento di nuove reti o anche singole stazioni nel sistema EIDA, che preveda:

  • la valutazione delle caratteristiche della strumentazione;
  • la valutazione dell'installazione;
  • la validazione dei metadati;
  • certificazione della qualità dei dati post-inserimento;
  • pubblicazione dei dati;
  • il monitoraggio continuo dei dati archiviati;

Tutti gli Enti fornitori di dati (Data Provider, DP) all'archivio, aderendo a quanto stabilito in questo protocollo, riconoscono che l'inserimento in EIDA è di loro interesse.

La gestione, la cura e la distribuzione del dato è affidata al EN Italia

I DP convengono sulla necessità dei principi qui esposti.

I rapporti fra i DP e EN Italia sono formalizzati tramite la sottoscrizione di un Data Management Agreement (DMA), secondo quanto previsto dalla Politica dei Dati dell'INGV.

Il DMA, solitamente indicato come Supplier Letter comprende fra i suoi punti più significativi:

  • Proprietà dei dati;
  • Modalità di aggiornamento dei metadati, in particolare:
    • Il data provider deve comunicare qualsiasi modifica alla stazione/strumentazione prima dell'intervento;
    • il data center deve apportare la modifica per assicurare la continuità e la correttezza dei dati distribuiti;
  • Impegno da entrambe le parti a risolvere i problemi di qualità dei dati, quali: mancata trasmissione, problemi di completezza, disturbi nelle registrazioni;
  • Individuazione di referenti tecnici da entrambe le parti;

La richiesta di inserimento avviene tramite il modulo di richiesta, in cui devono essere specificate un insieme di informazioni indispensabili, qui per brevità riassunte in:

  • il data provider (come definito nella Supplier Letter);
  • il responsabile del dataset (per assicurare curation e qualità di dati e metadati);
  • il titolare dei dati (ente di appartenenza);
  • le condizioni (di entrambe le parti) sotto le quali saranno distribuiti i dati;
  • la Politica dei Dati;
  • se esiste un Embargo e quali siano i termini e le motivazioni;

DP e EN possono convenire di utilizzare i dati in tempo reale per fini di monitoraggio. In tal caso è necessario compilare la relativa parte del modulo di richiesta, in cui sono esplicitati i punti seguenti:

  • se è consentito l'uso dei dati in tempo reale per la sorveglianza sismica
  • se è permessa l'eventuale ridistribuzione dei dati in tempo reale da parte di INGV

Sulla base delle informazioni fornite nel modulo di richiesta EN Italia verifica:

  • la congruenza di quanto fornito con la Supplier Letter;
  • il tipo di licenza e la sua congruenza con la Politica dei Dati dell'INGV;
  • Se e quali limiti esistano all'accesso o all'uso dei dati;
  • Durata e scadenza di eventuale periodi di "embargo";
  • Motivazione di questi limiti.

Il nodo EIDA si riserva di non accettare dati da reti con data policy non congrua con quella dell'INGV o di non distribuirli.

Prima dell'inserimento dei dati nell'archivio, è necessario

  • la registrazione del codice di rete presso FDSN
  • la registrazione della sigla di stazione presso International Registry (IR) gestita dal ISC;
  • Verifica che un altro nodo EIDA non sia già authoritative per la stazione
  • Verifica status distribuzione in IRIS o altri data center;
  • Metadati delle stazioni:
    • Correttezza dei metadati in formato Station XML o in un formato trasformabile in StationXML;
    • Rispetto degli standard e delle convenzioni internazionali, EIDA e del data center;
    • Verifica della nomenclatura dei canali;

I dati vengono acquisiti in tempo reale tramite protocollo seedlink. Il data provider ed il nodo EIDA concordano sulle modalità perché sia possibile la verifica

Prima della definitiva accettazione ed immissione della stazione/rete EN Italia provvede alle seguenti verifiche:

Durante questo periodo i dati non sono disponibili nè su Eida nè per per Il Servizio di Sorveglianza Sismica

Superata la validazione, i dati:

  • Vengono inseriti a pieno titolo nell'archivio e distribuiti in EIDA;
  • Se concordato possono essere usati per sorveglianza, servizi e prodotti, da precisare con i responsabili dei vari servizi o prodotti.
  • se è previsto il conferimento di dati di archivio precedenti alla trasmissione in tempo reale, essi verranno trasferiti con le modalità prevista per il recupero differito dei dati a seguito di un ripristino della trasmissione o con altra modalità espressamente concordata fra DP e EN, non prima che siano stati acquisiti i relativi metadati.

La stazione i cui dati vengono distribuiti tramite EN Italia deve soddisfare i criteri di qualità minima stabiliti al momento del suo inserimento (intervalli di regolarità del funzionamento stabiliti nei Criteri per la valutazione di una stazione sismica).

Se lo scostamento dal regolare funzionamento supera un periodo prefissato (detto periodo di tolleranza) EN intraprende delle azioni sulla visibilità dei dati in archivio e modifiche ai metadati di stazione, per allineare l'informazione del metadato alla realtà dei dati, fino a che il problema non venga risolto e il funzionamento ritorni regolare (all'interno dei criteri fissati).

Superato il periodo di tolleranza, la stazione/il canale vengono dichiarati guasti per il periodo di malfunzionamento. Le operazioni di modifica del metadato consentite sono le seguenti:

  1. eliminazione della visibilità del canale/stazione guasto verso l'esterno
  2. chiusura del canale
  3. chiusura della stazione

Eliminazione della visibilità

Il canale viene reso invisibile dall'esterno senza ulteriori modifiche: i dati, anche se precedenti al guasto, non saranno accessibili.

Chiusura del canale

Il canale viene dichiarato chiuso alla data iniziale del guasto. I dati precedenti saranno comunque ancora accessibili.

Chiusura della stazione

La stazione viene dichiarata chiusa alla data iniziale del guasto. I dati precedenti degli stream della stazione saranno comunque accessibili.

DP può fare una richiesta di modifica dei metadati secondo le modalità consuete scegliendo una delle operazioni elencate, anche prima di aver superato il periodo di tolleranza, non appena si rende conto della impossibilità di risolvere il problema entro il periodo di tolleranza stesso.

Nel caso in cui la richiesta non venga fatta, EN comunicherà l'operazione che intende eseguire a propria scelta al termine del periodo di tolleranza, con un preavviso minimo di 5 giorni lavorativi. Fino al termine del periodo di tolleranza DP potrà comunque provvedere a inserire richiesta di modifica, anche se diversa da quella comunicata da EN.

I Criteri vengono periodicamente aggiornati al fine di elevare la qualità del sistema progressivamente. Gli aggiornamenti dei Criteri vengono messi a disposizione dei data provider con ragionevole anticipo rispetto alla loro entrata in vigore.

Il protocollo garantisce la qualità di dati e metadati delle stazioni, ma richiede del tempo per essere correttamente eseguito in ogni sua parte. Questo tempo difficilmente si concilia con l'urgenza tipica delle installazioni delle stazioni durante un'emergenza sismica.

L'INGV si è dotato in una struttura apposita per il coordinamento delle Reti Sismiche Mobili INGV in emergenza, SISMIKO. Il protocollo di inserimento prevede una procedura d'urgenza concordata ad hoc con SISMIKO che costituisce l'unica modalità per inserire stazioni di emergenza in EIDA.

Viene stabilita perciò una procedura di verifica e controllo qualità continuo della strumentazione da "zona rossa". Con l'adozione della procedura il gruppo SISMIKO garantisce il corretto funzionamento e la correttezza dei metadati al momento dell'installazione in emergenza.

I dettagli di dette procedure e la definizione dei metadati, sia di stazione che di rete, sono concordati fra SISMIKO e EIDA, mentre per la registrazione del DOI SISMIKO fa riferimento alle linee guida indicate dalla FDSN. La Data Policy adottata è quella stabilita per SISMIKO. L'adozione della procedura di urgenza consente l'inserimento immediato dei dati delle stazioni di emergenza, assicurando al contempo che tutti i requisiti di validità per EIDA siano soddisfatti.

  • Memorandum of understanding INGV (Nodo Italiano) e Orfeus (EIDA federation)
  • Protocollo Sismiko
  • Politica dati dell'INGV

FDSN recommendations for seismic network DOIs and related FDSN services, version 2, Ottobre 2023. Link: https://www.fdsn.org/pdf/DOI-Recommendations-2023.pdf

DataCite Metadata Working Group. (2019). DataCite Metadata Schema Documentation for the Publication and Citation of Research Data. Version 4.3. DataCite e.V. https://doi.org/10.14454/7xq3-zf69

Moduli di richiesta

Inserire tutti i campi obbligatori contrassegnati con *
Campo obbligatorio
Responsabile scientifico
Campo obbligatorio
Campo obbligatorio
Campo obbligatorio
Responsabile tecnico di contatto
Campo obbligatorio
Campo obbligatorio
Campo obbligatorio
Sezione metadati
Campo obbligatorio
Campo obbligatorio
Scelta obbligatoria
Scelta obbligatoria

Fornire un mezzo con cui ottenere i metadati in formato Station XML *

Sezione Tempo Reale
Campo obbligatorio
Scelta obbligatoria
L'abilitazione è necessaria alla attivazione della stazione in EIDA
Sistemi di archiviazione e recupero dati

Il data provider mette a disposizione sistemi di accesso al suo archivio locale per operazioni di recupero dati in caso di interruzioni del collegamento.

Indicare l'opzione scelta per il Recupero dati:

Archivio dati storici

Se si vuole integrare dati acquisiti in precedenza e disponibili in un archivio del data provider, va compilata la sezione seguente.

Scelta obbligatoria
In caso alla precedente domanda si sia risposto Si, compilare la parte seguente
Scelta obbligatoria
Scelta obbligatoria
Scelta obbligatoria
Scelta obbligatoria

Inserire tutti i campi obbligatori contrassegnati con *
Campo obbligatorio
Responsabile scientifico
Campo obbligatorio
Campo obbligatorio
Campo obbligatorio
Responsabile tecnico di contatto
Campo obbligatorio
Campo obbligatorio
Campo obbligatorio
Checklist
Campo obbligatorio
Scelta obbligatoria
Scelta obbligatoria

Caratteristiche di stazioni per l'inserimento in EIDA - Italia

  1. Digitalizzatore lineare ad alta dinamica
  2. Campioni al secondo dello stream principale: >=100 (200 per gli accelerometri)
  3. Il datastream di riferimento è sempre il canale HH (di preferenza a 100Hz) per il velocimetro e/o HN (a 200 Hz) per l'accelerometro
  4. Formato dei dati standard: ad oggi miniseed con encoding STEIM1 o STEIM2
  5. Protocollo di trasmissione standard: ad oggi SeedLink
  6. Sigla di stazione e rete e denominazione dei canali secondo gli standard ISC, FDSN e SEED rispettivamente
  7. Metadati, nella forma stationXML
  8. Politica dei dati: open, con embargo per casi speciali (esperimenti)
  9. Disponibilità del dato: 99% nel periodo di valutazione
  10. Numero di interruzioni significative (circa 30m): <= 2/mese
  11. Rumorosità del sito: media della PSD compresa fra curve LNM HNM, nella banda fra 0.05-5.0 Hz.

Criteri per la valutazione di una stazione sismica già presente in EIDA

Scopo:

E' stato proposto un protocollo per l'inserimento di stazioni in EIDA e per l'utilizzo di queste stazioni per prodotti e servizi. Il protocollo prevede un inserimento preliminare delle stazioni nel sistema di acquisizione per valutare la loro qualità. Durante questa prima fase i dati vengono acquisiti, ma non distribuiti agli utenti, né sono disponibili per i servizi. Dopo questo periodo è prevista una valutazione.

Si propongono qui di seguito i criteri di valutazione e la definizione di criteri minimi per accettare una stazione proposta per l'archiviazione in EIDA. Dopo la prima applicazione di tali criteri alle nuove stazioni, il Centro Dati si riserva di applicarli anche alle stazioni già presenti nell'archivio, in modo da convergere verso criteri più oggettivi nella gestione della rete e dei relativi guasti.

Nota 1: La qualità dei metadati viene verificata già all'inserimento della stazione nel catalogo.

Nota 2: I parametri e limiti numerici (messi tra parentesi quadre [ ]) sono da considerare solo suggerimenti a scopo illustrativo, da discutere e da concordare.

1. Metriche e criteri

Funzionamento stazione e vettore generale, disponibilità dati

  • Dati disponibili in archivio (senza considerare la latenza)
    • percentuale per giorno, variabilità;
    • no. giorni sopra soglia limite;
    • percentuale per periodi estesi;
  • Dati disponibili in tempo reale (dati disponibili entro una latenza massima, deadline)
    • percentuale per giorno di dati disponibili entro deadline definita
    • percentuale per periodi estesi;
    • variabilità;
    • Giorni senza perdita dati (100 %)
    • percentuale o numero rispetto al periodo di monitoraggio;

Valutazione del segnale (strumentazione):

  • assenza di offset (da definire come offset massimo in percentuale del fondo scala)
  • assenza di patologie sul segnale
    • tipo: spike, cambio baseline, segnali spuri
    • obvious white noise floor
    • obvious noise sources of instrumental origin (e.g. mains)
    • oscillations of instrumental origin
  • verifica confronto relativo
    • strumentazione co-locata, per esempio VEL vs. ACC, VEL1 vs. VEL2 (anche ACC vs. GPS?);
    • con strumentazione mobile;
    • relative azimuth
    • relative amplitude (tele-seismic events)

Valutazione del segnale sismico (sito):

  • confronto con self-noise model dello strumento, nominale;
  • confronto con noise model sismologia;
  • confronto segnale registrato vs. modellato
2. Criteri di per considerare/dichiarata una stazione "guasta"
  • Dati non arrivano, da almeno [3] ore;
  • Completezza dati minore di una certa percentuale, tipo [95] % giorno. Questo criterio valuta il funzionamento della stazione a sé. Si basa sui dati archiviati e considera anche dati recuperati in un secondo momento;
  • Disponibilità dati in tempo reale sotto [90] % in un giorno; Questo criterio valuta solo dati che arrivano entro una determinata deadline, valore proposto [60] s (oppure 30 s?), quindi l'intero sistema stazione e trasmissione. Dati che arrivano oltre questa deadline non vengono considerati. Percentuale di dati disponibili valutati sulla base giornaliera.
  • Elevato offset, offset maggiore di [10] % di full-scale;
  • Presenza di patologie strumentali;