Utilizzo delle distanze statistiche per la convalida delle reti di sensori in tempo reale
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Condividere: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/it/
Overlapping kernel densities,
(credits)

Nel 2008, quando è iniziato il progetto World Air Quality, tutte le stazioni di monitoraggio della qualità dell’aria esistenti erano basate su tecnologie BAM e TOEM altamente professionali e costose. Questo tipo di stazioni sono sempre gestite da operatori professionali e altamente qualificati - e questo garantisce che ci si possa fidare del risultato di questa stazione.

12 anni dopo, le stazioni BAM e TOEM esistono ancora. Ma con lo sviluppo della tecnologia di diffusione laser e dei sensori di polvere a basso costo, le stazioni BAM e TOEM sono ora superate in numero da immense e dense reti di sensori a basso costo. Al giorno d'oggi, ci sono così tante di queste reti - per citarne alcune: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air, ecc.

Uno dei problemi fondamentali delle reti di sensori a basso costo è la loro affidabilità: poiché molti di questi sensori non vengono mantenuti adeguatamente (o non vengono manutenuti affatto), la quantità di sensori che producono misurazioni completamente errate non è trascurabile. Inoltre, la maggior parte della rete non utilizza stazioni con sensori replicati (a differenza della nostra stazione Gaia , che utilizza 3 sensori replicati), rendendo ancora più difficile sapere quando un singolo sensore non funziona.

In questo articolo, esamineremo la rete di sensori dispiegata nella meravigliosa città di Volos in Grecia, e studieremo i mezzi per qualificare e quantificare l'affidabilità della stazione in tempo reale.


--

La meravigliosa città di Volos in Grecia

Volos (greco: Βόλος) è una città portuale costiera. Con una popolazione di 144.449 abitanti (2011), è anche la sesta città più popolosa della Grecia. È un importante centro industriale, mentre il suo porto funge da ponte tra Europa e Asia. Attualmente ci sono 5 stazioni a Volos: una dell'EPA greca , che fornisce dati orari da una stazione BAM professionale, e 4 stazioni in tempo reale a basso costo della rete lutf-daten :



La stazione EPA di Volos si trova presso l'edificio dell'Amministrazione Decentralizzata della Tessaglia e della Grecia Centrale . Anche tutte le altre stazioni si trovano in zone residenziali, ad eccezione di Argonafton che si trova accanto al porto.

Il traffico nel porto non è trascurabile, con una media di circa 8 navi in arrivo/partenza al giorno , di cui l'80% delle navi sono cargo - al momento in cui scriviamo.

Uno dei problemi noti con i carichi può essere l'inquinamento da particelle provenienti dai tubi di scarico, dovuto al carburante di bassa qualità . Ma guardando il panorama da cui si trova la stazione Argonafton, la distanza dai carichi è sufficientemente grande da non giustificare una costante fonte di inquinamento atmosferico. Ci si potrebbe aspettare di vedere alcune volte in cui l'aria è più inquinata ad Argonafton, soprattutto quando le grandi imbarcazioni stanno manovrando, ma non sempre. Dopotutto, sono solo 8 le navi che manovrano al giorno.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Dati delle serie temporali degli ultimi 30 giorni

Sulla base delle informazioni relative all'ubicazione delle stazioni, ci si potrebbe aspettare che tutte le stazioni concordino su livelli simili di inquinamento atmosferico, ad eccezione di sporadici eventi di inquinamento più elevati per Argonafton. Ma purtroppo non è proprio così, come confermato dal grafico della serie temporale riportato di seguito:

Il grafico della serie temporale indica chiaramente che i dati per Argonafton sembrano sovrastimati rispetto ad altre stazioni. Allo stesso modo, i dati per Dimarxou sembrano sottostimati.

Per evidenziare meglio il problema è visualizzare il 75° percentile AQI giornaliero, tracciato utilizzando la gamma di colori AQI corrispondente. La deviazione da Argonafton è evidente. Inoltre, è possibile distinguere due cluster centrati attorno a Riga-Feraiou+Kasthanaías e Volos EPA+Dimarxou.


--

Quantificazione delle differenze delle serie temporali

Quando si tratta di confrontare serie temporali correlate, la soluzione migliore è confrontare le loro distribuzioni probabilistiche. I 3 grafici seguenti rappresentano la distribuzione della densità, CDF (funzione di distribuzione cumulativa) e QQ (utilizzando Volos EPA come CDF di riferimento). Tutti questi 3 grafici si basano sui dati della serie temporale degli ultimi 30 giorni, ma puoi anche selezionare un intervallo di tempo specifico nei primi grafici della serie temporale e quei 3 grafici verranno aggiornati utilizzando i valori dell'intervallo di tempo specificato.

Osservando la distribuzione probabilistica ad occhio nudo, è ovvio che c’è una grande differenza tra Argonafton, Dimarxou e la stazione EPA di riferimento di Volos. Vale la pena notare che c'è un "bump" attorno all'AQI 150: il motivo è che il grafico di distribuzione si basa sull'AQI piuttosto che sulla concentrazione grezza, e l'intervallo più compatto dell'AQI [150.200] (rispetto a [100.150]) rende l'AQI è più denso per >150 rispetto a <150.

Quando si tratta di quantificare questa differenza, è possibile utilizzare il concetto di distanza statistica per quantificare la "bontà di adattamento". Le distanze più conosciute sono le distanze Kolmogorov-Smirnov, Wasserstein e Cramér-von Mises (per una buona introduzione su tali distanze, fare riferimento a queste eccellenti spiegazioni ). La tabella seguente mostra le distanze in base ai dati di 30 giorni (i valori verranno aggiornati se si seleziona un intervallo di tempo dal grafico della serie temporale principale).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Sebbene la distanza Kolmogorov-Smirnov non catturi correttamente le distanze relative (evidenziando Dimarxou fino ad Argonafton), sia le distanze Wasserstein che Cramér-von Mises evidenziano un'ovvia distanza maggiore per Argonafton. I valori nella tabella sopra si basano su dati di 30 giorni. I 3 grafici sottostanti si basano sulla media mobile di 7 giorni degli ultimi 30 giorni.

Questi grafici confermano che utilizzando la distanza Wasserstein o Cramér-von, la distanza dalla stazione Argonafton e dall’EPA Volos è costantemente almeno il doppio della distanza rispetto alle altre stazioni.

Correlazione dei dati meteorologici

Per confermare l'ipotesi che la stazione Argonafton stia producendo letture di concentrazione anomale e sovrastimate, dobbiamo guardare i dati meteorologici: la condizione in cui la stazione Argonafton potrebbe vedere una concentrazione più elevata è quando il vento soffia da sud, cioè dove il vento trasporterebbe i fumi dei tubi di scarico del carico verso la stazione.

Il primo passo è controllare la direzione e la velocità media del vento negli ultimi 30 giorni. I dati sul vento sono ottenuti sia dalla stazione METAR dell'aeroporto di Volos, sia dalla stazione meteorologica Netatmo Tthiseos . Le due rose dei venti rappresentano il numero di volte in cui il vento soffia in ciascuna direzione.

Entrambi i grafici delle rose dei venti mostrano che il vento soffia principalmente da ovest o est e molto meno da sud. Dato che ci sono montagne nella parte settentrionale di Volos, sostanzialmente non c'è vento da nord.

Sulla base di questa conferma empirica che il vento soffia meno da sud che da un'altra direzione, non è possibile dedurre che i tubi di scarico del carico siano la causa delle maggiori concentrazioni di PM 2,5 per la stazione Argonafton. Questa ipotesi è inoltre invalidata dal grafico di correlazione tra 3 delle stazioni e la direzione del vento dell'aeroporto, che mostra che non vi è alcuna prova chiara (per nessuna delle stazioni) che il vento da sud implichi elevate concentrazioni.

Infine, dobbiamo anche verificare se il problema con l'Argonafton potrebbe essere legato all'umidità relativa. Il problema potrebbe essere, ad esempio, dovuto alla maggiore umidità che rende le particelle più grandi e quindi implica una maggiore concentrazione. Il grafico di correlazione riportato di seguito conferma che ciò non è corretto, poiché non vi è alcuna prova chiara che la concentrazione sia proporzionale all'umidità.

Conclusione

In questo articolo abbiamo esaminato i mezzi per quantificare e qualificare la qualità dei dati per le stazioni in tempo reale. Supponendo che esista una stazione attendibile di riferimento, abbiamo dimostrato che la quantificazione utilizzando la distanza di Cramér-von Mises o Wasserstein può indicare problemi con qualsiasi dato della stazione.

Abbiamo anche dimostrato che la distanza di per sé non è sufficiente e che, per essere più precisi, occorre comprendere il contesto della stazione. come la sua posizione e le condizioni meteorologiche. Tuttavia, poiché il contesto non è qualcosa che può essere automatizzato, la soluzione finale utilizzata per il progetto WAQI consiste nel qualificare una stazione la cui distanza statistica dalla stazione di riferimento sia inferiore a 1/4. Questo verrà messo in atto nelle prossime settimane (vedi aqicn.org/station/ per la mappa delle stazioni in tempo reale.

Questo articolo fa parte della serie e nel prossimo articolo esamineremo i mezzi di stazione di qualificazione dove non è disponibile una stazione di riferimento.


--

Volos promenade by night
Clicca qui per vedere tutte le voci delle FAQ
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Informazioni sulla misurazione della qualità dell'aria e dell'inquinamento:

    Informazioni sui livelli di qualità dell'aria

    -Valori dell'indice di qualità dell'aria (AQI).Livelli di preoccupazione per la salute
    0 - 50BuonaLa qualità dell'aria è considerata soddisfacente e l'inquinamento atmosferico presenta rischi minimi o nulli
    51 -100ModeratoLa qualità dell'aria è accettabile; tuttavia, per alcuni inquinanti può esserci un problema di salute moderato per un numero molto limitato di persone che sono insolitamente sensibili all'inquinamento atmosferico.
    101-150Malsano per gruppi sensibiliI residenti appartenenti a gruppi sensibili (per patologie) possono avere effetti sulla salute. È improbabile che gli effetti siano seri per tutta la popolazione.
    151-200malsanoOgnuno può iniziare a sperimentare effetti sulla salute; i membri di gruppi sensibili possono avere effetti sulla salute più gravi
    201-300Molto malsanoAvvisi sulla salute delle condizioni di emergenza. È più probabile che l'intera popolazione sia colpita.
    300+PericolosoAllerta salute: chiunque può essere soggetto a effetti piu gravi sulla propria salute

    Per saperne di più sulla qualità dell'aria e sull'inquinamento, consulta l' argomento Qualità dell'aria di Wikipedia o la guida Airnow sulla qualità dell'aria e la tua salute .

    Per consigli sanitari molto utili del dottor Richard Saint Cyr MD di Pechino, controlla il blog www.myhealthbeijing.com .


    Avviso di utilizzo: Tutti i dati relativi alla qualità dell'aria non sono validati al momento della pubblicazione e, a causa dell'assicurazione della qualità, questi dati possono essere modificati, senza preavviso, in qualsiasi momento. Il World Air Quality Index progetto ha esercitato tutte le ragionevoli capacità e attenzione nella compilazione del contenuto di queste informazioni e in nessun caso il World Air Quality Index team di progetto o i suoi agenti sono responsabili in contratto, illecito o altro per qualsiasi perdita, danno o danno derivante direttamente o indirettamente dalla fornitura di questi dati.



    Settings


    Language Settings:


    Temperature unit:
    Celcius