Korištenje statističkih udaljenosti za provjeru mreže senzora u stvarnom vremenu
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Udio: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/hr/
Overlapping kernel densities,
(credits)

Još 2008. godine, kada je započeo projekt World Air Quality, sve postojeće stanice za praćenje kvalitete zraka bile su bazirane na visoko profesionalnoj i skupoj BAM i TOEM tehnologiji. Ovu vrstu postaja uvijek održavaju profesionalni i visokokvalificirani operateri - a to osigurava pouzdanost rezultata ove stanice.

12 godina kasnije, stanice BAM i TOEM još uvijek postoje. Ali s razvojem tehnologije laserskog raspršivanja i jeftinog senzora prašine, BAM i TOEM stanice sada su brojčano nadmašene golemim i gustim jeftinim mrežama senzora. Danas postoji toliko mnogo tih mreža - da spomenemo samo neke: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air itd.

Jedan od temeljnih problema s mrežom jeftinih senzora je njihova pouzdanost: budući da se mnogi od tih senzora ne održavaju ispravno (ili se uopće ne održavaju), količina senzora koji proizvode potpuno pogrešna mjerenja nije zanemariva. Štoviše, većina mreže ne koristi stanice s repliciranim senzorima (za razliku od naše stanice Gaia , koja koristi 3 replicirana senzora), što dodatno otežava saznanje kada jedan senzor ne radi.

U ovom članku, gdje će se promatrati senzorska mreža postavljena u prekrasnom gradu Volosu u Grčkoj, i proučavati sredstva za kvalificiranje i kvantificiranje pouzdanosti stanice u stvarnom vremenu.


--

Prekrasan grad Volos u Grčkoj

Volos (grčki: Βόλος) je obalni lučki grad. Sa populacijom od 144.449 (2011.), također je šesti grad po broju stanovnika u Grčkoj. Važno je industrijsko središte, a njegova luka predstavlja most između Europe i Azije. Trenutno postoji 5 postaja u Volosu: jedna iz grčke EPA , koja pruža podatke po satu s profesionalne BAM stanice, i 4 jeftine postaje u stvarnom vremenu iz mreže lutf-daten :



Postaja Volos EPA nalazi se u zgradi Decentralizirane uprave Tesalije i Središnje Grčke . Sve ostale postaje također se nalaze u stambenim područjima, s izuzetkom Argonaftona koji se nalazi uz luku.

Promet u luci nije zanemariv, s prosjekom od oko 8 brodova u dolasku/odlasku dnevno , pri čemu su 80% brodova teretni - u vrijeme pisanja.

Jedan od poznatih problema s teretom može biti zagađenje česticama iz ispušnih cijevi, zbog nekvalitetnog goriva . No, gledajući panoramu s mjesta gdje se nalazi stanica Argonafton, udaljenost do tereta je dovoljno velika da ne opravda stalni izvor onečišćenja zraka. Moglo bi se očekivati nekoliko puta kada je zrak zagađeniji u Argonaftonu, posebno kada veliki brodovi manevriraju, ali ne uvijek. Uostalom, to je samo 8 brodova koji manevriraju dnevno.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Podaci o vremenskoj seriji za posljednjih 30 dana

Na temelju informacija s položaja postaja, moglo bi se očekivati da se sve postaje slažu oko sličnih razina onečišćenja zraka, s izuzetkom sporadičnih događaja većeg onečišćenja za Argonafton. Ali dobro, nažalost, to zapravo nije slučaj, kao što je potvrđeno iz dijagrama vremenske serije u nastavku:

Grafikon vremenskog niza jasno pokazuje da se podaci za Argonafton čine precijenjenim u usporedbi s drugim postajama. Slično, čini se da su podaci za Dimarxou podcijenjeni.

Problem je bolje istaknuti vizualizacijom dnevnog 75. AQI percentila, iscrtanog pomoću odgovarajućeg raspona boja AQI. Odstupanje od Argonaftona je očito. Štoviše, moguće je razlikovati dva klastera sa središtem oko Rige-Feraiou+Kasthanaías i Volos EPA+Dimarxou.


--

Kvantificiranje razlika vremenskih nizova

Kada se radi o usporedbi koreliranih vremenskih serija, najbolje je usporediti njihove vjerojatnosne distribucije. Tri grafikona u nastavku predstavljaju distribuciju gustoće, CDF (funkcija kumulativne distribucije) i QQ (koristeći Volos EPA kao referentni CDF). Sva ta 3 grafikona temelje se na podacima vremenskog niza za posljednjih 30 dana, ali također možete odabrati određeni vremenski raspon u prvim grafikonima vremenskog niza, a ta 3 grafikona će se ažurirati pomoću vrijednosti iz zadanog vremenskog raspona.

Gledajući distribuciju vjerojatnosti golim okom, očito je da postoji velika razlika između Argonaftona, Dimarxoua i referentne Volos EPA postaje. Vrijedno je primijetiti da postoji "izbočina" oko AQI 150: Razlog je što se dijagram distribucije temelji na AQI, a ne na sirovoj koncentraciji, a kompaktniji [150,200] AQI raspon (u usporedbi s [100,150]) čini AQI gušći za >150 u usporedbi s <150.

Kada je riječ o kvantificiranju ove razlike, moguće je upotrijebiti koncept statističke udaljenosti za kvantificiranje "prilagođenosti". Najpoznatije udaljenosti su Kolmogorov-Smirnovljeva, Wassersteinova i Cramér-von Misesova udaljenost (za dobar uvod o tim udaljenostima pogledajte ova izvrsna objašnjenja ). Tablica u nastavku prikazuje udaljenosti na temelju podataka od 30 dana (vrijednosti će se ažurirati ako odaberete vremenski raspon s glavnog grafikona vremenskog niza).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Dok Kolmogorov-Smirnovljeva udaljenost ne pokazuje ispravno relativne udaljenosti (ističući Dimarxoua do Argonaftona), i Wassersteinova i Cramér-von Misesova udaljenost ističu očiglednu veću udaljenost za Argonafton. Vrijednosti u gornjoj tablici temelje se na podacima za 30 dana. Donja 3 grafikona temelje se na 7-dnevnom pomičnom prosjeku za zadnjih 30 dana.

Ti grafikoni potvrđuju da je korištenjem bilo Wassersteinove ili Cramér-von udaljenosti, udaljenost od postaje Argonafton i Volos EPA konstantno barem dvostruko veća od udaljenosti od ostalih postaja.

Usklađivanje meteoroloških podataka

Kako bismo potvrdili hipotezu da postaja Argonafton proizvodi abnormalna i precijenjena očitanja koncentracije, moramo pogledati meteorološke podatke: uvjet pod kojim bi postaja Argonafton mogla vidjeti višu koncentraciju je kada vjetar puše s juga, tj. gdje bi vjetar nosio isparenja iz ispušnih cijevi tereta prema stanici.

Prvi korak je provjeriti prosječni smjer i brzinu vjetra tijekom zadnjih 30 dana. Podaci o vjetru dobivaju se s METAR stanice zračne luke Volos, kao i s meteorološke stanice Netatmo Tthiseos . Dvije ruže vjetrova predstavljaju koliko puta vjetar puše u svakom smjeru.

Oba grafikona ruže vjetrova pokazuju da vjetar uglavnom puše sa zapada ili istoka, a mnogo manje s juga. Budući da se na sjevernom dijelu Volosa nalaze planine, dolje uglavnom nema vjetra sa sjevera.

Na temelju ove empirijske potvrde da vjetar puše manje s juga nego s drugog smjera, nije moguće zaključiti da su ispušne cijevi tereta uzrok viših koncentracija PM 2,5 za stanicu Argonafton. Ovu hipotezu također poništava dijagram korelacije između 3 postaje i smjera vjetra u zračnoj luci, koji pokazuje da nema jasnih dokaza (ni za jednu od postaja) da južni vjetar podrazumijeva visoke koncentracije.

Na kraju, također moramo provjeriti može li problem s Argonaftonom biti povezan s relativnom vlagom. Problem bi mogao biti, na primjer, zbog veće vlažnosti koja čini veličinu čestica većom i stoga implicira veću koncentraciju. Donji dijagram korelacije potvrđuje da to nije točno jer nema jasnih dokaza da je koncentracija proporcionalna vlažnosti.

Zaključak

U ovom članku smo se bavili načinima kvantificiranja i kvalificiranja kvalitete podataka za postaje u stvarnom vremenu. Pod pretpostavkom da postoji referentna pouzdana postaja, pokazali smo da kvantificiranje pomoću udaljenosti Cramér-von Mises ili Wasserstein može ukazati na probleme s bilo kojim podacima postaje.

Pokazali smo i da udaljenost sama po sebi nije dovoljna, te da točnije treba razumjeti kontekst postaje. kao što su njegov položaj i meteorološki uvjeti. Međutim, budući da kontekst nije nešto što se može automatizirati, konačno rješenje korišteno za WAQI projekt sastoji se u kvalificiranju stanice čija je statistička udaljenost od referentne stanice manja od 1/4. Ovo će stupiti na snagu tijekom sljedećih tjedana (pogledajte aqicn.org/station/ za kartu stanica u stvarnom vremenu).

Ovaj je članak dio niza, au sljedećem ćemo se članku pozabaviti načinima kvalificiranja postaja tamo gdje nema dostupnih referentnih postaja.


--

Volos promenade by night
Kliknite ovdje da biste vidjeli sve unose FAQ
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • O kvaliteti zraka i mjerenju onečišćenja:

    O razinama kvalitete zraka

    -Vrijednosti indeksa kvalitete zraka (AQI).Razine zdravstvene zabrinutosti
    0 - 50DobroKvaliteta zraka smatra se zadovoljavajućom, a onečišćenje zraka predstavlja mali ili nikakav rizik
    51 -100umjerenKvaliteta zraka je prihvatljiva; ali ipak, neki zagađivači mogu prouzrokovati umjerenu zabrinutost za zdravlje vrlo malog broja ljudi koji su neobično osjetljivi na onečišćenje zraka.
    101-150Nezdravo za osjetljive skupineČlanovi osjetljivih skupina mogu imati posljedice na zdravlje. Vjerovatno neće imati utjecaja na širu popilaciju.
    151-200nezdravSvatko može početi osjećati zdravstvene posljedice; članovi osjetljivih skupina mogu imati ozbiljnije zdravstvene posljedice
    201-300Vrlo nezdravoZdravstvena upozorenja o izvanrednim okolnostima. Veća je vjerojatnost da će cijela populacija biti pogođena.
    300+OpasanUpozorenje o zdravlju: svatko može imati ozbiljnije zdravstvene posljedice

    Kako biste saznali više o kvaliteti zraka i onečišćenju, pogledajte temu o kvaliteti zraka na wikipediji ili airnow vodič o kvaliteti zraka i vašem zdravlju .

    Za vrlo korisne zdravstvene savjete pekinškog doktora Richarda Saint Cyra, MD, pogledajte blog www.myhealthbeijing.com .


    Obavijest o korištenju: Svi podaci o kvaliteti zraka nisu dozvoljeni u trenutku objavljivanja, a zbog osiguranja kvalitete ti se podaci mogu u bilo kojem trenutku mijenjati bez prethodne najave. Projekt Indeks svjetske kakvoće zraka iskoristio je svu razumnu vještinu i pažnju pri sastavljanju sadržaja tih informacija i ni pod kojim okolnostima neće Svjetski indeks kvaliteta zraka projektni tim ili njegovi agenti odgovorni su za ugovor, prekršaj ili drugačije za bilo kakav gubitak, ozljedu ili štetu koja proizlazi izravno ili neizravno iz opskrbe tim podacima.



    Settings


    Language Settings:


    Temperature unit:
    Celcius