Korištenje statističkih udaljenosti za validaciju senzorskih mreža u realnom vremenu
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Dijeli: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/bs/
Overlapping kernel densities,
(credits)

Još 2008. godine, kada je započeo projekat Svjetskog kvaliteta zraka, sve postojeće stanice za praćenje kvaliteta zraka bile su bazirane na visokoprofesionalnoj i skupoj BAM i TOEM tehnologiji. Ovakvu vrstu stanica uvijek održavaju profesionalni i visoko kvalifikovani operateri - i to osigurava da se izlazu ove stanice može vjerovati.

12 godina kasnije, BAM i TOEM stanice i dalje postoje. Ali sa razvojem tehnologije laserskog raspršivanja i jeftinog senzora prašine, BAM i TOEM stanice su sada brojčano nadjačane ogromnim i gustim jeftinim senzorskim mrežama. Danas postoji toliko mnogo tih mreža - da spomenemo samo neke: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air, itd.

Jedan od osnovnih problema s jeftinom senzorskom mrežom je njihova pouzdanost: budući da mnogi od tih senzora nisu pravilno održavani (ili se uopće ne održavaju), količina senzora koji proizvodi potpuno pogrešna mjerenja nije zanemarljiva. Štaviše, većina mreže ne koristi stanice sa repliciranim senzorima (za razliku od naše Gaia stanice, koja koristi 3 replicirana senzora), što dodatno otežava otkrivanje kada jedan senzor pokvari.

U ovom članku ćemo pogledati senzorsku mrežu raspoređenu u prekrasnom gradu Volosu u Grčkoj i proučavati sredstva za kvalificiranje i kvantificiranje pouzdanosti stanice u realnom vremenu.


--

Predivan grad Volos u Grčkoj

Volos (grčki: Βόλος) je primorski lučki grad. Sa populacijom od 144.449 (2011.), ujedno je i šesti grad po broju stanovnika u Grčkoj. Važan je industrijski centar, dok njegova luka predstavlja most između Evrope i Azije. Trenutno postoji 5 stanica u Volosu: jedna iz grčke EPA , koja pruža podatke po satu sa profesionalne BAM stanice, i 4 jeftine stanice u realnom vremenu iz lutf-daten mreže:



Volos EPA stanica se nalazi u zgradi Decentralizovane uprave Tesalije i Centralne Grčke . Sve ostale stanice se također nalaze u stambenim naseljima, osim Argonaftona koji se nalazi pored luke.

Promet u luci nije zanemarljiv, sa prosječno oko 8 brodova u dolasku/isplovljavanju dnevno , pri čemu su 80% brodova bili teretni - u vrijeme pisanja.

Jedan od poznatih problema s teretom može biti zagađenje česticama iz izduvnih cijevi, zbog nekvalitetnog goriva . Ali gledajući panoramu odakle se nalazi stanica Argonafton, udaljenost do tereta je dovoljno velika da ne opravdava stalni izvor zagađenja vazduha. Moglo bi se očekivati da se nekoliko puta vidi kada je zrak zagađeniji u Argonaftonu, posebno kada manevrišu veliki čamci, ali ne stalno. Na kraju krajeva, to je samo 8 brodova koji manevrišu dnevno.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Podaci o vremenskim serijama za posljednjih 30 dana

Na osnovu informacija sa lokacije stanica, moglo bi se očekivati da se sve stanice slažu o sličnim nivoima zagađenja vazduha, sa izuzetkom sporadičnih događaja većeg zagađenja za Argonafton. Ali dobro, nažalost, ovo nije baš tako, kao što je potvrđeno iz grafikona vremenske serije ispod:

Grafikon vremenske serije jasno pokazuje da podaci za Argonafton izgledaju precijenjeni u poređenju sa drugim stanicama. Slično tome, podaci za Dimarxou izgledaju nedovoljno procijenjeni.

Bolje je istaknuti problem vizualizirati dnevni 75. AQI percentil, ucrtan koristeći odgovarajući raspon boja AQI. Odstupanje od Argonaftona je očigledno. Štaviše, moguće je razlikovati dva klastera sa središtem oko Riga-Feraiou+Kasthanaías i Volos EPA+Dimarksou.


--

Kvantificiranje razlika u vremenskim serijama

Kada je u pitanju poređenje koreliranih vremenskih serija, najbolje je uporediti njihove vjerovatnoće distribucije. Donja 3 grafikona predstavljaju raspodjelu gustine, CDF (funkcija kumulativne distribucije) i QQ (koristeći Volos EPA kao referentni CDF). Sva ta 3 grafikona su zasnovana na podacima vremenske serije za poslednjih 30 dana, ali takođe možete izabrati određeni vremenski raspon u prvim grafovima vremenske serije, a ta 3 grafikona će se ažurirati koristeći vrednosti iz datog vremenskog raspona.

Gledajući distribuciju vjerovatnoće golim okom, očigledno je da postoji velika razlika između Argonaftona, Dimarxoua i referentne Volos EPA stanice. Vrijedi primijetiti da postoji "izbočina" oko AQI 150: Razlog je taj što je dijagram distribucije zasnovan na AQI, a ne na sirovoj koncentraciji, a kompaktniji raspon [150,200] AQI (u poređenju sa [100,150]) čini AQI je gušći za >150 u poređenju sa <150.

Kada je u pitanju kvantificiranje ove razlike, moguće je koristiti koncept statističke udaljenosti za kvantificiranje "dobre prilagodbe". Najpoznatije udaljenosti su udaljenosti Kolmogorov-Smirnov, Wasserstein i Cramér-von Mises (za dobar uvod o tim udaljenostima, pogledajte ovo odlično objašnjenje ). Tabela ispod prikazuje udaljenosti na osnovu podataka za 30 dana (vrijednosti će se ažurirati ako odaberete vremenski raspon sa glavnog grafikona vremenske serije).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Dok udaljenost Kolmogorov-Smirnov ne bilježi ispravno relativne udaljenosti (istaknuvši Dimarxoua do Argonaftona), udaljenosti i Wasserstein i Cramér-von Mises ističu očigledno veću udaljenost za Argonafton. Vrijednosti u gornjoj tabeli su zasnovane na podacima za 30 dana. Donja 3 grafikona zasnovana su na 7-dnevnom pokretnom prosjeku za posljednjih 30 dana.

Ovi grafikoni potvrđuju da je korištenjem udaljenosti Wasserstein ili Cramér-von, udaljenost od stanice Argonafton i Volos EPA konstantno barem dvostruko veća od udaljenosti od ostalih stanica.

Koreliranje meteoroloških podataka

Da bismo potvrdili hipotezu da stanica Argonafton daje abnormalna i precijenjena očitanja koncentracije, potrebno je pogledati meteorološke podatke: Uvjet pod kojim bi stanica Argonafton mogla vidjeti veću koncentraciju je kada vjetar duva s juga, tj. gdje bi vjetar nosio dimove iz izduvnih cijevi tereta prema stanici.

Prvi korak je provjera prosječnog smjera i brzine vjetra u posljednjih 30 dana. Podaci o vjetru se dobijaju i sa METAR stanice na aerodromu Volos, kao i sa meteorološke stanice Netatmo Tthiseos . Dvije ruže vjetrova predstavljaju koliko puta vjetar duva u svakom smjeru.

Oba dijagrama ruže vjetrova pokazuju da vjetar uglavnom duva sa zapada ili istoka, a znatno manje sa juga. S obzirom da se na sjevernom dijelu Volosa nalaze planine, dolje sa sjevera uglavnom nema vjetra.

Na osnovu ove empirijske potvrde da vjetar duva manje s juga nego iz drugog smjera, nije moguće zaključiti da su izduvne cijevi tereta uzrok veće koncentracije PM 2,5 za stanicu Argonafton. Ovu hipotezu poništava i dijagram korelacije između 3 stanice i smjera vjetra na aerodromu, koji pokazuje da nema jasnih dokaza (za bilo koju od stanica) da južni vjetar implicira visoke koncentracije.

Na kraju, također moramo provjeriti da li problem sa Argonaftonom može biti povezan s relativnom vlažnošću. Problem bi mogao biti, na primjer, zbog veće vlažnosti koja povećava veličinu čestica i time implicira veću koncentraciju. Grafikon korelacije u nastavku potvrđuje da ovo nije tačno, jer nema jasnih dokaza da je koncentracija proporcionalna vlažnosti.

Zaključak

U ovom članku razmatrali smo načine kvantifikacije i kvalifikacije kvaliteta podataka za stanice u realnom vremenu. Pod pretpostavkom da postoji referentna pouzdana stanica, pokazali smo da kvantificiranje pomoću Cramér-von Misesove ili Wasserstein udaljenosti može ukazati na probleme sa podacima bilo koje stanice.

Također smo pokazali da udaljenost sama po sebi nije dovoljna, te da tačnije treba razumjeti kontekst stanice. kao što su njegova lokacija i meteorološki uslovi. Međutim, budući da kontekst nije nešto što se može automatizirati, konačno rješenje korišteno za WAQI projekat sastoji se od kvalifikacione stanice čija je statistička udaljenost do referentne stanice manja od 1/4. Ovo će stupiti na snagu tokom narednih sedmica (pogledajte aqicn.org/station/ za mapu stanica u realnom vremenu.

Ovaj članak je dio serije, au sljedećem članku ćemo se baviti sredstvima kvalifikacione stanice gdje nije dostupna referentna stanica.


--

Volos promenade by night
Kliknite ovdje da vidite sve FAQ unose
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • O mjerenju kvalitete zraka i zagađenja:

    O razinama kvalitete zraka

    -Vrijednosti indeksa kvalitete zraka (AQI).Nivoi zdravstvene brige
    0 - 50DobroKvalitet vazduha se smatra zadovoljavajućim, a zagađenje vazduha predstavlja mali ili nikakav rizik
    51 -100UmerenoKvalitet zraka je prihvatljiv; Međutim, neki zagađivači mogu imati umjereno zabrinjavajući utjecaj na zdravstveno stanje malog broja ljudi koji su veoma osjetljivi na zagađenje zraka.
    101-150Nezdravo za osetljive grupeMože prouzrokovati zdravstvene poteškoće kod članova osjetljivih grupa. Većina verovatno neće biti pogođena.
    151-200NezdraviSvako može početi osjećati posljedice na zdravlje; članovi osjetljivih grupa mogu imati ozbiljnije zdravstvene posljedice
    201-300Veoma nezdravimUpozorenja o hitnim slučajevima. Čitava populacija će biti pogođena.
    300+OpasnoZdravstveno upozorenje: svako može osjetiti ozbiljnije posljedice na zdravlje

    Da biste saznali više o kvaliteti zraka i zagađenju, provjerite temu wikipedije o kvaliteti zraka ili airnow vodiču za kvalitet zraka i vaše zdravlje .

    Za vrlo korisne zdravstvene savjete pekinškog doktora Richarda Saint Cyr MD, posjetite blog www.myhealthbeijing.com .


    Upotreba: Svi podaci o kvalitetu vazduha su neverifikovani u vrijeme objavljivanja, a zbog osiguranja kvaliteta ovi podaci mogu biti izmjenjeni i dopunjeni u bilo kom trenutku. Projekat Svjetskog indeksa kvaliteta vazduha obratio je veliku pažnju prilikom sastavljanja ovih informacija i ni pod kakvim okolnostima neće biti Svjetski indeks kvaliteta vazduha projektni tim ili njegovi agenti odgovorni za ugovor, štetu ili bilo kakav gubitak, povredu ili štetu nastalu direktno ili indirektno iz snabdevanja ovim podacima.



    Settings


    Language Settings:


    Temperature unit:
    Celcius