Statisztikai távolságok használata a valós idejű szenzorhálózatok érvényesítéséhez
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Ossza meg: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/hu/
Overlapping kernel densities,
(credits)

Még 2008-ban, amikor a World Air Quality projekt elindult, a meglévő levegőminőség-figyelő állomások mindegyike rendkívül professzionális és drága BAM és TOEM technológián alapult. Az ilyen típusú állomásokat mindig professzionális és magasan képzett kezelők tartják karban – és ez biztosítja, hogy az állomás kimenete megbízható legyen.

12 évvel később a BAM és a TOEM állomások még mindig léteznek. De a lézerszórási technológia és az alacsony költségű porérzékelő fejlődésével a BAM és TOEM állomások számában felülmúlják a hatalmas és sűrű, olcsó érzékelőhálózatokat. Manapság nagyon sok ilyen hálózat létezik – hogy csak néhányat említsünk: urad, luft-daten, airqo, airbg, opensense, ykkaw, econet, airkaz, ccdc, ambente, green air stb.

Az olcsó szenzorhálózat egyik alapvető problémája a megbízhatóságuk: Mivel sok ilyen érzékelőt nem karbantartanak megfelelően (vagy egyáltalán nem karbantartanak), nem elhanyagolható a teljesen hibás mérést végző érzékelők mennyisége. Sőt, a hálózatok többsége nem használ replikált érzékelőkkel rendelkező állomásokat (ellentétben a mi Gaia állomásunkkal, amely 3 replikált érzékelőt használ), ami még nehezebbé teszi annak megállapítását, hogy egy érzékelő meghibásodik.

Ebben a cikkben megvizsgáljuk a csodálatos görögországi Volos városában telepített szenzorhálózatot, és megvizsgáljuk az állomások megbízhatóságának valós idejű minősítését és számszerűsítését.


--

Volos csodálatos városa Görögországban

Volos (görögül: Βόλος) egy tengerparti kikötőváros. 144 449 lakosával (2011) Görögország hatodik legnépesebb városa. Fontos ipari központ, kikötője pedig hidat biztosít Európa és Ázsia között. Jelenleg 5 állomás van Volosban: egy a görög EPA- tól , amely óránkénti adatokat szolgáltat egy professzionális BAM-állomástól, és 4 olcsó, valós idejű állomás a lutf-daten hálózatból:



A Volos EPA állomás Thesszália és Közép-Görögország decentralizált közigazgatásának épületében található. Az összes többi állomás szintén lakóövezetben található, kivéve az Argonaftont, amely a kikötő mellett található.

A kikötő forgalma nem elhanyagolható, naponta átlagosan körülbelül 8 hajó érkezik/ indul , a hajók 80%-a rakomány - a cikk írásakor.

A rakományokkal kapcsolatos egyik ismert probléma a kipufogócsövekből származó részecskeszennyezés lehet az alacsony minőségű üzemanyag miatt. De a panorámát nézve, ahonnan az Argonafton állomás található, a rakományok távolsága elég nagy ahhoz, hogy ne indokolja az állandó légszennyező forrást. Argonaftonban néhányszor szennyezettebb lesz a levegő, különösen akkor, amikor nagy hajók manővereznek, de nem mindig. Végül is ez csak napi 8 hajó manőverez.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Az elmúlt 30 nap idősoros adatai

Az állomások elhelyezkedéséből származó információk alapján arra lehet számítani, hogy az Argonafton esetében a szórványosan előforduló magasabb szennyezettségi események kivételével az összes állomás megegyezik a légszennyezettség mértékével. De sajnos ez nem igazán így van, amint azt az alábbi idősoros grafikon is megerősíti:

Az idősoros diagram egyértelműen azt mutatja, hogy az Argonafton adatai túlbecsültnek tűnnek más állomásokhoz képest. Hasonlóképpen, a Dimarxou-ra vonatkozó adatok alulbecsültnek tűnnek.

Jobb kiemelni a problémát, ha megjeleníti a napi 75. AQI százalékpontot, a megfelelő AQI színtartomány használatával ábrázolva. Az Argonaftontól való eltérés nyilvánvaló. Ezen túlmenően két klaszter megkülönböztethető, amelyek középpontjában Riga-Feraiou+Kasthanaías és Volos EPA+Dimarxou.


--

Idősoros különbségek számszerűsítése

Ha korrelált idősorok összehasonlításáról van szó, a legjobb az, ha összehasonlítjuk a valószínűségi eloszlásukat. Az alábbi 3 grafikon a sűrűségeloszlást, a CDF-et (kumulatív eloszlási függvény) és a QQ-t (a Volos EPA-t használva referencia CDF-ként) mutatja. Mind a 3 grafikon az elmúlt 30 nap idősoros adatain alapul, de az első idősoros grafikonokon is kiválaszthat egy adott időtartományt, és ez a 3 grafikon az adott időtartomány értékei alapján frissül.

Ha szabad szemmel nézzük a valószínűségi eloszlást, akkor nyilvánvaló, hogy Argonafton, Dimarxou és a referencia Volos EPA állomás között nagy a különbség. Érdemes megjegyezni, hogy van egy "dudor" az AQI 150 körül: ennek az az oka, hogy az eloszlási diagram az AQI-n alapul, nem pedig a nyers koncentráción, és a kompaktabb [150 200] AQI tartomány (a [100 150-hez képest]) az AQI sűrűbb 150-nél nagyobb, mint 150-nél.

Amikor ennek a különbségnek a számszerűsítéséről van szó, akkor a statisztikai távolság fogalmát használhatjuk az „illeszkedés jóságának” számszerűsítésére. A legismertebb távok a Kolmogorov-Smirnov, Wasserstein és Cramér-von Mises távok (a távok jó bevezetőjéért lásd ezt a remek magyarázatot ). Az alábbi táblázat a 30 napos adatok alapján mutatja a távolságokat (az értékek frissülnek, ha kiválaszt egy időtartományt a fő idősoros grafikonról).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Míg a Kolmogorov-Smirnov távolság nem rögzíti megfelelően a relatív távolságokat (Dimarxou-t kiemelve Argonaftonig), mind a Wasserstein, mind a Cramér-von Mises távolságok nyilvánvalóan nagyobb távolságot jeleznek Argonafton számára. A fenti táblázatban szereplő értékek a 30 napos adatokon alapulnak. Az alábbi 3 grafikon az elmúlt 30 nap 7 napos mozgóátlagán alapul.

Ezek a grafikonok megerősítik, hogy akár Wasserstein, akár Cramér-von távolságot használva az Argonafton állomás és a Volos EPA távolsága folyamatosan legalább kétszer nagyobb, mint a többi állomás.

Meteorológiai adatok korrelációja

Annak a hipotézisnek a megerősítéséhez, hogy az Argonafton állomás abnormális és túlbecsült koncentrációértékeket produkál, meg kell vizsgálnunk a meteorológiai adatokat: Az a feltétel, amely mellett az Argonafton állomás nagyobb koncentrációt észlelhet, ha délről fúj a szél, azaz ahol a szél az állomás felé vinné a rakomány kipufogócsövek füstjét.

Az első lépés az elmúlt 30 nap átlagos szélirányának és sebességének ellenőrzése. A széladatokat mind a Volos Airport METAR állomásáról, mind a Netatmo Tthiseos meteorológiai állomásról szerezzük be. A két szélrózsa azt jelzi, hogy hányszor fúj a szél mindkét irányban.

Mindkét szélrózsa-parcella azt mutatja, hogy a szél főleg nyugatról vagy keletről fúj, és sokkal kevésbé délről. Mivel Volos északi részén hegyek vannak, északról lényegében nincs szél.

Ebből az empirikus megerősítésből kiindulva, hogy a szél kevésbé fúj délről, mint más irányból, nem vonható le az a következtetés, hogy a rakomány kipufogócsövek okozzák az argonaftoni állomás magasabb PM 2,5 koncentrációját. Ezt a hipotézist érvényteleníti a 3 állomás és a repülőtér széliránya közötti korrelációs diagram is, amely azt mutatja, hogy nincs egyértelmű bizonyíték (egyik állomás esetében sem), hogy a déli szél magas koncentrációt jelentene.

Végül azt is ellenőriznünk kell, hogy az Argonafton problémája összefüggésben lehet-e a relatív páratartalommal. A probléma lehet például a magasabb páratartalom miatt, amely megnöveli a részecskeméretet, és ezáltal magasabb koncentrációt jelent. Az alábbi korrelációs diagram megerősíti, hogy ez nem helyes, mivel nincs egyértelmű bizonyíték arra, hogy a koncentráció arányos a páratartalommal.

Következtetés

Ebben a cikkben a valós idejű állomások adatminőségének számszerűsítésére és minősítésére szolgáló eszközöket vizsgáltuk. Feltételezve, hogy létezik megbízható referenciaállomás, megmutattuk, hogy a Cramér-von Mises vagy a Wasserstein távolság használatával történő számszerűsítés bármely állomásadattal kapcsolatos problémákat jelezhet.

Azt is megmutattuk, hogy a távolság önmagában nem elég, pontosabban az állomás kontextusát kell érteni. például elhelyezkedése és meteorológiai viszonyai. Mivel azonban a kontextus nem automatizálható, a WAQI projekt végső megoldása egy olyan minősítő állomás, amelynek statisztikai távolsága a referenciaállomástól kisebb, mint 1/4. Ez a következő hetekben lép életbe (a valós idejű állomások térképét lásd az aqicn.org/station/ oldalon.

Ez a cikk a sorozat része, és a következő cikkben az állomás minősítésének módjait fogjuk megvizsgálni, ahol nem áll rendelkezésre referenciaállomás.


--

Volos promenade by night
Kattintson ide az összes GYIK bejegyzés megtekintéséhez
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • A levegőminőség és szennyezettség méréséről:

    A levegőminőségi szintekről

    -Levegőminőségi index (AQI) értékekAz egészségügyi aggályok szintjei
    0 - 50A levegő minősége kielégítőnek tekinthető, és a levegőszennyezés kevés vagy semmilyen kockázatot jelent
    51 -100MérsékeltA levegő minősége elfogadható; egyes szennyező anyagok esetében azonban mérsékelten aggodalomra adhat okot olyan kevés ember számára, akik szokatlanul érzékenyek a levegőszennyezésre.
    101-150Egészségtelen az érzékeny csoportok számáraAz érzékeny csoporttagok egészségügyi hatásokat tapasztalhatnak. A nagyközönséget valószínűleg nem érinti.
    151-200EgészségtelenA teljes lakosság érzékeli az egészségre gyakorolt hatásokat; az érzékeny csoportok tagjai komolyabb tüneteket tapasztalhatnak
    201-300Nagyon egészségtelenEgészségügyi figyelmeztetések vészhelyzet esetén. Az egész lakosság nagyobb valószínűséggel érinti.
    300+VeszélyesEgészségügyi figyelmeztetés: mindenki súlyos egészségügyi hatásokat tapasztalhat

    Ha többet szeretne megtudni a levegőminőségről és a szennyezésről, tekintse meg a Wikipédia Levegőminőség témakörét vagy az airnow Levegőminőség és egészsége című útmutatóját .

    A pekingi orvos, Richard Saint Cyr MD nagyon hasznos egészségügyi tanácsaiért tekintse meg a www.myhealthbeijing.com blogot.


    Használati közlemény: Az összes levegőminőségre vonatkozó adat érvénytelenítése a közzététel időpontjában, és a minőségbiztosítás miatt ezek az adatok bármikor előzetes értesítés nélkül módosíthatók. A Világ levegőminőségi mutatója projekt minden ésszerű ismeretet és gondosságot gyakorolt ezen információk tartalmának összeállításában, és semmilyen körülmények között nem fogja a Világ levegőminőségi mutatója a projektcsapat vagy ügynökei felelősséggel tartoznak az adatok átadásából közvetlenül vagy közvetve okozott veszteségekért, sérülésekért vagy károkért szerződésben, kártérítésben vagy egyéb módon.



    Settings


    Language Settings:


    Temperature unit:
    Celcius