Utilizarea distanțelor statistice pentru validarea rețelelor de senzori în timp real
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Acțiune: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/ro/
Overlapping kernel densities,
(credits)

În 2008, când a început proiectul World Air Quality, toate stațiile existente de monitorizare a calității aerului erau bazate pe tehnologia BAM și TOEM extrem de profesionistă și costisitoare. Acest tip de stații sunt întotdeauna întreținute de operatori profesioniști și cu înaltă calificare - și acest lucru asigură că producția acestei stații poate fi de încredere.

12 ani mai târziu, stațiile BAM și TOEM încă există. Dar, odată cu dezvoltarea tehnologiei de împrăștiere cu laser și a senzorului de praf cu costuri reduse, stațiile BAM și TOEM sunt acum depășite numeric de rețele imense și dense de senzori cu costuri reduse. În prezent, există atât de multe dintre acele rețele - pentru a numi câteva: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air etc.

Una dintre problemele fundamentale ale rețelei de senzori cu costuri reduse este fiabilitatea lor: deoarece mulți dintre acești senzori nu sunt întreținuți corespunzător (sau nu sunt întreținuți deloc), cantitatea de senzori care produce măsurători complet greșite nu este de neglijat. Mai mult, majoritatea rețelei nu utilizează stații cu senzori replicați (spre deosebire de stația noastră Gaia , care utilizează 3 senzori replicați), ceea ce face și mai dificil să știi când un singur senzor este defect.

În acest articol, vom analiza rețeaua de senzori desfășurată în minunatul oraș Volos din Grecia și studiem mijloacele de a califica și cuantifica fiabilitatea stației în timp real.


--

Minunatul oraș Volos din Grecia

Volos (greacă: Βόλος) este un oraș-port de coastă. Cu o populație de 144.449 (2011), este și al șaselea oraș ca populație din Grecia. Este un important centru industrial, în timp ce portul său oferă o punte între Europa și Asia. În prezent există 5 stații în Volos: una de la EPA grecească , care furnizează date pe oră de la o stație BAM profesională și 4 stații în timp real la preț redus din rețeaua lutf-daten :



Stația EPA Volos este situată în clădirea Administrației Descentralizate din Tesalia și Grecia Centrală . Toate celelalte stații sunt, de asemenea, situate în zone rezidențiale, cu excepția Argonafton, care este situat lângă port.

Traficul în port nu este neglijabil, cu o medie de aproximativ 8 nave sosire/plecare pe zi , 80% dintre nave fiind mărfuri - la momentul redactării acestui articol.

Una dintre problemele cunoscute ale mărfurilor poate fi poluarea cu particule din țevile de eșapament, din cauza combustibilului de calitate scăzută . Dar privind panorama de unde se află stația Argonafton, distanța până la mărfuri este suficient de mare pentru a nu justifica o sursă constantă de poluare a aerului. Ne-am putea aștepta să vedem de câteva ori când aerul este mai poluat în Argonafton, mai ales când ambarcațiunile mari manevrează, dar nu tot timpul. La urma urmei, asta înseamnă doar 8 nave care manevrează pe zi.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Date din serii temporale din ultimele 30 de zile

Pe baza informațiilor din locația stațiilor, ne-am putea aștepta ca toate stațiile să fie de acord cu niveluri similare de poluare a aerului, cu excepția evenimentelor sporadice de poluare mai mare pentru Argonafton. Dar ei bine, din păcate, acesta nu este chiar cazul, așa cum se confirmă din graficul de mai jos:

Graficul seriei temporale indică în mod clar că datele pentru Argonafton par supraestimate în comparație cu alte stații. În mod similar, datele pentru Dimarxou par subestimate.

O mai bună evidențiere a problemei este să vizualizați cea de-a 75-a percentilă zilnică AQI, reprezentată folosind gama de culori AQI corespunzătoare. Abaterea de la Argonafton este evidentă. În plus, este posibil să se distingă două grupuri centrate în jurul Riga-Feraiou+Kasthanaías și Volos EPA+Dimarxou.


--

Cuantificarea diferențelor serii de timp

Când vine vorba de compararea seriilor temporale corelate, cel mai bine este să comparați distribuțiile probabilistice ale acestora. Cele 3 grafice de mai jos reprezintă distribuția densității, CDF (funcția de distribuție cumulativă) și QQ (folosind Volos EPA ca CDF de referință). Toate aceste 3 grafice se bazează pe datele din serii temporale din ultimele 30 de zile, dar puteți selecta, de asemenea, un interval de timp specific în primele grafice ale seriei temporale, iar acele trei grafice vor fi actualizate folosind valorile din intervalul de timp dat.

Privind distribuția probabilistică cu ochiul liber, este evident că există o mare diferență între Argonafton, Dimarxou și stația de referință Volos EPA. Merită remarcat faptul că există o „denivelare” în jurul AQI 150: motivul este că diagrama de distribuție se bazează mai degrabă pe AQI decât pe concentrația brută, iar intervalul mai compact [150.200] AQI (comparativ cu [100.150]) face AQI mai dens pentru >150 comparativ cu <150.

Când vine vorba de cuantificarea acestei diferențe, este posibil să se utilizeze conceptul de distanță statistică pentru a cuantifica „bunătatea de potrivire”. Cele mai cunoscute distanțe sunt distanțe Kolmogorov-Smirnov, Wasserstein și Cramér-von Mises (pentru o bună introducere despre acele distanțe, consultați aceste explicații excelente). Tabelul de mai jos arată distanțele pe baza datelor de 30 de zile (valorile vor fi actualizate dacă selectați un interval de timp din graficul principal al seriei temporale).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

În timp ce distanța Kolmogorov-Smirnov nu surprinde corect distanțele relative (evidențiind Dimarxou până la Argonafton), atât distanțele Wasserstein, cât și Cramér-von Mises evidențiază o distanță mai mare evidentă pentru Argonafton. Valorile din tabelul de mai sus se bazează pe datele de 30 de zile. Cele 3 grafice de mai jos se bazează pe media mobilă pe 7 zile din ultimele 30 de zile.

Aceste grafice confirmă faptul că, folosind distanța Wasserstein sau Cramér-von, distanța de la stația Argonafton și Volos EPA este în mod constant de cel puțin două ori mai mult decât distanța celorlalte stații.

Corelarea datelor meteorologice

Pentru a confirma ipoteza că stația Argonafton produce citiri de concentrație anormale și supraestimate, trebuie să ne uităm la datele meteorologice: Condiția în care stația Argonafton ar putea vedea o concentrație mai mare este atunci când vântul bate dinspre sud, adică unde vântul ar transporta gazele de evacuare a mărfii spre stație.

Primul pas este să verificați direcția și viteza medie a vântului în ultimele 30 de zile. Datele vântului sunt obținute atât de la stația METAR a Aeroportului Volos, cât și de la stația meteo Netatmo Tthiseos . Cei doi trandafiri de vânt reprezintă de câte ori bate vântul în fiecare direcție.

Ambele diagrame cu trandafiri de vânt arată că vântul bate în principal dinspre vest sau est și mult mai puțin din sud. Deoarece există munți în partea de nord a Volosului, nu există în mod substanțial niciun vânt dinspre nord.

Pe baza acestei confirmări empirice că vântul bate mai puțin dinspre sud decât în altă direcție, nu se poate deduce că țevile de evacuare a marfurilor sunt cauza concentrațiilor mai mari de PM 2,5 pentru stația Argonafton. Această ipoteză este invalidată și de graficul de corelație dintre 3 dintre stații și direcția vântului din Aeroport, care arată că nu există dovezi clare (pentru niciuna dintre stații) că vântul sudic implică concentrații mari.

În sfârșit, trebuie să verificăm dacă problema cu Argonafton ar putea fi legată de umiditatea relativă. Problema ar putea fi, de exemplu, din cauza umidității mai mari care face dimensiunea particulelor mai mare și implică astfel o concentrație mai mare. Graficul de corelare de mai jos confirmă că acest lucru nu este corect, deoarece nu există dovezi clare că concentrația este proporțională cu umiditatea.

Concluzie

În acest articol, ne-am uitat la mijloacele de cuantificare și calificare a calității datelor pentru stațiile în timp real. Presupunând că există o stație de încredere de referință, am arătat că cuantificarea folosind fie distanța Cramér-von Mises, fie Wasserstein poate indica probleme cu orice date ale stației.

De asemenea, am arătat că distanța în sine nu este suficientă și că, pentru a fi mai precis, trebuie înțeles contextul stației. precum locația și condițiile meteorologice. Totuși, întrucât contextul nu este ceva care poate fi automatizat, soluția finală utilizată pentru proiectul WAQI constă în calificarea stației a căror distanță statistică până la stația de referință este mai mică de 1/4. Aceasta va fi pusă în aplicare în următoarele săptămâni (a se vedea aqicn.org/station/ pentru harta stațiilor în timp real.

Acest articol face parte din serie, iar în articolul următor, vom analiza mijloacele de calificare a stației în care nu este disponibilă nicio stație de referință.


--

Volos promenade by night
Faceți clic aici pentru a vedea toate intrările de întrebări frecvente
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Despre măsurarea calității aerului și a poluării:

    Despre nivelurile de calitate a aerului

    -Valorile indicelui de calitate a aerului (AQI).Niveluri de îngrijorare pentru sănătate
    0 - 50BunCalitatea aerului este considerată satisfăcătoare, iar poluarea aerului prezintă un risc mic sau deloc
    51 -100ModeratCalitatea aerului este acceptabilă; cu toate acestea, pentru anumiți poluanți poate exista o îngrijorare moderată de sănătate pentru un număr foarte mic de persoane care sunt neobișnuit de sensibile la poluarea aerului.
    101-150Nesănătos pentru grupurile sensibileMembrii grupurilor sensibile pot avea efecte asupra sănătății. Este puțin probabil ca publicul larg să fie afectat.
    151-200NesănătosToată lumea poate începe să experimenteze efectele asupra sănătății; membrii grupurilor sensibile pot avea efecte mai grave asupra sănătății
    201-300Foarte NesănătoasăAvertismente de sănătate privind situațiile de urgență. Întreaga populație este mai probabil să fie afectată.
    300+RiscantAlertă de sănătate: toată lumea poate avea efecte mai grave asupra sănătății

    Pentru a afla mai multe despre calitatea aerului și poluare, consultați subiectul wikipedia pentru calitatea aerului sau ghidul airnow despre calitatea aerului și sănătatea dvs.

    Pentru sfaturi foarte utile de sănătate ale medicului doctor Richard Saint Cyr din Beijing, consultați blogul www.myhealthbeijing.com .


    Notificare privind utilizarea: Toate datele privind calitatea aerului sunt nevalide la momentul publicării și, datorită asigurării calității, aceste date pot fi modificate, fără notificare, în orice moment. Proiectul Index al calității aerului mondial a exercitat toate competențele și îngrijirea rezonabilă în compilarea conținutului acestor informații și în nici un caz Echipa de proiect pentru indexul calității aerului sau agenții săi sunt răspunzători în contract, delictuală sau în alt mod pentru orice pierdere, vătămare sau daună care rezultă direct sau indirect din furnizarea acestor date.



    Settings


    Language Settings:


    Temperature unit:
    Celcius