Wykorzystanie odległości statystycznych do walidacji sieci czujników w czasie rzeczywistym
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Udział: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/pl/
Overlapping kernel densities,
(credits)

Już w 2008 roku, kiedy rozpoczynał się projekt World Air Quality, wszystkie istniejące stacje monitorowania jakości powietrza opierały się na wysoce profesjonalnych i kosztownych technologiach BAM i TOEM. Stacje tego typu serwisowane są zawsze przez profesjonalnych i wysoko wykwalifikowanych operatorów – co daje pewność, że produktywności tej stacji można zaufać.

12 lat później stacje BAM i TOEM nadal istnieją. Jednak wraz z rozwojem technologii rozpraszania laserowego i tanich czujników pyłu, liczebność stacji BAM i TOEM jest obecnie ograniczona przez ogromne i gęste, tanie sieci czujników. Obecnie istnieje wiele takich sieci – żeby wymienić tylko kilka: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air itp.

Jednym z podstawowych problemów tanich sieci czujników jest ich niezawodność: ponieważ wiele z tych czujników nie jest odpowiednio konserwowanych (lub w ogóle nie jest konserwowanych), nie można pominąć liczby czujników generujących całkowicie błędne pomiary. Co więcej, większość sieci nie korzysta ze stacji z replikowanymi czujnikami (w przeciwieństwie do naszej stacji Gaia , która wykorzystuje 3 replikowane czujniki), co jeszcze bardziej utrudnia stwierdzenie, czy pojedynczy czujnik ulegnie awarii.

W tym artykule przyjrzymy się sieci czujników rozmieszczonej we wspaniałym mieście Volos w Grecji oraz zbadamy sposoby kwalifikowania i ilościowego określania niezawodności stacji w czasie rzeczywistym.


--

Cudowne miasto Volos w Grecji

Volos (gr. Βόλος) to nadmorskie miasto portowe. Z populacją 144 449 (2011) jest także szóstym pod względem liczby ludności miastem Grecji. Jest ważnym ośrodkiem przemysłowym, a jego port stanowi pomost między Europą a Azją. Obecnie w Volos znajduje się 5 stacji: jedna greckiej EPA , dostarczająca dane godzinowe z profesjonalnej stacji BAM oraz 4 tanie stacje czasu rzeczywistego z sieci lutf-daten :



Stacja Volos EPA znajduje się w budynku Zdecentralizowanej Administracji Tesalii i Grecji Środkowej . Wszystkie pozostałe stacje również znajdują się na obszarach mieszkalnych, z wyjątkiem Argonafton, który znajduje się obok portu.

Ruch w porcie nie jest znikomy, średnio około 8 statków wpływa/odpływa dziennie , przy czym 80% statków to ładunki – w chwili pisania tego tekstu.

Jednym ze znanych problemów związanych z ładunkami może być zanieczyszczenie cząstkami stałymi z rur wydechowych, spowodowane paliwem niskiej jakości . Jednak patrząc na panoramę , z której zlokalizowana jest stacja Argonafton, odległość do ładunków jest na tyle duża, że nie uzasadnia stałego źródła zanieczyszczenia powietrza. Można się spodziewać, że w Argonafton powietrze będzie bardziej zanieczyszczone kilka razy, zwłaszcza podczas manewrowania dużymi łodziami, ale nie zawsze. Przecież to tylko 8 statków manewruje dziennie.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Dane szeregów czasowych z ostatnich 30 dni

Na podstawie informacji uzyskanych z lokalizacji stacji można się spodziewać, że wszystkie stacje zgadzają się co do podobnego poziomu zanieczyszczenia powietrza, z wyjątkiem sporadycznych przypadków wyższego zanieczyszczenia w Argonafton. Ale niestety tak nie jest, co potwierdza poniższy wykres szeregów czasowych:

Wykres szeregów czasowych wyraźnie wskazuje, że dane dla Argonafton wydają się przeszacowane w porównaniu z innymi stacjami. Podobnie dane dotyczące Dimarxou wydają się niedoszacowane.

Lepszym podkreśleniem problemu jest wizualizacja dziennego 75. percentyla AQI, wykreślonego przy użyciu odpowiedniego zakresu kolorów AQI. Odchylenie od Argonafton jest oczywiste. Ponadto można wyróżnić dwa klastry skupione wokół Rygi-Feraiou+Kasthanaías i Volos EPA+Dimarxou.


--

Kwantyfikacja różnic szeregów czasowych

Jeśli chodzi o porównywanie skorelowanych szeregów czasowych, najlepiej jest porównać ich rozkłady probabilistyczne. Poniższe 3 wykresy przedstawiają rozkład gęstości, CDF (funkcję rozkładu skumulowanego) i QQ (przy użyciu Volos EPA jako odniesienia CDF). Wszystkie te 3 wykresy opierają się na danych szeregów czasowych z ostatnich 30 dni, ale możesz także wybrać konkretny zakres czasu na pierwszych wykresach szeregów czasowych, a te 3 wykresy zostaną zaktualizowane przy użyciu wartości z danego zakresu czasu.

Patrząc gołym okiem na rozkład probabilistyczny, oczywiste jest, że istnieje duża różnica pomiędzy Argonafton, Dimarxou i referencyjną stacją EPA Volos. Warto zauważyć, że wokół AQI 150 występuje „przeskok”: powodem jest to, że wykres rozkładu opiera się na AQI, a nie na surowym stężeniu, a bardziej kompaktowy zakres [150 200] AQI (w porównaniu do [100 150]) sprawia, że gęstość AQI dla >150 w porównaniu do <150.

Jeśli chodzi o ilościowe określenie tej różnicy, można zastosować koncepcję odległości statystycznej do ilościowego określenia „dobrości dopasowania”. Najbardziej znane odległości to odległości Kołmogorowa-Smirnowa, Wassersteina i Craméra-vona Misesa (dobre wprowadzenie na temat tych odległości można znaleźć w tych doskonałych wyjaśnieniach ). Poniższa tabela przedstawia odległości na podstawie danych z 30 dni (wartości zostaną zaktualizowane, jeśli wybierzesz zakres czasu z głównego wykresu szeregów czasowych).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Chociaż odległość Kołmogorowa-Smirnowa nie odzwierciedla poprawnie odległości względnych (podkreślając Dimarxou aż do Argonafton), zarówno odległości Wassersteina, jak i Craméra-vona Misesa podkreślają wyraźnie większą odległość dla Argonafton. Wartości w powyższej tabeli opierają się na danych z 30 dni. Poniższe 3 wykresy opierają się na 7-dniowej średniej kroczącej z ostatnich 30 dni.

Wykresy te potwierdzają, że biorąc pod uwagę odległość Wassersteina lub Cramér-von, odległość od stacji Argonafton i Volos EPA jest stale co najmniej dwukrotnie większa niż w przypadku innych stacji.

Korelacja danych meteorologicznych

Aby potwierdzić hipotezę, że stacja Argonafton generuje nieprawidłowe i zawyżone odczyty stężeń, należy przyjrzeć się danym meteorologicznym: Warunkiem, w którym stacja Argonafton mogła wykazać wyższe stężenia, jest wiatr wiejący z południa, tj. tam, gdzie wiatr będzie przenosił spaliny z rur wydechowych ładunku w stronę stacji.

Pierwszym krokiem jest sprawdzenie średniego kierunku i prędkości wiatru w ciągu ostatnich 30 dni. Dane o wietrze pozyskiwane są zarówno ze stacji METAR na lotnisku Volos, jak i ze stacji pogodowej Netatmo Tthiseos . Dwie róże wiatrów oznaczają, ile razy wiatr wieje w każdym kierunku.

Obydwa wykresy róż wiatrów pokazują, że wiatr wieje głównie z zachodu lub wschodu, a znacznie mniej z południa. Ponieważ w północnej części Volos znajdują się góry, poniżej praktycznie nie ma wiatru z północy.

Na podstawie tego empirycznego potwierdzenia, że wiatr wieje mniej z południa niż z innego kierunku, nie można stwierdzić, że rury wydechowe ładunku są przyczyną wyższych stężeń PM 2,5 w stacji Argonafton. Hipotezę tę podważa również wykres korelacji między 3 stacjami a kierunkiem wiatru na lotnisku, który pokazuje, że nie ma jednoznacznych dowodów (dla żadnej ze stacji), że wiatr południowy powoduje wysokie stężenia.

Na koniec musimy również sprawdzić, czy problem z Argonaftonem może być związany z wilgotnością względną. Problem może wynikać na przykład z wyższej wilgotności, która powoduje większy rozmiar cząstek, a tym samym implikuje wyższe stężenie. Poniższy wykres korelacji potwierdza, że nie jest to prawidłowe, ponieważ nie ma jednoznacznych dowodów na to, że stężenie jest proporcjonalne do wilgotności.

Wniosek

W tym artykule przyjrzeliśmy się sposobom ilościowego określania i kwalifikowania jakości danych dla stacji czasu rzeczywistego. Zakładając, że istnieje zaufana stacja referencyjna, pokazaliśmy, że kwantyfikacja przy użyciu odległości Craméra-vona Misesa lub Wassersteina może wskazywać problemy z danymi dowolnej stacji.

Pokazaliśmy także, że sama odległość nie wystarczy, a mówiąc precyzyjniej, należy rozumieć kontekst stacji. takie jak jego lokalizacja i warunki meteorologiczne. Ponieważ jednak kontekst nie jest czymś, co da się zautomatyzować, ostateczne rozwiązanie zastosowane w projekcie WAQI polega na zakwalifikowaniu stacji, której statystyczna odległość od stacji referencyjnej jest mniejsza niż 1/4. Zostanie to wprowadzone w ciągu nadchodzących tygodni (zobacz aqicn.org/station/ , aby zapoznać się z mapą stacji w czasie rzeczywistym.

Ten artykuł jest częścią serii, a w następnym przyjrzymy się sposobom kwalifikowania stacji, w których nie jest dostępna żadna stacja referencyjna.


--

Volos promenade by night
Kliknij tutaj, aby zobaczyć wszystkie wpisy w często zadawanych pytaniach
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • O pomiarach jakości powietrza i zanieczyszczeń:

    O Poziomach Jakości Powietrza

    -Wartości Indeksu Jakości Powietrza (AQI)Poziomy zagrożenia zdrowia
    0 - 50Dobra0-50: Dobra - Jakość powietrza jest uznawana za zadowalającą, a zanieczyszczenie powietrza stanowi niewielkie ryzyko lub jego brak.
    51 -100Średnia50-100: Średnia - Jakość powietrza jest dopuszczalna; jednak niektóre zanieczyszczenia mogą być umiarkowanie szkodliwe dla bardzo małej liczby osób, które są niezwykle wrażliwe na zanieczyszczenie powietrza.
    101-150Niezdrowa dla osób wrażliwych100-150: Niezdrowe dla wrażliwych osób - u osób wrażliwych mogą wystąpić negatywne skutki dla zdrowia. Większość populacji może nie odczuwać negatywnych objawów.
    151-200Niezdrowa150-200: Niezdrowe - Każdy może zacząć doświadczać negatywnych skutków zdrowotnych; U osób wrażliwych mogą wystąpić poważniejsze skutki zdrowotne.
    201-300Bardzo niezdrowa200-300: Bardzo niezdrowe - Ostrzeżenie zdrowotne, poziom alarmowy. Bardzo prawdopodobny negatywny wpływ na całą populację.
    300+Zagrożenie dla życia300 : Niebezpieczny - Alarm Zdrowotny: każdy może doświadczyć poważniejszych skutków zdrowotnych.

    Aby dowiedzieć się więcej na temat jakości powietrza i zanieczyszczenia, sprawdź w wikipedii temat "jakość powietrza" lub nasz poradnik o jakości powietrza i jego wpływie na Twoje zdrowie.

    Więcej przydatnych informacji zdrowotnych na blogu doktora Richarda Sainta z Pekinu: www.myhealthbeijing.com .


    Uwaga dotycząca użytkowania: Wszystkie dane dotyczące jakości powietrza mogą być nieważne w chwili publikacji, a w celu zapewnienia jakości dane te mogą być w dowolnym momencie zmieniane bez powiadomienia. Projekt World Air Quality Index wykorzystuje wszystkie przydatne umiejętności, dba o rzetelność przy kompilowaniu treści tych informacji, ale w żadnym wypadku zespół projektowy World Air Quality Index lub jego agenci nie są odpowiedzialni za umowę, delikt lub w inny sposób za jakiekolwiek straty, obrażenia lub szkody wynikające bezpośrednio lub pośrednio z dostarczania tych danych.



    Ustawienia


    Ustawienia Języka:


    Temperature unit:
    Celcius