Verwendung statistischer Entfernungen für die Echtzeitvalidierung von Sensornetzwerken
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Aktie: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/de/
Overlapping kernel densities,
(credits)

Im Jahr 2008, als das World Air Quality-Projekt begann, basierten alle bestehenden Luftqualitätsüberwachungsstationen auf hochprofessioneller und teurer BAM- und TOEM-Technologie. Diese Art von Stationen werden stets von professionellen und hochqualifizierten Bedienern gewartet – und das stellt sicher, dass die Ergebnisse dieser Station vertrauenswürdig sind.

12 Jahre später existieren die BAM- und TOEM-Stationen immer noch. Aber mit der Entwicklung der Laserstreuungstechnologie und kostengünstigen Staubsensoren sind die BAM- und TOEM-Stationen mittlerweile zahlenmäßig in der Überzahl durch riesige und dichte kostengünstige Sensornetzwerke. Heutzutage gibt es einfach so viele dieser Netzwerke – um nur einige zu nennen: Urad, Luft-Daten, Airqo, AirBG, OpenSense, Yakkaw, Econet, Airkaz, CCDC, Ambente, Green Air usw.

Eines der grundlegenden Probleme bei kostengünstigen Sensornetzwerken ist ihre Zuverlässigkeit: Da viele dieser Sensoren nicht ordnungsgemäß (oder überhaupt nicht) gewartet werden, ist die Anzahl der Sensoren, die völlig falsche Messungen erzeugen, nicht zu vernachlässigen. Darüber hinaus verwenden die meisten Netzwerke keine Stationen mit replizierten Sensoren (im Gegensatz zu unserer Gaia- Station, die drei replizierte Sensoren verwendet), was es noch schwieriger macht, zu erkennen, wann ein einzelner Sensor ausfällt.

In diesem Artikel werfen wir einen Blick auf das Sensornetzwerk, das in der wunderschönen Stadt Volos in Griechenland eingesetzt wird, und untersuchen Möglichkeiten zur Qualifizierung und Quantifizierung der Stationszuverlässigkeit in Echtzeit.


--

Die wundervolle Stadt Volos in Griechenland

Volos (Griechisch: Βόλος) ist eine Küstenhafenstadt. Mit einer Bevölkerung von 144.449 (2011) ist sie auch die sechstgrößte Stadt Griechenlands. Es ist ein wichtiges Industriezentrum und sein Hafen bildet eine Brücke zwischen Europa und Asien. Derzeit gibt es in Volos 5 Stationen: Eine der griechischen EPA , die stündliche Daten von einer professionellen BAM-Station liefert, und 4 kostengünstige Echtzeitstationen des lutf-daten- Netzwerks:



Die EPA-Station Volos befindet sich im Gebäude der Dezentralen Verwaltung von Thessalien und Zentralgriechenland . Alle anderen Stationen liegen ebenfalls in Wohngebieten, mit Ausnahme von Argonafton, das neben dem Hafen liegt.

Der Verkehr im Hafen ist nicht unerheblich, mit durchschnittlich etwa 8 ankommenden/abfahrenden Schiffen pro Tag , wobei 80 % der Schiffe zum Zeitpunkt des Verfassens dieses Artikels Frachtschiffe sind.

Eines der bekannten Probleme bei Ladungen kann die Partikelverschmutzung durch Abgasrohre sein, die auf minderwertigen Kraftstoff zurückzuführen ist. Betrachtet man jedoch das Panorama von dort aus, wo sich die Argonafton-Station befindet, ist die Entfernung zu den Ladungen groß genug, um eine ständige Luftverschmutzungsquelle nicht zu rechtfertigen. Man kann davon ausgehen, dass die Luft in Argonafton einige Male stärker verschmutzt ist, insbesondere wenn große Boote manövrieren, aber nicht immer. Immerhin sind das nur 8 Schiffe, die pro Tag manövrieren.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Zeitreihendaten der letzten 30 Tage

Basierend auf den Informationen über den Standort der Stationen könnte man davon ausgehen, dass sich alle Stationen über ähnliche Luftverschmutzungswerte einig sind, mit Ausnahme sporadischer Ereignisse mit höherer Luftverschmutzung in Argonafton. Aber leider ist dies nicht wirklich der Fall, wie aus der folgenden Zeitreihengrafik hervorgeht:

Das Zeitreihendiagramm zeigt deutlich, dass die Daten für Argonafton im Vergleich zu anderen Stationen überschätzt zu sein scheinen. Ebenso scheinen die Daten für Dimarxou unterschätzt zu sein.

Eine bessere Hervorhebung des Problems ist die Visualisierung des täglichen 75. AQI-Perzentils, dargestellt mit dem entsprechenden AQI-Farbbereich. Die Abweichung von Argonafton ist offensichtlich. Darüber hinaus ist es möglich, zwei Cluster zu unterscheiden, die sich um Riga-Feraiou+Kasthanaías und Volos EPA+Dimarxou drehen.


--

Quantifizierung von Zeitreihenunterschieden

Wenn es darum geht, korrelierte Zeitreihen zu vergleichen, ist es am besten, ihre Wahrscheinlichkeitsverteilungen zu vergleichen. Die 3 Diagramme unten stellen die Dichteverteilung, CDF (kumulative Verteilungsfunktion) und QQ dar (unter Verwendung von Volos EPA als Referenz-CDF). Alle diese drei Diagramme basieren auf den Zeitreihendaten der letzten 30 Tage. Sie können jedoch in den ersten Zeitreihendiagrammen auch einen bestimmten Zeitbereich auswählen. Diese drei Diagramme werden dann mit den Werten aus dem angegebenen Zeitbereich aktualisiert.

Wenn man die Wahrscheinlichkeitsverteilung mit bloßem Auge betrachtet, ist es offensichtlich, dass es einen großen Unterschied zwischen Argonafton, Dimarxou und der Referenzstation der EPA in Volos gibt. Es ist erwähnenswert, dass es bei AQI 150 eine „Beule“ gibt: Der Grund dafür ist, dass das Verteilungsdiagramm auf dem AQI und nicht auf der Rohkonzentration basiert und der AQI-Bereich [150.200] kompakter ist (im Vergleich zu [100.150]). der AQI ist bei >150 dichter als bei <150.

Wenn es darum geht, diesen Unterschied zu quantifizieren, kann das Konzept der statistischen Distanz verwendet werden, um die „Anpassungsgüte“ zu quantifizieren. Die bekanntesten Distanzen sind die Kolmogorov-Smirnov-, Wasserstein- und Cramér-von-Mises-Distanzen (eine gute Einführung zu diesen Distanzen finden Sie in diesen hervorragenden Erklärungen ). Die folgende Tabelle zeigt die Entfernungen basierend auf den 30-Tage-Daten (Werte werden aktualisiert, wenn Sie einen Zeitbereich aus dem Hauptzeitreihendiagramm auswählen).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Während die Kolmogorov-Smirnov-Distanz die relativen Distanzen nicht korrekt erfasst (wobei Dimarxou bis Argonafton hervorgehoben wird), weisen sowohl die Wasserstein- als auch die Cramér-von-Mises-Distanz auf eine offensichtlich größere Distanz für Argonafton hin. Die Werte in der obigen Tabelle basieren auf den 30-Tage-Daten. Die 3 Diagramme unten basieren auf dem gleitenden 7-Tage-Durchschnitt der letzten 30 Tage.

Diese Grafiken bestätigen, dass bei Verwendung der Wasserstein- oder Cramér-von-Distanz die Entfernung von der Argonafton-Station und der Volos EPA konstant mindestens doppelt so groß ist wie die Entfernung zu den anderen Stationen.

Meteorologische Daten korrelieren

Um die Hypothese zu bestätigen, dass die Argonafton-Station abnormale und überschätzte Konzentrationswerte liefert, müssen wir uns die meteorologischen Daten ansehen: Die Bedingung, unter der die Argonafton-Station eine höhere Konzentration feststellen könnte, ist, wenn der Wind aus Süden weht. d. h. dorthin, wo der Wind die Abgase der Frachtabgase zur Station tragen würde.

Der erste Schritt besteht darin, die durchschnittliche Windrichtung und -geschwindigkeit der letzten 30 Tage zu überprüfen. Die Winddaten werden sowohl von der METAR-Station des Flughafens Volos als auch von der Wetterstation Netatmo Tthiseos bezogen. Die beiden Windrosen geben an, wie oft der Wind in jede Richtung weht.

Beide Windrosendiagramme zeigen, dass der Wind hauptsächlich aus West oder Ost und deutlich weniger aus Süden weht. Da es im nördlichen Teil von Volos Berge gibt, weht von Norden her praktisch kein Wind.

Basierend auf dieser empirischen Bestätigung, dass der Wind weniger aus Süden als aus anderen Richtungen weht, lässt sich nicht ableiten, dass die Frachtabgasrohre die Ursache für die höheren PM 2,5- Konzentrationen in der Argonafton-Station sind. Diese Hypothese wird auch durch das Korrelationsdiagramm zwischen drei der Stationen und der Windrichtung des Flughafens widerlegt, das zeigt, dass es (für keine der Stationen) eindeutige Beweise dafür gibt, dass Südwind hohe Konzentrationen bedeutet.

Zuletzt müssen wir noch prüfen, ob das Problem mit dem Argonafton möglicherweise mit der relativen Luftfeuchtigkeit zusammenhängt. Das Problem könnte beispielsweise darin liegen, dass eine höhere Luftfeuchtigkeit die Partikelgröße vergrößert und somit eine höhere Konzentration zur Folge hat. Das folgende Korrelationsdiagramm bestätigt, dass dies nicht korrekt ist, da es keinen eindeutigen Beweis dafür gibt, dass die Konzentration proportional zur Luftfeuchtigkeit ist.

Abschluss

In diesem Artikel haben wir uns mit den Mitteln zur Quantifizierung und Qualifizierung der Datenqualität für Echtzeitstationen befasst. Unter der Annahme, dass es eine vertrauenswürdige Referenzstation gibt, haben wir gezeigt, dass die Quantifizierung mithilfe der Cramér-von-Mises- oder der Wasserstein-Distanz auf Probleme mit den Stationsdaten hinweisen kann.

Wir haben auch gezeigt, dass die Entfernung allein nicht ausreicht und dass, genauer gesagt, der Stationskontext verstanden werden sollte. wie der Standort und die meteorologischen Bedingungen. Da der Kontext jedoch nicht automatisiert werden kann, besteht die endgültige Lösung für das WAQI-Projekt darin, Stationen zu qualifizieren, deren statistische Entfernung zur Referenzstation weniger als 1/4 beträgt. Dies wird in den kommenden Wochen in Kraft treten (siehe aqicn.org/station/ für die Echtzeit-Stationskarte).

Dieser Artikel ist Teil der Serie, und im nächsten Artikel werden wir uns mit Möglichkeiten zur Qualifizierung von Stationen befassen, für die keine Referenzstation verfügbar ist.


--

Volos promenade by night
Klicken Sie hier, um alle FAQ-Einträge anzuzeigen
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Über Messungen zur Luftqualität und Verschmutzung

    Über die Luftqualitätsstufen

    -Luftqualitätswerte (AQI)Stufen zur Bewertung der Gesundheitsgefährdung
    0 - 50GutDie Luftqualität wird als zufriedenstellend angesehen, und die Luftverschmutzung birgt wenig oder kein Risiko.
    51 -100MäßigLuftqualität ist akzeptabel; Bei einigen Schadstoffen kann es jedoch für eine sehr kleine Anzahl von Personen, die gegenüber Luftverschmutzung ungewöhnlich empfindlich sind, zu einem mäßigen Gesundheitsrisiko kommen.
    101-150Ungesund für sensible GruppenMitglieder von sensiblen Gruppen können gesundheitliche Auswirkungen haben. Die breite Öffentlichkeit wird wahrscheinlich nicht betroffen sein.
    151-200UngesundGesundheitliche Auswirkungen sind für jeden spürbar; für sensible Gruppen besteht möglicherweise ein ernstes gesundheitliches Risiko.
    201-300Sehr UngesundNotfallwarnung vor Gesundheitsgefahren. Die Gesamtbevölkerung ist davon wahrscheinlich betroffen.
    300+GefährlichGesundheitswarnung: Jeder kann ernstere gesundheitliche Auswirkungen haben

    Um mehr über Luftqualität und -verschmutzung zu erfahren, gehen Sie auf die Seite Luftverschmutzung (Wikipedia) oder den AIRNow Leitfaden für Luftqualität und Ihre Gesundheit der US-amerikanischen Umweltagentur.

    Sehr nützliche Gesundheitsratschläge gibt der Pekinger Arzt Richard Saint Cyr MD, www.myhealthbeijing.com in seinem Blog.


    Nutzungshinweis: Alle Luftqualitätsdaten sind zum Zeitpunkt der Veröffentlichung noch nicht verifiziert, und aufgrund der Qualitätssicherung können diese Daten jederzeit ohne vorherige Ankündigung geändert werden. Das World Air Quality Index Projekt hat alle angemessenen Fähigkeiten und Sorgfalt bei der Zusammenstellung der Inhalte dieser Informationen angewandt und unter keinen Umständen, vertraglich oder anderweitig haftet das , das World Air Quality Index Projektteam oder seine Agenten wegen unerlaubter Handlung oder anderweitig für Verluste, Verletzungen oder Schäden, die direkt oder indirekt aus der Bereitstellung dieser Daten entstehen.



    Einstellungen


    Spracheinstellungen:


    Temperature unit:
    Celcius