Χρήση στατιστικών αποστάσεων για επικύρωση δικτύων αισθητήρων σε πραγματικό χρόνο
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Μερίδιο: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/el/
Overlapping kernel densities,
(credits)

Το 2008, όταν ξεκίνησε το έργο World Air Quality, όλοι οι υπάρχοντες σταθμοί παρακολούθησης της ποιότητας του αέρα βασίζονταν σε εξαιρετικά επαγγελματική και ακριβή τεχνολογία BAM και TOEM. Αυτού του είδους οι σταθμοί συντηρούνται πάντα από επαγγελματίες και υψηλά καταρτισμένους χειριστές - και αυτό διασφαλίζει ότι η έξοδος αυτού του σταθμού μπορεί να είναι αξιόπιστη.

12 χρόνια αργότερα, οι σταθμοί BAM και TOEM εξακολουθούν να υπάρχουν. Αλλά με την ανάπτυξη της τεχνολογίας σκέδασης λέιζερ και του χαμηλού κόστους αισθητήρα σκόνης, οι σταθμοί BAM και TOEM υπερτερούν πλέον αριθμητικά από τεράστια και πυκνά δίκτυα αισθητήρων χαμηλού κόστους. Σήμερα, υπάρχουν τόσα πολλά από αυτά τα δίκτυα - για να αναφέρουμε μερικά: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air κ.λπ..

Ένα από τα θεμελιώδη ζητήματα με το δίκτυο αισθητήρων χαμηλού κόστους είναι η αξιοπιστία τους: Εφόσον πολλοί από αυτούς τους αισθητήρες δεν συντηρούνται σωστά (ή δεν συντηρούνται καθόλου), η ποσότητα του αισθητήρα που παράγει εντελώς λάθος μέτρηση δεν είναι αμελητέα. Επιπλέον, το μεγαλύτερο μέρος του δικτύου δεν χρησιμοποιεί σταθμούς με αναπαραγόμενους αισθητήρες (σε αντίθεση με τον σταθμό Gaia , ο οποίος χρησιμοποιεί 3 αναπαραγόμενους αισθητήρες), καθιστώντας ακόμη πιο δύσκολο να γνωρίζουμε πότε ένας μεμονωμένος αισθητήρας αποτυγχάνει.

Σε αυτό το άρθρο, θα εξετάσουμε το δίκτυο αισθητήρων που έχει αναπτυχθεί στην υπέροχη πόλη του Βόλου στην Ελλάδα και θα μελετήσουμε τα μέσα αξιολόγησης και ποσοτικοποίησης της αξιοπιστίας του σταθμού σε πραγματικό χρόνο.


--

Η υπέροχη πόλη του Βόλου στην Ελλάδα

Ο Βόλος (ελληνικά: Βόλος) είναι παραθαλάσσια πόλη-λιμάνι. Με πληθυσμό 144.449 (2011), είναι επίσης η έκτη σε πληθυσμό πόλη της Ελλάδας. Αποτελεί σημαντικό βιομηχανικό κέντρο, ενώ το λιμάνι του αποτελεί γέφυρα μεταξύ Ευρώπης και Ασίας. Υπάρχουν αυτή τη στιγμή 5 σταθμοί στον Βόλο: Ένας από την Ελληνική EPA , που παρέχει ωριαία δεδομένα από έναν επαγγελματικό σταθμό BAM και 4 σταθμοί χαμηλού κόστους σε πραγματικό χρόνο από το δίκτυο lutf-daten :



Ο σταθμός ΕΠΑ Βόλου βρίσκεται στο κτίριο της Αποκεντρωμένης Διοίκησης Θεσσαλίας και Στερεάς Ελλάδας . Όλοι οι υπόλοιποι σταθμοί βρίσκονται επίσης σε κατοικημένες περιοχές, με εξαίρεση τον Αργοναυτών που βρίσκεται δίπλα στο λιμάνι.

Η κίνηση στο λιμάνι δεν είναι αμελητέα, με κατά μέσο όρο περίπου 8 πλοία αφίξεις/αναχωρήσεις ημερησίως , με το 80% των πλοίων να είναι φορτία - τη στιγμή που γράφονται αυτές οι γραμμές.

Ένα από τα γνωστά προβλήματα με τα φορτία μπορεί να είναι η σωματιδιακή ρύπανση από τους σωλήνες εξάτμισης, λόγω χαμηλής ποιότητας καυσίμου . Βλέποντας όμως το πανόραμα από όπου βρίσκεται ο σταθμός Αργοναυτών, η απόσταση από τα φορτία είναι αρκετά μακριά ώστε να μην δικαιολογεί μια σταθερή πηγή ατμοσφαιρικής ρύπανσης. Θα περίμενε κανείς να δει μερικές φορές όταν ο αέρας είναι πιο μολυσμένος στο Αργοναυτών, ειδικά όταν τα μεγάλα σκάφη κάνουν ελιγμούς, αλλά όχι όλη την ώρα. Εξάλλου, αυτό είναι μόνο 8 πλοία που κάνουν ελιγμούς την ημέρα.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Δεδομένα χρονοσειράς προηγούμενων 30 ημερών

Με βάση τις πληροφορίες από τη θέση των σταθμών, θα μπορούσε κανείς να αναμένει ότι όλοι οι σταθμοί συμφωνούν σε παρόμοια επίπεδα ατμοσφαιρικής ρύπανσης, με εξαίρεση τα σποραδικά γεγονότα υψηλότερης ρύπανσης για το Αργοναυτών. Αλλά, δυστυχώς, αυτό δεν συμβαίνει στην πραγματικότητα, όπως επιβεβαιώνεται από το γράφημα της χρονοσειράς παρακάτω:

Η γραφική παράσταση χρονοσειράς δείχνει ξεκάθαρα ότι τα δεδομένα για το Αργοναυτό φαίνονται υπερεκτιμημένα σε σύγκριση με άλλους σταθμούς. Αντίστοιχα, τα στοιχεία για τη Δημάρξου φαίνονται υποεκτιμημένα.

Για να επισημάνετε καλύτερα το ζήτημα είναι να απεικονίσετε το ημερήσιο 75ο εκατοστημόριο AQI, που σχεδιάστηκε χρησιμοποιώντας την αντίστοιχη χρωματική περιοχή AQI. Η απόκλιση από το Αργοναυτών είναι εμφανής. Επιπλέον, είναι δυνατό να διακριθούν δύο συστάδες με επίκεντρο Ρήγα-Φεραίου+Κασθαναίας και ΕΠΑ Βόλου+Δημάρξου.


--

Ποσοτικοποίηση διαφορών χρονοσειρών

Όσον αφορά τη σύγκριση των συσχετισμένων χρονοσειρών, το καλύτερο είναι να συγκρίνετε τις πιθανότητες τους. Τα 3 παρακάτω γραφήματα αντιπροσωπεύουν την κατανομή πυκνότητας, CDF (αθροιστική συνάρτηση κατανομής) και QQ (χρησιμοποιώντας το Volos EPA ως CDF αναφοράς). Και τα 3 αυτά γραφήματα βασίζονται σε δεδομένα χρονοσειρών των τελευταίων 30 ημερών, αλλά μπορείτε επίσης να επιλέξετε ένα συγκεκριμένο χρονικό εύρος στα πρώτα γραφήματα χρονοσειρών και αυτά τα 3 γραφήματα θα ενημερωθούν χρησιμοποιώντας τις τιμές από το δεδομένο χρονικό εύρος.

Βλέποντας την πιθανολογική κατανομή με γυμνό μάτι, είναι προφανές ότι υπάρχει μεγάλη διαφορά μεταξύ Αργοναυτών, Δημάρχου και του σταθμού ΕΠΑ αναφοράς Βόλου. Αξίζει να σημειωθεί ότι υπάρχει ένα "χτύπημα" γύρω από το AQI 150: Ο λόγος είναι ότι το διάγραμμα διανομής βασίζεται στο AQI και όχι στην ακατέργαστη συγκέντρωση και το πιο συμπαγές εύρος [150.200] AQI (σε σύγκριση με [100.150]) κάνει το AQI πυκνότερο για >150 σε σύγκριση με <150.

Όταν πρόκειται για τον ποσοτικό προσδιορισμό αυτής της διαφοράς, είναι δυνατό να χρησιμοποιηθεί η έννοια της στατιστικής απόστασης για να ποσοτικοποιηθεί η "καλή προσαρμογή". Οι πιο γνωστές αποστάσεις είναι οι αποστάσεις Kolmogorov-Smirnov, Wasserstein και Cramér-von Mises (για μια καλή εισαγωγή σχετικά με αυτές τις αποστάσεις, ανατρέξτε σε αυτές τις εξαιρετικές εξηγήσεις ). Ο παρακάτω πίνακας δείχνει τις αποστάσεις με βάση τα δεδομένα των 30 ημερών (οι τιμές θα ενημερωθούν εάν επιλέξετε ένα χρονικό εύρος από το γράφημα της κύριας χρονοσειράς).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Ενώ η απόσταση Κολμογκόροφ-Σμιρνόφ δεν αποτυπώνει σωστά τις σχετικές αποστάσεις (τονίζοντας τη Δημάρξου μέχρι το Αργοναυτό), και οι δύο αποστάσεις Wasserstein και Cramér-von Mises υπογραμμίζουν μια προφανώς μεγαλύτερη απόσταση για το Argonafton. Οι τιμές στον παραπάνω πίνακα βασίζονται στα δεδομένα 30 ημερών. Τα 3 παρακάτω γραφήματα βασίζονται στον κινητό μέσο όρο των 7 ημερών για τις τελευταίες 30 ημέρες.

Αυτά τα γραφήματα επιβεβαιώνουν ότι χρησιμοποιώντας είτε την απόσταση Wasserstein είτε την απόσταση Cramér-von, η απόσταση από το σταθμό Αργοναυτών και την EPA του Βόλου είναι συνεχώς τουλάχιστον διπλάσια από την απόσταση από τους άλλους σταθμούς.

Συσχετίζοντας Μετεωρολογικά Δεδομένα

Προκειμένου να επιβεβαιωθεί η υπόθεση ότι ο σταθμός Αργοναυτών παράγει μη φυσιολογικές και υπερεκτιμημένες μετρήσεις συγκέντρωσης, πρέπει να εξετάσουμε τα μετεωρολογικά δεδομένα: Η συνθήκη υπό την οποία ο σταθμός Αργοναυτών θα μπορούσε να δει υψηλότερη συγκέντρωση είναι όταν ο άνεμος φυσάει από νότια. δηλ. όπου ο άνεμος θα μετέφερε τις αναθυμιάσεις των σωλήνων εξάτμισης του φορτίου προς το σταθμό.

Το πρώτο βήμα είναι να ελέγξετε τη μέση διεύθυνση και ταχύτητα ανέμου κατά τις τελευταίες 30 ημέρες. Τα δεδομένα ανέμου λαμβάνονται τόσο από τον σταθμό METAR του Αεροδρομίου Βόλου, όσο και από τον μετεωρολογικό σταθμό Netatmo Tthiseos . Τα δύο τριαντάφυλλα ανέμου αντιπροσωπεύουν τον αριθμό των φορών που φυσά ο άνεμος προς κάθε κατεύθυνση.

Και τα δύο οικόπεδα με τριαντάφυλλα ανέμου δείχνουν ότι ο άνεμος φυσά κυρίως από δυτικά ή ανατολικά και πολύ λιγότερο από νότια. Δεδομένου ότι υπάρχουν βουνά στο βόρειο τμήμα του Βόλου, ουσιαστικά δεν φυσάει άνεμος από βορρά.

Με βάση αυτή την εμπειρική επιβεβαίωση ότι ο άνεμος φυσάει λιγότερο από νότια από ό,τι άλλη κατεύθυνση, δεν είναι δυνατό να συναχθεί ότι οι σωλήνες εξάτμισης του φορτίου είναι η αιτία των υψηλότερων συγκεντρώσεων PM 2,5 για τον σταθμό Αργοναυτών. Αυτή η υπόθεση ακυρώνεται επίσης από το διάγραμμα συσχέτισης μεταξύ 3 από τους σταθμούς και την κατεύθυνση του ανέμου του αεροδρομίου, που δείχνει ότι δεν υπάρχουν σαφείς ενδείξεις (για κανέναν από τους σταθμούς) ότι ο νότιος άνεμος συνεπάγεται υψηλές συγκεντρώσεις.

Τέλος, πρέπει επίσης να ελέγξουμε αν το πρόβλημα με το Αργοναυτών μπορεί να σχετίζεται με τη σχετική υγρασία. Το πρόβλημα θα μπορούσε να είναι, για παράδειγμα, λόγω της υψηλότερης υγρασίας που κάνει το μέγεθος των σωματιδίων μεγαλύτερο και επομένως συνεπάγεται υψηλότερη συγκέντρωση. Η γραφική παράσταση συσχέτισης παρακάτω επιβεβαιώνει ότι αυτό δεν είναι σωστό, καθώς δεν υπάρχει σαφής απόδειξη ότι η συγκέντρωση είναι ανάλογη με την υγρασία.

συμπέρασμα

Σε αυτό το άρθρο, εξετάσαμε τα μέσα ποσοτικοποίησης και προσδιορισμού της ποιότητας δεδομένων για σταθμούς σε πραγματικό χρόνο. Υποθέτοντας ότι υπάρχει ένας αξιόπιστος σταθμός αναφοράς, δείξαμε ότι η ποσοτικοποίηση χρησιμοποιώντας είτε την απόσταση Cramér-von Mises είτε Wasserstein μπορεί να υποδείξει προβλήματα με οποιαδήποτε δεδομένα σταθμού.

Δείξαμε επίσης ότι η απόσταση από μόνη της δεν είναι αρκετή και ότι για να είμαστε πιο ακριβείς, θα πρέπει να γίνει κατανοητό το πλαίσιο του σταθμού. όπως η θέση του και οι μετεωρολογικές συνθήκες. Ωστόσο, δεδομένου ότι το πλαίσιο δεν είναι κάτι που μπορεί να αυτοματοποιηθεί, η τελική λύση που χρησιμοποιείται για το έργο WAQI συνίσταται στον προσδιορισμό του σταθμού που οι στατιστικές αποστάσεις από τον σταθμό αναφοράς είναι μικρότερες από το 1/4. Αυτό θα τεθεί σε ισχύ τις επόμενες εβδομάδες (βλ. aqicn.org/station/ για τον χάρτη σταθμών σε πραγματικό χρόνο.

Αυτό το άρθρο είναι μέρος της σειράς και στο επόμενο άρθρο, θα εξετάσουμε τα μέσα προκριματικού σταθμού όπου δεν υπάρχει διαθέσιμος σταθμός αναφοράς.


--

Volos promenade by night
Κάντε κλικ εδώ για να δείτε όλες τις συμμετοχές σε συχνές ερωτήσεις
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Σχετικά με τη μέτρηση της ποιότητας του αέρα και της ρύπανσης:

    Σχετικά με τα επίπεδα ποιότητας αέρα

    -Τιμές του δείκτη ποιότητας αέρα (AQI).Επίπεδα ανησυχίας για την υγεία
    0 - 50ΚαλόςΗ ποιότητα του αέρα θεωρείται ικανοποιητική και η ατμοσφαιρική ρύπανση παρουσιάζει μικρό ή καθόλου κίνδυνο
    51 -100ΜέτριοςΗ ποιότητα του αέρα είναι αποδεκτή. Ωστόσο, για ορισμένους ρύπους μπορεί να υπάρχει μέτρια ανησυχία για την υγεία για ένα πολύ μικρό αριθμό ατόμων που είναι ασυνήθιστα ευαίσθητα στην ατμοσφαιρική ρύπανση.
    101-150Ανθυγιεινό για ευαίσθητες ομάδεςΤα μέλη ευαίσθητων ομάδων ενδέχεται να έχουν επιπτώσεις στην υγεία. Το ευρύ κοινό δεν είναι πιθανό να επηρεαστεί.
    151-200ΑνθυγιεινόςΟ καθένας μπορεί να αρχίσει να αντιμετωπίζει τις επιπτώσεις στην υγεία. τα μέλη ευαίσθητων ομάδων ενδέχεται να έχουν πιο σοβαρές επιπτώσεις στην υγεία
    201-300Πολύ ΑνθυγιεινόΠροειδοποιήσεις για την υγεία σε συνθήκες έκτακτης ανάγκης. Όλος ο πληθυσμός είναι πολύ πιθανόν να επηρεαστεί.
    300+ΕπικίνδυνοςΠροειδοποίηση για την υγεία: Όλοι μπορεί να έχουν πιο σοβαρές επιπτώσεις στην υγεία

    Για να μάθετε περισσότερα σχετικά με την ποιότητα του αέρα και τη ρύπανση, ανατρέξτε στο θέμα της wikipedia για την ποιότητα του αέρα ή στον οδηγό airnow για την ποιότητα του αέρα και την υγεία σας .

    Για πολύ χρήσιμες συμβουλές υγείας του γιατρού του Πεκίνου Richard Saint Cyr MD, ανατρέξτε στο ιστολόγιο www.myhealthbeijing.com .


    Ειδοποίηση χρήσης: Όλα τα δεδομένα για την ποιότητα του αέρα δεν έχουν εγκριθεί κατά τη στιγμή της δημοσίευσης και, λόγω της διασφάλισης της ποιότητας, τα δεδομένα αυτά μπορούν να τροποποιηθούν χωρίς προειδοποίηση ανά πάσα στιγμή. Το έργο Παγκόσμιο Δείκτη Ποιότητας του Αερίου έχει ασκήσει όλες τις εύλογες δεξιότητες και φροντίδα κατά την κατάρτιση του περιεχομένου αυτών των πληροφοριών και σε καμία περίπτωση το Ομάδα Παγκόσμιας Ποιότητας Αέριας Ποιότητας ή οι αντιπρόσωποί της είναι υπεύθυνοι για συμβόλαιο, αδικοπραξία ή άλλως για τυχόν απώλειες, τραυματισμούς ή ζημίες που προκύπτουν άμεσα ή έμμεσα από την παροχή αυτών των δεδομένων.



    Settings


    Language Settings:


    Temperature unit:
    Celcius