Gerçek Zamanlı Sensör Ağlarının Doğrulanması için İstatistiksel Mesafelerin Kullanılması
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Paylaşmak: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/tr/
Overlapping kernel densities,
(credits)

Dünya Hava Kalitesi projesinin başladığı 2008 yılında, mevcut hava kalitesi izleme istasyonlarının tümü son derece profesyonel ve pahalı BAM ve TOEM teknolojisine dayanıyordu. Bu tür istasyonların bakımı her zaman profesyonel ve yüksek vasıflı operatörler tarafından yapılır ve bu, bu istasyonun çıktısının güvenilir olmasını sağlar.

12 yıl sonra BAM ve TOEM istasyonları hala varlığını sürdürüyor. Ancak lazer saçılım teknolojisinin ve düşük maliyetli toz sensörünün gelişmesiyle birlikte, BAM ve TOEM istasyonlarının sayısı artık çok büyük ve yoğun, düşük maliyetli sensör ağlarından daha fazladır. Günümüzde bu ağlardan çok sayıda var; bunlardan birkaçını saymak gerekirse: Urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air, vb.

Düşük maliyetli sensör ağının temel sorunlarından biri de güvenilirlikleridir: Bu sensörlerin çoğunun bakımı uygun şekilde yapılmadığından (veya hiç bakımı yapılmadığından), tamamen yanlış ölçüm üreten sensör miktarı göz ardı edilemez. Üstelik ağın çoğu, kopyalanmış sensörlere sahip istasyonlar kullanmaz (3 kopyalanmış sensör kullanan Gaia istasyonumuzun aksine), bu da tek bir sensörün arızalandığının anlaşılmasını daha da zorlaştırır.

Bu makalede, Yunanistan'ın harika şehri Volos'ta konuşlandırılan sensör ağına bakılacak ve istasyon güvenilirliğini gerçek zamanlı olarak nitelendirmek ve ölçmek için araçlar incelenecektir.


--

Yunanistan'ın muhteşem şehri Volos

Volos (Yunanca: Βόλος) bir kıyı liman kentidir. 144.449 (2011) nüfusuyla aynı zamanda Yunanistan'ın altıncı en kalabalık şehridir. Önemli bir sanayi merkezi olmasının yanı sıra limanı da Avrupa ile Asya arasında bir köprü görevi görmektedir. Şu anda Volos'ta 5 istasyon bulunmaktadır: Profesyonel bir BAM istasyonundan saatlik veri sağlayan Yunan EPA'sından bir istasyon ve lutf-daten ağından 4 düşük maliyetli gerçek zamanlı istasyon:


Volos
Leaflet | Tiles © Esri — Esri, DeLorme, NAVTEQ, TomTom, Intermap, iPC, USGS, FAO, NPS, NRCAN, GeoBase, Kadaster NL, Ordnance Survey, Esri Japan, METI, Esri China (Hong Kong), and the GIS User Community
Volos EPA
Kasthanaías
Argonafton
Dimarxou
Riga Feraiou
Airport
Leaflet | Tiles © Esri — Esri, DeLorme, NAVTEQ, TomTom, Intermap, iPC, USGS, FAO, NPS, NRCAN, GeoBase, Kadaster NL, Ordnance Survey, Esri Japan, METI, Esri China (Hong Kong), and the GIS User Community

Volos EPA istasyonu Tesalya ve Orta Yunanistan Merkezi Olmayan İdaresi binasında bulunmaktadır. Limanın yanında yer alan Argonafton hariç diğer istasyonların tamamı da yerleşim bölgelerinde bulunuyor.

Limandaki trafik göz ardı edilebilecek düzeyde değildir; günde ortalama yaklaşık 8 gemi giriş/çıkış yapmaktadır ve bu yazının yazıldığı sırada gemilerin %80'i kargodur.

Kargolarla ilgili bilinen sorunlardan biri, düşük kaliteli yakıt nedeniyle egzoz borularından kaynaklanan partikül kirliliği olabilir. Ancak Argonafton istasyonunun bulunduğu yerden panoramaya bakıldığında, kargolara olan mesafenin, sürekli bir hava kirliliği kaynağını haklı çıkarmayacak kadar uzak olduğu görülüyor. Argonafton'da havanın daha kirli olduğu zamanlarda, özellikle de büyük teknelerin manevra yaptığı zamanlarda birkaç kez görülmesi beklenebilir, ancak her zaman değil. Sonuçta günde sadece 8 gemi manevra yapıyor.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Geçmiş 30 günün zaman serisi verileri

İstasyonların konumlarından elde edilen bilgilere dayanarak, Argonafton'da ara sıra meydana gelen yüksek kirlilik olayları hariç, tüm istasyonların benzer hava kirliliği seviyeleri konusunda hemfikir olması beklenebilir. Ancak ne yazık ki, aşağıdaki zaman serisi grafik grafiğinden de teyit edildiği gibi durum gerçekte böyle değil:

12 PMSat 2512 PMApr 2612 PM102030405060708090100
Apr 05Apr 12Apr 19Apr 26100
Past 3 days PM2.5 hourly mean AQI
Volos (EPA)
Dimarxou

Zaman serisi grafiği, Argonafton verilerinin diğer istasyonlarla karşılaştırıldığında fazla tahmin edildiğini açıkça göstermektedir. Benzer şekilde Dimarxou'ya ilişkin veriler de eksik tahmin edilmiş görünüyor.

Sorunu vurgulamak için daha iyi bir yöntem, karşılık gelen AQI renk aralığı kullanılarak çizilen günlük 75. AQI yüzdelik dilimini görselleştirmektir. Argonafton'dan sapma açıktır. Ayrıca Riga-Feraiou+Kasthanaías ve Volos EPA+Dimarxou merkezli iki kümeyi ayırt etmek mümkün.

Apr 05Apr 12Apr 19Apr 26May 03Volos (EPA)

--

Zaman serisi farklılıklarını ölçme

İlişkili zaman serilerini karşılaştırmaya gelince en iyisi bunların olasılık dağılımlarını karşılaştırmaktır. Aşağıdaki 3 grafik yoğunluk dağılımını, CDF'yi (kümülatif dağılım fonksiyonu) ve QQ'yu (referans CDF olarak Volos EPA kullanılarak) temsil eder. Bu 3 grafiğin tümü son 30 günlük zaman serisi verilerine dayanmaktadır, ancak ilk zaman serisi grafiklerinde belirli bir zaman aralığı da seçebilirsiniz ve bu 3 grafik, verilen zaman aralığındaki değerler kullanılarak güncellenecektir.

0501001502002500.0050.010.0150.020.025
PM2.5 Density Distribution
0501001502002500.20.40.60.8
PM2.5 CDF
0.00.20.40.60.80.20.40.60.8
QQ plot

Looking at the probabilistic distribution with a naked eye, it is obvious that there is a big difference between Argonafton, Dimarxou and the reference Volos EPA station. It is worth noticing that there is a "bump" around AQI 150: The reason is that the distribution plot is based on the AQI rather than the raw concentration, and the more compact [150,200] AQI range (compared to [100,150]) make the AQI denser for >150 compared to <150.

Bu farkın ölçülmesi söz konusu olduğunda, "uyum iyiliğini" ölçmek için istatistiksel mesafe kavramını kullanmak mümkündür. En iyi bilinen mesafeler Kolmogorov-Smirnov, Wasserstein ve Cramér-von Mises mesafeleridir (bu mesafeler hakkında iyi bir giriş için bu mükemmel açıklamalara bakınız). Aşağıdaki tablo, 30 günlük verilere dayalı olarak mesafeleri göstermektedir (ana zaman serisi grafiğinden bir zaman aralığı seçerseniz değerler güncellenecektir).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises
Dimarxou---

Kolmogorov-Smirnov mesafesi göreceli mesafeleri doğru bir şekilde yakalamasa da (Dimarxou'yu Argonafton'a kadar vurguluyor), hem Wasserstein hem de Cramér-von Mises mesafeleri Argonafton için bariz bir şekilde daha büyük bir mesafeyi vurguluyor. Yukarıdaki tablodaki değerler 30 günlük verilere dayanmaktadır. Aşağıdaki 3 grafik son 30 günün 7 günlük hareketli ortalamasına dayanmaktadır.

Kolmogorov-Smirnov 7 days sliding window
Wasserstein 7 days sliding window
Cramér-von Mises 7 days sliding window

Bu grafikler, Wasserstein veya Cramér-von mesafesi kullanıldığında, Argonafton istasyonuna ve Volos EPA'ya olan mesafenin sürekli olarak diğer istasyonlardan en az iki kat daha fazla olduğunu doğrulamaktadır.

Meteorolojik Verilerin İlişkilendirilmesi

Argonafton istasyonunun anormal ve aşırı tahmin edilen konsantrasyon okumaları ürettiği hipotezini doğrulamak için meteorolojik verilere bakmamız gerekiyor: Argonafton istasyonunun daha yüksek konsantrasyon görebileceği koşul, rüzgarın güneyden estiği zamandır. yani rüzgarın kargo egzoz borularındaki dumanları istasyona doğru taşıyacağı yer.

İlk adım, son 30 gün içindeki ortalama rüzgar yönünü ve hızını kontrol etmektir. Rüzgar verileri hem Volos Havaalanı METAR istasyonundan hem de Netatmo Tthiseos meteoroloji istasyonundan elde ediliyor. İki rüzgar gülü, rüzgarın her yönde kaç kez estiğini temsil eder.

Her iki rüzgar gülü grafiği de rüzgarın ağırlıklı olarak Batı veya Doğu'dan estiğini ve çok daha azının Güney'den estiğini göstermektedir. Volos'un kuzey kesiminde dağlar bulunduğundan aşağıda kuzeyden neredeyse hiç rüzgar yoktur.

Rüzgârın güneyden diğer yöne göre daha az estiğine ilişkin bu ampirik doğrulamaya dayanarak, Argonafton istasyonu için daha yüksek PM 2,5 konsantrasyonlarının nedeninin kargo egzoz boruları olduğu sonucuna varmak mümkün değildir. Bu hipotez aynı zamanda 3 istasyon ile Havalimanı rüzgar yönü arasındaki korelasyon grafiğiyle de geçersiz kılınmıştır; bu, güney rüzgarının yüksek konsantrasyonlara işaret ettiğine dair (herhangi bir istasyon için) net bir kanıt bulunmadığını göstermektedir.

Son olarak Argonafton'daki sorunun bağıl nemle ilgili olup olmadığını da kontrol etmemiz gerekiyor. Sorun, örneğin yüksek nemin parçacık boyutunu büyütmesi ve dolayısıyla daha yüksek konsantrasyona yol açması nedeniyle olabilir. Aşağıdaki korelasyon grafiği, konsantrasyonun nemle orantılı olduğuna dair net bir kanıt bulunmadığından bunun doğru olmadığını doğrulamaktadır.

Çözüm

Bu makalede, gerçek zamanlı istasyonlar için veri kalitesini ölçme ve nitelendirme araçlarına bakıyoruz. Referans güvenilir bir istasyonun olduğunu varsayarak, Cramér-von Mises veya Wasserstein mesafesini kullanarak ölçüm yapmanın herhangi bir istasyon verisiyle ilgili sorunları gösterebileceğini gösterdik.

Ayrıca mesafenin tek başına yeterli olmadığını, daha doğrusu istasyon bağlamının anlaşılması gerektiğini de gösterdik. konumu ve meteorolojik koşullar gibi. Ancak bağlam otomatikleştirilebilecek bir şey olmadığından WAQI projesi için kullanılan nihai çözüm, referans istasyonuna istatistiksel uzaklığı 1/4'ten az olan istasyonun nitelendirilmesinden oluşur. Bu, önümüzdeki haftalarda yürürlüğe girecektir (gerçek zamanlı istasyon haritası için bkz . aqicn.org/station/ .

Bu makale serinin bir parçasıdır ve bir sonraki makalede referans istasyonun bulunmadığı durumlarda istasyonu eleme araçlarına bakacağız.


--

Volos promenade by night
Tüm SSS girişlerini görmek için burayı tıklayın
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Ücretsiz aylık e-posta listemize kaydolun ve yeni makaleler mevcut olduğunda bildirim alın.

    Hava Kalitesi ve Kirlilik Ölçümü Hakkında:

    Hava Kalitesi Seviyeleri Hakkında

    -Hava Kalitesi İndeksi (AQI) DeğerleriSağlık Endişesinin Düzeyleri
    0 - 50İyiHava kalitesi tatmin edici kabul edilmekte ve hava kirliliği çok az veya hiç risk oluşturmamakta.
    51 -100OrtaHava kalitesi kabul edilebilir; ancak bazı kirleticiler hava kirliliğine karşı alışılmadık derecede hassas olan çok az sayıda insan için orta derecede sağlık sorunu oluşturabilir.
    101-150Sağlıksız hassas gruplar içinHassas gruplar sağlık sorunları yaşayabilir. Genel halkın etkilenmesi olası değildir.
    151-200SağlıksızHerkesin sağlığı etkilenmeye başlayabilir; hassas gruptakiler daha ciddi sağlık etkileri yaşayabilir
    201-300Çok sağlıksızAcil durum sağlık uyarıları. Tüm nüfusun etkilenmesi daha olasıdır.
    300+TehlikeliSağlık uyarısı: Herkes daha ciddi sağlık etkileri yaşayabilir

    Hava Kalitesi ve Kirlilik hakkında daha fazla bilgi edinmek için Wikipedia Hava Kalitesi konusuna veya Airnow Hava Kalitesi ve Sağlığınız kılavuzuna bakın.

    Pekin Doktoru Richard Saint Cyr MD'nin çok faydalı sağlık tavsiyeleri için www.myhealthbeijing.com bloguna bakın.


    Kullanım Uyarısı: Hava Kalitesi verileri yayınlandıkları esnada doğrulanmamıştır ve kalite güvencesi nedeniyle bu veriler herhangi bir zamanda haber verilmeksizin değiştirilebilir. Dünya Hava Kalitesi Endeksi projesi, bu bilgilerin içeriğinin derlenmesinde tüm makul beceriyi ve özeni göstermiştir ve hiçbir koşulda Dünya Hava Kalitesi İndeksi proje ekibi veya temsilcileri, bu verilerin temininden doğrudan veya dolaylı olarak doğan herhangi bir kayıp, yaralanma veya hasar için taahhüt, tazmin veya başka bir şekilde sorumlu tutulamaz.



    Settings


    Language Settings:


    Temperature unit:
    Celcius