統計的距離を使用したリアルタイムのセンサー ネットワーク検証
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
共有: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/jp/
Overlapping kernel densities,
(credits)

2008 年に世界大気質プロジェクトが開始されたとき、既存の大気質監視ステーションはすべて、高度に専門的で高価な BAM および TOEM テクノロジーに基づいていました。この種のステーションは常に専門的で高度な資格を持ったオペレーターによって保守されており、これによりこのステーションの出力が信頼できることが保証されます。

12 年後、BAM ステーションと TOEM ステーションはまだ存在しています。しかし、レーザー散乱技術と低コストの塵センサーの開発により、BAM ステーションと TOEM ステーションの数は、現在では膨大で高密度の低コスト センサー ネットワークに圧倒されています。現在、これらのネットワークは非常に多くあります。いくつか例を挙げると、urad、luft-daten、airqo、airbg、opensense、yakkaw、econet、airkaz、ccdc、ambente、green air などです。

低コストのセンサー ネットワークの根本的な問題の 1 つは、その信頼性です。これらのセンサーの多くは適切に保守されていない (またはまったく保守されていない) ため、完全に間違った測定を生成するセンサーの量は無視できません。さらに、ネットワークのほとんどは複製センサーを備えたステーションを使用していないため (3 つの複製センサーを使用するGaiaステーションとは異なります)、単一のセンサーがいつ故障したかを知ることはさらに困難になります。

この記事では、ギリシャの素晴らしい都市ヴォロスに展開されているセンサー ネットワークに注目し、ステーションの信頼性をリアルタイムで評価および定量化する手段を研究します。


--

ギリシャの素晴らしい都市ヴォロス

ヴォロス(ギリシャ語: Βόλος) は沿岸の港湾都市です。人口は 144,449 人 (2011 年) で、ギリシャで 6 番目に人口の多い都市でもあります。重要な産業の中心地であると同時に、その港はヨーロッパとアジアの間の架け橋となっています。現在、ヴォロスには 5 つのステーションがあります。1 つはギリシャ EPAのもので、プロの BAM ステーションから時間ごとのデータを提供し、4 つは lutf-datenネットワークからの低コストのリアルタイム ステーションです。



Volos EPA ステーションは、テッサリアおよび中央ギリシャ地方分権局の建物内にあります。港の隣にあるアルゴナフトン駅を除いて、他の駅もすべて住宅地にあります。

港の交通量は無視できるものではなく、本稿執筆時点では 1 日あたり平均約 8 隻の船舶が発着し、船舶の 80% が貨物です。

貨物に関する既知の問題の 1 つは、低品質の燃料による排気管からの粒子汚染です。しかし、アルゴナフトン基地がある場所からのパノラマを見ると、貨物までの距離は、恒常的な大気汚染源を正当化するほどには十分に遠い。アルゴナフトンでは、特に大型ボートが航行しているときに、空気がさらに汚染されることが数回見られることが予想されますが、常にではありません。結局のところ、1日に8隻の船しか航行していないのです。


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

過去 30 日間の時系列データ

観測所の位置からの情報に基づいて、アルゴナフトンで散発的に発生したより高い汚染事象を除いて、すべての観測所が同様のレベルの大気汚染に同意すると予想できます。しかし、残念ながら、これは実際には当てはまらないことが、以下の時系列グラフ プロットから確認できます。

時系列プロットは、アルゴナフトンのデータが他の観測点に比べて過大評価されているように見えることを明確に示しています。同様に、ディマルクソウのデータは過小評価されているようだ。

問題を強調するには、毎日の 75 番目の AQI パーセンタイルを、対応する AQI 色の範囲を使用してプロットして視覚化することをお勧めします。アルゴナフトンからの逸脱は明らかです。さらに、リガ-フェライウ+カスタニアスとヴォロスEPA+ディマルクソウを中心とする2つのクラスターを区別することが可能です。


--

時系列の差の定量化

相関のある時系列を比較する場合、確率分布を比較するのが最善です。以下の 3 つのグラフは、密度分布、CDF (累積分布関数)、および QQ (参照 CDF として Volos EPA を使用) を表しています。これら 3 つのグラフはすべて過去 30 日間の時系列データに基づいていますが、最初の時系列グラフで特定の時間範囲を選択することもでき、それらの 3 つのグラフは指定された時間範囲の値を使用して更新されます。

確率分布を肉眼で見ると、アルゴナフトン、ディマルクソウ、および基準となるボロス EPA 基地の間に大きな違いがあることは明らかです。 AQI 150 付近に「隆起」があることに注目してください。その理由は、分布プロットが生の濃度ではなく AQI に基づいており、AQI 範囲が ([100,150] と比較して) よりコンパクトな [150,200] であるためです。 AQI は、150 未満と比較して 150 を超えるとより密度が高くなります。

この違いを定量化する場合、統計的距離の概念を使用して「適合度」を定量化することができます。最もよく知られている距離は、コルモゴロフ - スミルノフ、ワッサーシュタイン、およびクラメール - フォン ミーゼスの距離です (これらの距離についての詳しい説明については、この優れた説明を参照してください)。以下の表は、30 日間のデータに基づく距離を示しています (メインの時系列グラフから時間範囲を選択すると、値が更新されます)。

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

コルモゴロフ-スミルノフ距離は相対距離を正確に捉えていませんが(アルゴナフトンまでのディマルクソウを強調表示しています)、ワッサーシュタインとクラメール-フォン・ミーゼス距離の両方は、アルゴナフトンの明らかに長い距離を強調しています。上の表の値は 30 日間のデータに基づいています。以下の 3 つのグラフは、過去 30 日間の 7 日移動平均に基づいています。

これらのグラフは、Wasserstein または Cramér-von のいずれかの距離を使用すると、Argonafton 駅と Volos EPA からの距離が他の駅の距離の少なくとも 2 倍以上であることを確認しています。

気象データの相関関係

アルゴナフトン観測所が異常で過大評価された濃度測定値を生成しているという仮説を確認するには、気象データを調べる必要があります。アルゴナフトン観測所がより高い濃度を観測できる条件は、風が南から吹いているときです。つまり、風が貨物の排気管から煙をステーションに向かって運ぶ場所です。

最初のステップは、過去 30 日間の平均風向と風速を確認することです。風データは、Volos Airport METAR観測所とNetatmo Tthiseos気象観測所の両方から取得されます。 2 つの風配図は、風が各方向に吹く回数を表します。

両方の風配図プロットは、風が主に西または東から吹いており、南からの風ははるかに少ないことを示しています。ヴォロス島の北部には山があるため、下には北からの風がほとんどありません。

南からの風が他の方向に比べて吹いていないという経験的な確認に基づいて、貨物排気管がアルゴナフトン基地の PM 2.5濃度の上昇の原因であると推論することはできません。この仮説は、観測点のうち 3 つと空港の風向との間の相関プロットによっても無効になり、南の風が高濃度を意味するという明確な証拠が (どの観測点についても) 存在しないことが示されています。

最後に、アルゴナフトンの問題が相対湿度に関連しているかどうかも確認する必要があります。この問題は、たとえば、湿度が高くなると粒子サイズが大きくなり、濃度が高くなることが原因である可能性があります。以下の相関図は、濃度が湿度に比例するという明確な証拠がないため、これが正しくないことを裏付けています。

結論

この記事では、リアルタイム ステーションのデータ品質を定量化し、評価する手段について検討してきました。参照の信頼できる測点があると仮定すると、クラメール・フォン・ミーゼス距離またはワッサーシュタイン距離のいずれかを使用して定量化すると、あらゆる測点データの問題を示すことができることが示されました。

また、距離だけでは十分ではなく、より正確には駅のコンテキストを理解する必要があることも示しました。その場所や気象条件など。ただし、コンテキストは自動化できるものではないため、WAQI プロジェクトに使用される最終ソリューションは、基準測点までの統計的距離が 1/4 未満である認定測点で構成されます。これは今後数週間以内に実施される予定です (リアルタイムのステーション マップについては、 aqicn.org/station / を参照してください)。

この記事はシリーズの一部であり、次回の記事では、基準局が利用できない場合に局を認定する手段について検討します。


--

Volos promenade by night
ここをクリックすると、すべての FAQ エントリが表示されます
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • 大気汚染指数の測定方法:

    大気汚染レベルについて

    指数大気質指数の分類(米国)健康影響 / カテゴリ粒子状物質(PM10,PM2.5)
    0 - 50良い - Good通常の活動が可能なし
    51 -100並 - Moderate特に敏感な者は、長時間又は激しい屋外活動の減少を検討非常に敏感な人は、長時間または激しい活動を減らすよう検討する必要がある。
    101-150敏感なグループにとっては健康に良くない - Unhealthy for Sensitive Groups心臓・肺疾患患者、高齢者及び子供は、長時間又は激しい屋外活動を減少心疾患や肺疾患を持つ人、高齢者、子供は、長時間または激しい活動を減らす必要がある。
    151-200健康に良くない - Unhealthy上記の者は、長時間又は激しい屋外活動を中止
    すべての者は、長時間又は激しい屋外活動を減少
    心疾患や肺疾患を持つ人、高齢者、子供は、長時間または激しい活動を中止する必要がある。それ以外の人でも、長時間または激しい活動を減らす必要がある。
    201-300極めて健康に良くない - Very Unhealthy上記の者は、すべての屋外活動を中止
    すべての者は、長時間又は激しい屋外活動を中止
    心疾患や肺疾患を持つ人、高齢者、子供は、全ての屋外活動を中止する必要がある。それ以外の人でも、長時間または激しい活動を中止する必要がある。
    300+危険 - Hazardous上記の者は、屋内に留まり、体力消耗を避ける
    すべての者は、屋外活動を中止
    全ての人が屋外活動を中止する必要がある。特に、心疾患や肺疾患を持つ人、高齢者、子供は、屋内に留まって激しい活動を避け静かに過ごす必要がある。
    (Reference: see wikipedia,and cn.emb-japan.go.jp/)

    大気汚染についての更なる詳細をお知りになりたい方は、WikipediaAirNowを参照してください。

    北京在住の医師Richard Saint Cyr氏による大変役に立つ健康上のアドバイスは、 www.myhealthbeijing.com をご覧ください。


    使用上の注意: すべての大気質データは公開時点では妥当性が担保されていないため、これらのデータは予告なしに修正することがあります。 世界大気質指数プロジェクトは、この情報の内容を編集に最善の注意を尽くしておりますが、いかなる状況においても World Air Quality Index プロジェクトチームまたはそのエージェントは、このデータの供給によって直接的または間接的に生じる損失や損害について責任を負いません。



    設定


    言語を選択:


    Temperature unit:
    Celcius