Използване на статистически разстояния за валидиране на сензорни мрежи в реално време
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Дял: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/bg/
Overlapping kernel densities,
(credits)

Още през 2008 г., когато започна проектът за качество на въздуха в света, всички съществуващи станции за мониторинг на качеството на въздуха бяха базирани на високопрофесионална и скъпа технология BAM и TOEM. Този вид станции винаги се поддържат от професионални и висококвалифицирани оператори - и това гарантира, че продукцията на тази станция може да се вярва.

12 години по-късно станциите BAM и TOEM все още съществуват. Но с развитието на технологията за лазерно разсейване и евтиния сензор за прах, станциите BAM и TOEM сега са превъзхождани от огромни и плътни евтини сензорни мрежи. Днес има толкова много от тези мрежи - за да назовем само няколко: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air и др.

Един от основните проблеми с евтината сензорна мрежа е тяхната надеждност: Тъй като много от тези сензори не се поддържат правилно (или не се поддържат изобщо), количеството сензори, произвеждащи напълно грешни измервания, не е за пренебрегване. Освен това по-голямата част от мрежата не използва станции с репликирани сензори (за разлика от нашата станция Gaia , която използва 3 репликирани сензора), което прави още по-трудно да разберете кога един сензор не работи.

В тази статия ще разгледаме сензорната мрежа, разположена в прекрасния град Волос в Гърция, и ще проучим средствата за квалифициране и количествено определяне на надеждността на станцията в реално време.


--

Прекрасният град Волос в Гърция

Волос (на гръцки: Βόλος) е крайбрежен пристанищен град. С население от 144 449 (2011 г.), това е и шестият по население град в Гърция. Той е важен индустриален център, а пристанището му осигурява мост между Европа и Азия. В момента във Волос има 5 станции: една от гръцката EPA , предоставяща ежечасни данни от професионална BAM станция, и 4 евтини станции в реално време от мрежата lutf-daten :



Станцията на Volos EPA се намира в сградата на Децентрализираната администрация на Тесалия и Централна Гърция . Всички останали станции също са разположени в жилищни райони, с изключение на Argonafton, която се намира до пристанището.

Трафикът в пристанището не е за пренебрегване, като средно около 8 кораба пристигат/заминават на ден , като 80% от корабите са товарни - към момента на писане.

Един от известните проблеми с товарите може да бъде замърсяването с частици от изпускателните тръби, дължащо се на нискокачествено гориво . Но гледайки панорамата от мястото, където се намира станцията Argonafton, разстоянието до товарите е достатъчно голямо, за да не оправдае постоянен източник на замърсяване на въздуха. Човек може да очаква да види няколко пъти, когато въздухът е по-замърсен в Аргонафтон, особено когато големи лодки маневрират, но не през цялото време. В крайна сметка това са само 8 кораба, маневриращи на ден.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Данни от времеви редове за последните 30 дни

Въз основа на информацията от местоположението на станциите, може да се очаква, че всички станции са съгласни с подобни нива на замърсяване на въздуха, с изключение на спорадични събития с по-високо замърсяване за Argonafton. Но добре, за съжаление, това всъщност не е така, както се потвърждава от графиката на времевата поредица по-долу:

Графикът на времевата поредица ясно показва, че данните за Argonafton изглеждат надценени в сравнение с други станции. По същия начин данните за Dimarxou изглеждат подценени.

По-добре да подчертаете проблема е да визуализирате ежедневния 75-ти персентил на AQI, начертан с помощта на съответния цветови диапазон на AQI. Отклонението от Argonafton е очевидно. Освен това е възможно да се разграничат два клъстера, центрирани около Рига-Feraiou+Kasthanaías и Volos EPA+Dimarxou.


--

Количествено определяне на разликите във времеви редове

Когато става въпрос за сравняване на корелирани времеви редове, най-доброто е да се сравнят техните вероятностни разпределения. 3-те графики по-долу представят разпределението на плътността, CDF (функция на кумулативното разпределение) и QQ (използвайки Volos EPA като референтен CDF). Всички тези 3 графики се основават на данни от времеви серии от последните 30 дни, но можете също да изберете конкретен период от време в първите графики от времеви серии и тези 3 графики ще бъдат актуализирани с помощта на стойностите от дадения времеви диапазон.

Разглеждайки вероятностното разпределение с просто око, очевидно е, че има голяма разлика между Argonafton, Dimarxou и референтната станция Volos EPA. Струва си да се отбележи, че има „неравенство“ около AQI 150: Причината е, че графиката на разпределението се основава на AQI, а не на суровата концентрация, а по-компактният [150 200] диапазон на AQI (в сравнение с [100 150]) прави AQI по-плътен за >150 в сравнение с <150.

Когато става въпрос за количествено определяне на тази разлика, е възможно да се използва концепцията за статистическо разстояние, за да се определи количествено „съответствието“. Най-известните разстояния са разстоянията на Колмогоров-Смирнов, Васерщайн и Крамер-фон Мизес (за добро въведение относно тези разстояния вижте тези отлични обяснения ). Таблицата по-долу показва разстоянията въз основа на данните за 30 дни (стойностите ще бъдат актуализирани, ако изберете период от време от основната графика на времеви серии).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Докато разстоянието Колмогоров-Смирнов не улавя правилно относителните разстояния (подчертавайки Димарксу до Аргонафтон), разстоянията на Васерщайн и Крамер-фон Мизес подчертават очевидно по-голямо разстояние за Аргонафтон. Стойностите в горната таблица се базират на данните за 30 дни. 3-те графики по-долу са базирани на 7-дневната пълзяща средна за последните 30 дни.

Тези графики наистина потвърждават, че като се използва разстоянието Wasserstein или Cramér-von, разстоянието от станция Argonafton и Volos EPA постоянно е поне два пъти по-голямо от разстоянието от другите станции.

Корелиране на метеорологични данни

За да потвърдим хипотезата, че станцията Argonafton дава необичайни и надценени показания за концентрация, трябва да погледнем метеорологичните данни: Условието, при което станцията Argonafton може да види по-висока концентрация, е когато вятърът духа от юг, където вятърът би отнесъл изпаренията от изпускателните тръби на товара към гарата.

Първата стъпка е да проверите средната посока и скорост на вятъра през последните 30 дни. Данните за вятъра се получават както от METAR станцията на летище Volos, така и от метеорологичната станция Netatmo Tthiseos . Двете рози на вятъра представляват колко пъти вятърът духа във всяка посока.

И двата графика на розите на вятъра показват, че вятърът духа главно от запад или изток и много по-малко от юг. Тъй като в северната част на Волос има планини, отдолу практически няма вятър от север.

Въз основа на това емпирично потвърждение, че вятърът духа по-малко от юг, отколкото от друга посока, не е възможно да се заключи, че изпускателните тръби за товара са причината за по-високите концентрации на PM 2,5 за станция Argonafton. Тази хипотеза също е невалидна от диаграмата на корелация между 3 от станциите и посоката на вятъра на летището, която показва, че няма ясни доказателства (за нито една от станциите), че южният вятър предполага високи концентрации.

И накрая, трябва да проверим дали проблемът с Argonafton може да е свързан с относителната влажност. Проблемът може да се дължи например на по-висока влажност, което прави размера на частиците по-голям и по този начин предполага по-висока концентрация. Корелационният график по-долу потвърждава, че това не е правилно, тъй като няма ясни доказателства, че концентрацията е пропорционална на влажността.

Заключение

В тази статия разглеждаме средствата за количествено определяне и квалифициране на качеството на данните за станции в реално време. Ако приемем, че има референтна доверена станция, ние показахме, че количественото определяне с помощта на разстоянието Крамер-фон Мизес или Васерщайн може да покаже проблеми с данните на всяка станция.

Ние също показахме, че разстоянието само по себе си не е достатъчно и че за да бъдем по-точни, контекстът на станцията трябва да бъде разбран. като местоположението и метеорологичните условия. Въпреки това, тъй като контекстът не е нещо, което може да бъде автоматизирано, крайното решение, използвано за проекта WAQI, се състои в квалифицирана станция, чието статистическо разстояние до референтната станция е по-малко от 1/4. Това ще влезе в сила през следващите седмици (вижте aqicn.org/station/ за картата на станциите в реално време).

Тази статия е част от поредицата, а в следващата статия ще разгледаме начините за квалифициране на станция, където няма налична референтна станция.


--

Volos promenade by night
Щракнете тук, за да видите всички записи на ЧЗВ
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Относно качеството на въздуха и измерването на замърсяването:

    Относно нивата на качеството на въздуха

    -Стойности на индекса за качество на въздуха (AQI).Нива на загриженост за здравето
    0 - 50добреКачеството на въздуха се счита за задоволително и замърсяването на въздуха представлява малък или никакъв риск
    51 -100умеренКачеството на въздуха е приемливо; въпреки това за някои замърсители може да има умерена опасност за здравето на много малък брой хора, които са необичайно чувствителни към замърсяването на въздуха.
    101-150Нездравословна за чувствителни групиЧленовете на чувствителните групи могат да имат здравни ефекти. Обществеността не е вероятно да бъде засегната.
    151-200нездравословенВсеки може да започне да изпитва здравни ефекти; членовете на чувствителните групи могат да имат по-сериозни последици за здравето
    201-300Много НездравословнотоЗдравни предупреждения за аварийни условия. Цялото население е по-вероятно да бъде засегнато.
    300+опасенСигнал за здравето: всеки може да има по-сериозни последици за здравето

    За да научите повече за качеството на въздуха и замърсяването, вижте темата за качеството на въздуха в wikipedia или ръководството на airnow за качеството на въздуха и вашето здраве .

    За много полезни здравни съвети на д-р Ричард Сейнт Сир от Пекин проверете блога на www.myhealthbeijing.com .


    Известие за използване: Всички данни за качеството на атмосферния въздух не са валидни към момента на публикуването и поради осигуряване на качеството, тези данни могат да бъдат променяни без предизвестие по всяко време. Проектът Световен индекс на качеството на въздуха е упражнил всички разумни умения и внимание при съставянето на съдържанието на тази информация и при никакви обстоятелства Проектният екип на Световния Индекс на Качеството на Въздуха или неговите агенти са отговорни по договор, нередовност или по друг начин за всяка загуба, нараняване или щета, възникващи пряко или косвено от предоставянето на тези данни.



    Settings


    Language Settings:


    Temperature unit:
    Celcius