Usando distâncias estatísticas para validação de redes de sensores em tempo real
Using Statistical Distances for Real-time Sensor Networks Validation

Posted on April 28th 2020
Compartilhar: aqicn.org/faq/using-statistical-distances-for-real-time-sensor-networks-validation/pt/
Overlapping kernel densities,
(credits)

Em 2008, quando o projeto Qualidade do Ar Mundial começou, todas as estações de monitoramento da qualidade do ar existentes eram baseadas em tecnologia BAM e TOEM altamente profissional e cara. Este tipo de estações são sempre mantidas por operadores profissionais e altamente qualificados - e isso garante que a produção desta estação seja confiável.

12 anos depois, as estações BAM e TOEM ainda existem. Mas com o desenvolvimento da tecnologia de dispersão de laser e do sensor de poeira de baixo custo, as estações BAM e TOEM são agora superadas em número por imensas e densas redes de sensores de baixo custo. Hoje em dia, existem tantas dessas redes - para citar algumas: urad, luft-daten, airqo, airbg, opensense, yakkaw, econet, airkaz, ccdc, ambente, green air, etc.

Uma das questões fundamentais da rede de sensores de baixo custo é a sua confiabilidade: como muitos desses sensores não recebem manutenção adequada (ou nem sequer recebem manutenção), a quantidade de sensores que produzem medições completamente erradas não é negligenciável. Além disso, a maior parte da rede não utiliza estações com sensores replicados (ao contrário da nossa estação Gaia , que utiliza 3 sensores replicados), tornando ainda mais difícil saber quando um único sensor está falhando.

Neste artigo, veremos a rede de sensores implantada na maravilhosa cidade de Volos, na Grécia, e estudaremos meios para qualificar e quantificar a confiabilidade da estação em tempo real.


--

A maravilhosa cidade de Volos na Grécia

Volos (grego: Βόλος) é uma cidade portuária costeira. Com uma população de 144.449 (2011), é também a sexta cidade mais populosa da Grécia. É um importante centro industrial, enquanto o seu porto serve de ponte entre a Europa e a Ásia. Existem atualmente 5 estações em Volos: Uma da EPA grega , fornecendo dados horários de uma estação BAM profissional, e 4 estações de baixo custo em tempo real da rede lutf-daten :



A estação Volos EPA está localizada no edifício da Administração Descentralizada da Tessália e da Grécia Central . Todas as outras estações também estão localizadas em áreas residenciais, com exceção de Argonafton que fica próximo ao porto.

O tráfego no porto não é negligenciável, com uma média de cerca de 8 navios chegando/partindo por dia , sendo 80% dos navios de carga - no momento em que escrevo.

Um dos problemas conhecidos com cargas pode ser a poluição por partículas provenientes dos escapamentos, devido ao combustível de baixa qualidade . Mas olhando para o panorama de onde está localizada a estação de Argonafton, a distância até as cargas é suficientemente grande para não justificar uma fonte constante de poluição atmosférica. Poderíamos esperar ver algumas vezes em que o ar fica mais poluído em Argonafton, especialmente quando grandes barcos estão manobrando, mas não o tempo todo. Afinal, são apenas 8 navios manobrando por dia.


A view of the waterfrond of the town of Volos, Greece
(attribution: wikipedia)


--

Dados de série temporal dos últimos 30 dias

Com base nas informações da localização das estações, seria de esperar que todas as estações concordassem com níveis semelhantes de poluição atmosférica, com exceção de eventos esporádicos de maior poluição em Argonafton. Mas bem, infelizmente, este não é realmente o caso, como confirmado no gráfico de série temporal abaixo:

O gráfico de série temporal indica claramente que os dados de Argonafton parecem superestimados em comparação com outras estações. Da mesma forma, os dados de Dimarxou parecem subestimados.

A melhor maneira de destacar o problema é visualizar o 75º percentil diário do AQI, plotado usando a faixa de cores do AQI correspondente. O desvio de Argonafton é óbvio. Além disso, é possível distinguir dois clusters centrados em Riga-Feraiou+Kasthanaías e Volos EPA+Dimarxou.


--

Quantificando diferenças de séries temporais

Quando se trata de comparar séries temporais correlacionadas, o melhor é comparar suas distribuições probabilísticas. Os 3 gráficos abaixo representam a distribuição de densidade, CDF (função de distribuição cumulativa) e QQ (usando Volos EPA como CDF de referência). Todos esses três gráficos são baseados nos dados da série temporal dos últimos 30 dias, mas você também pode selecionar um intervalo de tempo específico nos primeiros gráficos da série temporal, e esses três gráficos serão atualizados usando os valores do intervalo de tempo determinado.

Olhando para a distribuição probabilística a olho nu, é óbvio que existe uma grande diferença entre Argonafton, Dimarxou e a estação de referência Volos EPA. Vale a pena notar que há um "saliência" em torno do AQI 150: A razão é que o gráfico de distribuição é baseado no AQI e não na concentração bruta, e a faixa mais compacta do AQI [150.200] (em comparação com [100.150]) torna o AQI é mais denso para >150 em comparação com <150.

Quando se trata de quantificar esta diferença, é possível utilizar o conceito de distância estatística para quantificar a “adequação do ajuste”. As distâncias mais conhecidas são as distâncias Kolmogorov-Smirnov, Wasserstein e Cramér-von Mises (para uma boa introdução sobre essas distâncias, consulte estas excelentes explicações ). A tabela abaixo mostra as distâncias com base nos dados de 30 dias (os valores serão atualizados se você selecionar um intervalo de tempo no gráfico principal da série temporal).

Station
Kolmogorov-Smirnov
Wasserstein
Cramér-von Mises

Embora a distância Kolmogorov-Smirnov não capture corretamente as distâncias relativas (destacando Dimarxou até Argonafton), ambas as distâncias de Wasserstein e Cramér-von Mises destacam uma distância obviamente maior para Argonafton. Os valores na tabela acima são baseados nos dados de 30 dias. Os 3 gráficos abaixo são baseados na média móvel de 7 dias dos últimos 30 dias.

Esses gráficos confirmam que usando a distância de Wasserstein ou Cramér-von, a distância da estação de Argonafton e da EPA de Volos é constantemente pelo menos duas vezes maior que a distância das outras estações.

Correlacionando Dados Meteorológicos

Para confirmar a hipótese de que a estação Argonafton está a produzir leituras de concentração anormais e sobrestimadas, precisamos de olhar para os dados meteorológicos: A condição sob a qual a estação Argonafton pode observar uma concentração mais elevada é quando o vento sopra do sul, ou seja, onde o vento levaria os gases de escape da carga em direção à estação.

O primeiro passo é verificar a direção e velocidade média do vento nos últimos 30 dias. Os dados de vento são obtidos tanto da estação METAR do Aeroporto de Volos, bem como da estação meteorológica Netatmo Tthiseos . As duas rosas dos ventos representam o número de vezes que o vento sopra em cada direção.

Ambas as parcelas de rosas dos ventos mostram que o vento sopra principalmente de oeste ou leste e muito menos de sul. Como existem montanhas na parte norte de Volos, não há substancialmente nenhum vento vindo do norte abaixo.

Com base nesta confirmação empírica de que o vento sopra menos do sul do que de outra direção, não é possível deduzir que os tubos de escape de carga sejam a causa das concentrações mais elevadas de PM 2,5 na estação de Argonafton. Esta hipótese é também invalidada pelo gráfico de correlação entre 3 das estações e a direcção do vento do Aeroporto, que mostra que não há evidências claras (para nenhuma das estações) de que o vento sul implique concentrações elevadas.

Por último, também precisamos verificar se o problema do Argonafton pode estar relacionado à umidade relativa. O problema pode ser, por exemplo, devido à humidade mais elevada, tornando o tamanho das partículas maior e implicando assim uma concentração mais elevada. O gráfico de correlação abaixo confirma que isto não está correto, pois não há evidências claras de que a concentração seja proporcional à umidade.

Conclusão

Neste artigo, analisamos os meios de quantificar e qualificar a qualidade dos dados para estações em tempo real. Supondo que exista uma estação confiável de referência, mostramos que a quantificação usando a distância de Cramér-von Mises ou de Wasserstein pode indicar problemas com quaisquer dados da estação.

Mostramos também que a distância por si só não é suficiente e que, para ser mais preciso, o contexto da estação deve ser compreendido. como a sua localização e condições meteorológicas. Porém, como o contexto não é algo que possa ser automatizado, a solução final utilizada para o projeto WAQI consiste em qualificar estações cujas distâncias estatísticas à estação de referência sejam inferiores a 1/4. Isso entrará em vigor durante as próximas semanas (consulte aqicn.org/station/ para obter o mapa das estações em tempo real.

Este artigo faz parte da série e, no próximo artigo, veremos meios de qualificação de estação onde não há estação de referência disponível.


--

Volos promenade by night
Clique aqui para ver todas as entradas do FAQ
  • AQI Scale: What do the colors and numbers mean?
  • Using Statistical Distances for Real-time Sensor Networks Validation
  • Nitrogen Dioxyde (NO2) in our atmosphere
  • Sobre a medição da aualidade do ar e poluição

    Sobre os níveis de qualidade do ar

    -Valores do Índice de Qualidade do Ar (AQI)Níveis de preocupação de saúde
    0 - 50Boa0-50: Boa - A qualidade do ar é considerada satisfatória, a poluição do ar representa pouco ou nenhum risco
    51 -100Moderado50-100: Moderado - A qualidade do ar é aceitável; No entanto, para alguns poluentes pode haver um problema de saúde moderada para um número muito pequeno de pessoas que são mais sensíveis à poluição do ar.
    101-150Não Saudável para Grupos SensíveisMembros de grupos sensíveis podem ter efeitos na a saúde. O público em geral não é susceptível de ser afetado.
    151-200Não saudável150-200: Insalubre - Toda a população pode começar a sentir os efeitos na saúde; membros de grupos sensíveis podem apresentar efeitos mais sérios de saúde.
    201-300Muito Prejudical à Saúde200-300: Muito Insalubre - As advertências de saúde de situações de emergência. Toda a população é mais susceptível de ser afectada.
    300+Perigoso300+: Perigoso - alerta de saúde: todos podem experimentar efeitos mais graves para a saúde

    Para saber mais sobre Qualidade do Ar e Poluição, verifique o wikipedia Qualidade do Ar tópico ou o guia AIRNow a Qualidade do Ar e sua saúde.

    Para informações sobre saúde muito úteis em Pequim, procure Doutor Richard Saint Cyr MD, consulte www.myhealthbeijing.com blogue.


    Aviso de uso: Todos os dados da Qualidade do Ar não são validados no momento da publicação e, devido à garantia de qualidade, esses dados podem ser alterados, sem aviso prévio, a qualquer momento. O projeto Índice de Qualidade do Ar Mundial exerceu todas as habilidades e cuidados razoáveis na compilação do conteúdo desta informação e sob nenhuma circunstância o A equipe do projeto World Air Quality Index ou seus agentes podem ser responsabilizados em contrato, responsabilidade civil ou de outra forma por qualquer perda, lesão ou dano decorrente direta ou indiretamente do fornecimento desses dados.



    Configurações


    Configurações de Idioma:


    Temperature unit:
    Celcius