Как стать автором
Обновить

Анализ данных по метеорологическим станциям с помощью Pandas

Уровень сложностиСредний
Время на прочтение19 мин
Количество просмотров9.1K
Всего голосов 11: ↑10 и ↓1+11
Комментарии14

Комментарии 14

Интересная статья как пример практической обработки и анализа данных. Но, IMHO, все портит натягивание повесточки о глобальном потеплении на любые цифры. В статье анализируется данные по России, за 50 лет, а выводы делаются про всю планету в масштабе десятков тысяч лет. Единственное что видно - меняется климат в конкретной местности, что бы делать вывод про планету, нужно как минимум анализировать данные по всей поверхности, а не по кусочкам, ибо где-то потеплело, а где-то похолодало. Ну и вывод что в потеплении виновата деятельность человека - тоже непонятно откуда берется. Ибо даже в наблюдаемом периоде были десятилетия нехарактерного для "антропогенного глобального потепления" замедления роста температуры. Предполагается некая модель климата и ведется наблюдение, насколько фактические данные совпадает с моделью. Регулярно возникают нескладухи и им ищут объяснение. И потом это объяснение должно быть подтверждено. Сейчас возрастание температуры - очередная нескладуха, под которую подгоняют теории, и некоторые люди на этой повесточке умудряются нехило подзаработать.

Спасибо, за интересную статью. Хотел посмотреть данные, но архив не распаковывается

Для скачивания и загрузки данных через git требуется установка git-lfs, так как без него вы получаете только ссылку на файл данных в хранилище больших файлов. К сожалению гит не поддерживает загрузку файлов объемом больше 100 МБ. Но вы можете скачать данные по этой ссылке: https://drive.google.com/drive/folders/1F7dHpwasuYxugj0rknJ1iO3o9cVdCfb3?ths=true

Подозрительный рост именно с 1990-го для РФ. Сокращение количество метеостанций, замена ручного измерения ртутными термометра на электронные термопары.

Это серьезные изменения, влияние которых надо оценить.

Т.е. тех метеостанций на самом деле уже не существует, а данные фейковые? А про замену ртутных термометров в 90е можете рассказать, смотрел сюжет по телеку про мурманскую метеостанцию и там ртутные термометры.

Вот подробный документ об метеорологических приборах с описанием их недостатков и особенностей работы.
Ртутные самые точные, электронные самые дешевые в эксплуатации.


Сопротивление соединительных проводов вносит погрешность в показания термометра. Эта погрешность становится более значительной при длинных проводах, например, когда термометры сопротивления расположены на некотором расстоянии от измерительного прибора; различные погрешности возникают также при изменении температуры кабеля. Эти ошибки можно компенсировать за счет использования дополнительных проводников, балластных резисторов и соответствующей мостовой схемы.
Ни электрический термометр сопротивления, ни термистор не отвечают требованиям линейности во всем диапазоне измеряемых температур, но если ограничить диапазон, они могут приблизиться к требуемой линейности. Следовательно, необходимо обеспечить компенсацию таких нелинейностей.
Вероятнее всего, это необходимо для термисторов в целях достижения приемлемого диапазона метеорологических измерений.

Однако, как правило, нельзя размещать в помещении только термометр сопротивления, поскольку одним из пунктов проверки являются стандартные электрические провода. Следовательно, нужно проводить проверки экранированных термометров. Для того чтобы произвести точное сличение показаний электрических термометров или термометров сопротивления с эталонным стеклянным ртутным термометром, отражающим температуру окружающей среды, необходимо присутствие двух наблюдателей.

Отличная работа, спасибо!

Но глобальные выводы по результатам этого анализа все же делать пока не стоит - не учтено очень много важных деталей, которые могут заметно повлиять на интерпретацию результата. Но именно потому, что статья понравилась, выскажу немного критики в качестве направлений для возможного развития темы.

Во-первых, брать все метостанции для такой обширной территории - это не очень правильно. Так как тенденции в разных субрегионах могут

отличаться разительно

Конечно, средняя температура по "материку" - это намного более корректный параметр, чем, скажем, средняя Т по больнице (когда морг суммируется с инфекционкой). Но все-таки сильно не идеальный, особенно когда разброс в пределах суммированной территории больше, чем осредненный эффект...

Во-вторых, в некоторых местах метостанции стоят густо, в других - редко, поэтому осреднять их все с равным весом -

это не очень правильно

Метеорологи обычно пересчитывают свои поля на равномерную сетку... а в первом приближении можно было бы просто взять весовой коэффициент станции = величина, обратная локальной плотности метеосети.

В-третьих, вокруг некоторых метеостанций за это время выросли города, а это существенно

влияет на микроклимат

Город может добавлять несколько градусов к температуре, что потенциально может дать ощутимый вклад в тренд. С такими станциями лучше работать отдельно...

В-четвертых, минимальная температура зависит от многих факторов, включая сильный вклад

прозрачности воздуха

(от него зависит эффект ночного вымораживания) . А она ухудшается из-за влияния городов и промышленности. Ну и влажность-облачность, естественно. Так что наблюдаемый тренд минимальной температуры частично может быть связан с другими факторами.

Поэтому было бы интересно не суммировать все три ряда, а взглянуть также и на разброс max-min.

Вообще, этот ряд потенциальных улучшений работы можно продолжать до бесконечности, поэтому я

лучше остановлюсь

Все же, программу развития этой задачки сначала в кандидатскую, затем в докторскую и т.д. вплоть до нобелевки должен ставить научный руководитель, а не какой-то хмырь из инета ;-) )

Но если Вас действительно какой-то из упомянутых пунктов заинтересует, то по ним по всем есть довольно обширная литература, а у меня среди знакомых есть метеорологи, которые этим занимаются профессионально. Пишите в личку - сведу, а может еще и сам какие-то ссылки подброшу

Теперь про осадки. Там пространственная картина намного сложнее, чем с температурой, и осреднение по огромной территории гораздо менее приемлемо, чем для Т. Надо все-таки отдельные регионы (не административные!) смотреть... Кроме того, осадки вообще кратно менее стабильны, чем температура. Там огромные флуктуации - и межгодовые, и декадные, и т.д. Плюс всякие нетривиальные эффекты от появления/усыхания морей, влияние изменений характеристик подстилающей поверхности на циркуляцию (снежный/ледовый покров или те же ледники в горах) и т.д. и т.п. Потому тренд осадков крайне ненадежно определяется по такому короткому интервалу. Это сейчас скорее гадание по big data, чем тренд ;-)

В общем, найденный тренд за 1975-2020 - он только на картинке эффектно выглядит, а по сути такая амплитуда - это вообще ни о чем. Короче, эта тема еще более неисчерпаема, чем температура (с) ;-) И это мы еще не начали вспоминать про однородность рядов - если с температурой все более-менее Ок, то в случае осадков возможны нюансы с методикой измерений. Особенно на ранних этапах развития метеосети ;-)

Ну и еще один технический момент - данные надо было брать по 31.12.2022, иначе у Вас последний год заполнен только наполовину, а следовательно сезонный эффект даст вклад во все тренды. Причем вклад достаточно заметный. Грубая оценка по порядку величины (при плохом раскладе) - это размах сезонного цикла (40 градусов), деленный на длину ряда в годах и еще пополам (140), т.е. десятые градуса. На более коротких интервалах времени это уже будет очень критично. Подробное объяснение эффекта влияния сезонности на тренд (как впрочем, и наоборот) с картинками есть, например, вот в этой статье (но эта библиотека текст показывает не всем, поэтому саму статью лучше взять вот отсюда).

Спасибо за комментарий! Очень интересный материал для размышлений. Буду изучать.

И еще не удержался, написал отдельную повесть "по мотивам" статьи. Уж больно она за живое задела ;)

Я понимаю, что эта работа - скорее техническая, т.е. только подготовка к решению мировых проблем (причем подготовка правильная и полезная, без шуток!). Но кое-какие физические выводы в ней все-таки сделаны. Поэтому формальное право на такой "философский" отклик у меня все-таки есть ;-)

А именно, я хочу поспорить с двумя широко распространенными сейчас тезисами, которые, как мне показалось, в статье в каком-то виде присутствуют. Я имею в виду вот что:

1) Подъем глобальной температуры на 1.5 (2.0, 2.5, 3.0, 3.5 - нужное подчеркнуть) градуса с большой вероятностью приведет к необратимой климатической катастрофе по типу Венеры.

2) А ответ на возражение, что такая (и гораздо более высокая!) температура наблюдалась на Земле неоднократно (и катастрофы не произошло) выдвигается второй тезис - что да, оно таки бывало, но раньше эти изменения никогда не были до такой степени резкими!

На самом деле, оба эти тезиса - это пока лишь гипотезы, хорошо раскрученные в СМИ, но достаточно спорные (мягко говоря) с научной точки зрения. Давайте попробуем разобрать их оба по очереди.

  1. Верно ли, что современное состояние Земли (точнее то, которое наступит в ближайшие десятилетия при сохранении имеющихся тенденций) - является экстраординарным и беспрецедентным и наверняка приведет к необратимой климатической катастрофе?

Мой ответ - нет.

За последний миллиард лет теплые эпохи на Земле (гораздо более теплые, чем сейчас!) многократно чередовались с ледниковыми (заметно более холодными, чем сейчас). Это чем-то напоминает автоколебания, не так ли? Но наличие автоколебаний однозначно указывает на существование в системе отрицательных обратных связей, которые не дают планете "уйти в зашкал" ни в ту, ни в другую сторону.

Да, мы пока не очень твердо знаем, какие конкретно механизмы работают. Ясно только, что их много (и что положительные обратные связи тоже есть). Это можно (и нужно!) обсуждать и об этом спорить. Но наше незнание не отменяет эмпирически достоверного факта - эти отрицательные обратные связи успешно работают уже миллиард лет, благодаря чему Земля

не превращается ни в "снежок", ни в Венеру

Вообще, моя позиция такова:

Если некие "фаталисты" выдвигают гипотезу о грядущей катастрофе климата вследствие потепления, то именно они должны доказывать обоснованность своей гипотезы. А не наоборот. Так как гипотеза о квазистабильности климата Земли благодаря отрицательным обратным связям надежно подтверждена эмпирически. А обратная гипотеза - пока что сугубо умозрительная.

Другими словами, я вижу логическую неувязку вот в таком рассуждении:

1) Все механизмы саморегуляции климата вот-вот рухнут!
2) Если вы не согласны с этим прогнозом - то ВЫ докажите, что они не рухнут!
3) Ага, вы не можете этого доказать, значит МЫ правы! См. пункт 1!

Правда здесь только в том, что обратные климатические связи действительно изучены недостаточно. Это мешает провести надежное доказательство как в одну, так и в другую сторону на уровне уравнений. Но почему этот факт используется только в одну сторону (причем против гипотезы, гораздо более обоснованной эмпирически) - для меня загадка.

  1. Верно ли, что скорость происходящих сейчас изменений на порядки превосходит все, что было раньше?

Мой ответ - я совсем не уверен. Климат Земли - гораздо более динамичная система, чем мы почему-то привыкли думать. По крайней мере некоторые происходящие сейчас изменения

вовсе не так экстремальны, как это может показаться на первый взгляд

Для начала вспомним про недавние покровные оледенения. Считается, что основная часть ледниковых щитов стаивала буквально за несколько тысяч лет. Для ориентира можно взять цифру 10 тыс. лет. При таянии такого щита уровень мирового океана поднимается (грубо) метров на 100. Итого получаем среднюю скорость подъема уровня моря 1м за 100 лет на протяжении тысячелетий. (На самом деле она, конечно, менялась, и, следовательно, иногда море поднималось заметно быстрее).

Получается, что быстрое изменение уровня мирового океана в отдельные эпохи для нашей планеты - норма. Просто сейчас мы живем в эпоху стабильности, когда океан поднимается всего лишь на 20см за сто лет. Разумеется, нам просто повезло - это действительно не слишком большая скорость по сравнению с тем, что периодически происходит на нашей планете ;-)

Теперь давайте обсудим изменения температуры в ту же эпоху таяния ледника. На покровном леднике, лежащем на европейской равнине, летом должен быть небольшой среднесуточный плюс, так? А зимой - довольно серьезный минус. Среднегодовая может выйти и -10, и -20. А в лесостепи, которая образовалась после отступления ледника, среднегодовая может быть +5 или даже +10. В зависимости от розы ветров, для достижения этой отметки достаточно, чтобы ледник отступил на какие-нибудь 1000км (вполне реальная цифра за 5000лет). Итого получаем среднюю скорость роста температуры для данного региона на 20 градусов за 5000 лет, или 0.5 градуса за 100 лет. Да, немного... но это ведь средняя скорость на длительном интервале, так? Если наложить на нее неизбежные флуктуации в обе стороны (климат - очень нестабильная штука, летописи доиндустриальной эпохи не дадут соврать!), то приходим к выводу, что изменения на пару градусов за 100 лет - это не то, чтобы норма, но и ничего из ряда вон выходящего.

Но это все-таки локальные изменения в пределах одного материка или даже его части. А что будет при таянии покровного ледника чуть подальше и поглобальнее? Тут я еще раз вспомню про изменение уровня моря на те же 100м. Помимо осушки прибрежных мелководий и изменения конструкции шельфовых ледников, такое понижение уровня океана неизбежно приведет к перекрытию некоторых проливов, а следовательно, и к перестройке глобальной системы океанских течений. Тут уже рассчитать что-либо трудно. Но изменения температуры поверхности океана (ТПО) наверняка будут очень серьезными, что не может не сказаться на испарении, циклонах-осадках, да и вообще на всех параметрах атмосферной циркуляции. Так как решающий вклад в изменения атмосферной циркуляции дает именно ТПО (солнечная радиация, Кориолис и прочее по сравнению с ней - константы ;-). А вслед за ней изменится абсолютно все и на суше...

Кстати, тут недавно по миру гуляла модная страшилка про возможную остановку Гольфстрима. Что в этом случае температура в Европе может понизиться сразу на десяток градусов, причем буквально за несколько лет. Несмотря на всю условность таких расчетов, общий вывод о крайне сильной зависимости климата суши от океанских течений, по-видимому, правильный. А тот факт, что во время ледниковых эпох эти течения действительно изменялись, сомнений не вызывает. Так что могу только повторить еще раз: мы действительно живем в эпоху удивительной стабильности климата, когда температура меняется всего на пару градусов за сто лет. (Да, на Земле бывали довольно длительные эпохи, когда климат был еще более стабильным, но точно так же бывали и эпохи быстрых глобальных изменений). Пример с ледниками показывает один из возможных механизмов кардинальной перестройки всей климатической системы за очень короткое время.

Почему же мы тогда не видим этих резких изменений климата в геологической летописи? Один из возможных ответов - чем дальше мы уходим в прошлое, тем хуже разрешающая способность практически всех методов. Поэтому те изменения, которые происходили быстро (за первые тысячи лет) в ходе сбора и анализа данных неизбежно "размазываются" по гораздо более длинному во времени слою.

Кроме того

любые экспериментальные данные неизбежно содержат разного рода выбросы и аномалии, большая часть из которых - это брак наблюдений или какие-то случайные артефакты. Тот, кто работал с геологическими разрезами (например, изучал намагниченность образцов), это прекрасно знает. Чтобы получить более-менее адекватный результат, единичные непонятные аномалии надо отбрасывать. Иначе никак.

Проблема в том, что реальные резкие изменения в плавных (обычно) данных очень часто почти неотличимы от подобных артефактов-дефектов. Ведь они случаются достаточно редко, и неизбежно выглядят выбросами на фоне остального массива измерений. Поэтому стандартные общепринятые подходы к обработке данных (привет, робастность!) неизбежно будут смещать итоговый результат, принижая значимость таких аномалий даже в том случае, если их следы все-таки сохранились в геологической летописи. Причем особенно сильно - если экспериментальный материал изучается на пределе возможностей метода, а статистика ограничена (что почти всегда и бывает на практике).

Резюме

Лично мое мнение очень простое:

1) температура сейчас растет, и довольно быстро - это факт. Как и концентрация CO2
2) в какой степени это связано с человеком - вопрос дискуссионный, но ясно, что антропогенный вклад есть (либо существенный, либо определяющий)
3) является ли этот рост беспрецедентным - нет, не является, во всяком случае пока. Бывало и больше ;-)
4) грозит ли нам климатическая катастрофа с перескоком в состояние Венеры? Нет, почти наверняка не грозит. Существующие в климатической системе обратные связи рано или поздно должны начать

"отыгрывать" происходящие изменения

В частности, вот в этой статье еще по доковидным данным у нас получилось, что скорость накопления СО2 в атмосфере уже начала уменьшаться в последние годы, хотя глобальные выбросы по всему миру вроде бы не уменьшались на тот момент. Моя версия - что рост концентрации СО2 уже приводит к постепенному включению обратных связей, и что теперь СО2 выводится из атмосферы быстрее, чем раньше. Но это именно версия, так как я не специалист по физике этих процессов, а только примуса временные ряды кручу

5) что я думаю про "красные" прогнозы на будущее - что они крайне ненадежны, так как имеющиеся в климатической системе обратные связи изучены пока недостаточно и, скорее всего, они недоучитываются в прогнозах (т.е. приток антропогенного СО2 прогнозируется хорошо, а вот изменение динамики естественного баланса - очень плохо. Что фатально влияет на точность прогнозов, т.к. весь антропогенный приток - это малый процент от естественного круговорота)

Ну так и что же все-таки делать?

Во-первых, избегать экономически абсурдных популлистских решений

Даже если Земля не станет Венерой, изменение температуры на 5 градусов (не важно, антропогенное, или нет) может вызвать кучу серьезных проблем у очень многих людей. Экономика должна в первую очередь решать эти проблемы, а не бороться с "ветряными мельницами", тем более, что про реальное устройство и функционирование этих климатических "мельниц" мы пока знаем совсем немного

Во-вторых, надо изучать климатическую систему и особенно существующие в ней обратные связи. Чтобы тратить ресурсы там, где они дадут максимальный эффект с точки зрения целевой функции

В-третьих (возможно, это самое главное), надо все-таки договориться об этой "целевой функции", которую мы минимизируем, прежде, чем что-то делать. А то сплошь и рядом на словах говорится одно, а на деле под видом борьбы с реальными угрозами минимизируется (или максимизируется?) что-то совсем другое....

Согласен с вами. Действительно пока, что очень сложно понять что происходит на самом деле с климатом, так как наши данные по климату действительно пока еще очень ограничены по времени и разрешающей способности, как вы это упомянули.

Но есть и другая сторона вопроса - это политика, то есть влияние информации на жизни людей и общество. И я так думаю, что просто таким вот образом (нагнетая панику вокруг темы глобального потепления) ученые, которые занимаются настоящей наукой, измерениями, опытами, получают финансирование и возможность развивать свои исследования.

Проблема ведь в том, что правят нами не самые умные, так ведь ;-)

P.S. Мне очень понравились все ваши замечания и у меня есть к вам большая просьба. Пожалуйста, напишите для всех нас статью о климате, так чтобы можно было бы сразу врубиться, въехать, понять что на самом деле происходит сейчас на арене климатических исследований и когда со всеми нами случиться "глобальное потепление наших сердец" ;-)

Спасибо!

Статья понравилась. И хоть методы анализа выбраны простейшие, а данные слабо валидированы и требуют обогащения, например, данными по выбросам всех парниковых газов (для применения именно таких методов) - общую тенденцию они показывают красноречиво (заставляют задуматься). Впрочем, в наше время для этого бывает достаточно мнения одного экперта или эмоционального докладчика вроде Греты.

Особо похвалю автора за применение (вернее, сохранение) кириллицы в заголовках датафрейма. Это давно должно стать стандартом исследований в стране.

Ненужная сложность в двунаправленном переводе терминов расширяет контекст и сокращает число понимающих анализ в разы. Читатель в задачах, скажем, бухданных, не воспринимает Quantity также легко, как Количество, хоть тресни. Единственное пожелание - заменять пробелы и спецсимволы на символ подчеркивания, ведь тогда появляется удобная возможность обращаться к полям df через точку. Ну и, конечно, нужно учитывать многосложность русского, сокращать сокращаемое. Получается проще, сравните:

df["Общий признак качества температур]"

df.общий_признак_качества_температур

df.качество_температур

При использовании автодополнения в IDE/Jupyter/JupyterLab - короткая кириллица в полях способна сократить кол-во набираемых символов более чем в 2 раза. А главное - список автодополнения мал, в нем не будет сотен en-методов df, будет лишь несколько рус-полей, раскрывающихся после набора точки и первого символа: df.к -> ...

Политикам не просто выгоднее, а банально удобнее говорить о глобальном потеплении, чем о локальных экологических проблемах - свалках, пожарах, вырубке лесов и застройке побережий. Роль личности в истории тоже велика: вряд ли мир обратил бы внимание на эко-стенания убелённого сединами академика. Но мир не смог пройти мимо истерик эпатажной Греты, и это укор не просто так каждому, а сразу всему человечеству. Нормально озвученные мысли мы понимаем с трудом.

Парадокс нашего мира еще и в том что множество исследований направлены исключительно на подтверждение изначально существующего тезиса, чьей-то установки, журналистского задания, проплаченного ангажемента. Поэтому людей ждут впереди жестокие разочарования, еще более грубые эко-ошибки и испытания климатом. Исследования трендов увлажнения/темеператур сменятся на исследования вымирания стран и народов, опустынивания континентов, войн за источники воды и пашню. Вот тогда станет интересно.

Спасибо за замечание! Я учту это в моей следующей статье обязательно. Действительно это проще и эргономичнее воспринимать, когда все что читаешь на твоем родном языке написано.

А по поводу политиков, я с вами тоже согласен. Проблема конечно гораздо глубже, потому как в целом человеческое сообщество сейчас еще не осознало свое единство, связь с друг другом, не поняло и не приняло те ценности, которые утверждаются мировыми религиями (христианства, буддизма и ислама).

Я думаю здесь можно найти место социологическим и этологическим предпосылкам исследований, которые действительно ведут в конечном итоге к размыванию и искажению истины. Это нужно понимать, это нужно принять, а лучше всего начать исследовать эти причины, чтобы впоследствии можно б было изменить мир к лучшему.

Весьма странная логика для радиофизика: если два события совпали по времени - значить одно следствие другого.(или потепление из-за индустрии, или цивилизация в следствии потепления). И пыль над городами никак не увеличит массу влаги , принесённую с Гольфстрима. Такие оговорки настораживают...

Спасибо за статью. Интересно было узнать, как получить метеоданные из официального источника. Полезно: о resample и rolling для временных рядов.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории