В итоге получается своеобразный ультракраткосрочный прогноз или наукастинг — на ближайшие два часа с шагом в десять минут. Метеорологическая карта прогноза осадков в Европе.
Дополнительные ссылки
- Яндекс научился предсказывать осадки на ближайшие 2 часа
- Карты погоды в Спутнике
- Свяжитесь с нами
- Ventusky - Wind, Rain and Temperature Maps
- Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс.Погоды / Хабр
- 12 самых точных сайтов прогноза погоды
ГИДРОМЕТЦЕНТР РОССИИ: О ПОГОДЕ - ИЗ ПЕРВЫХ РУК
Об этом сообщает РИА Новости со ссылкой на данные Росгидрометцентра. Высота осадков составила 20 мм. Фото: Владимир Астапкович / РИА Новости. Раньше карта осадков давала прогноз на два часа вперед с десятиминутным интервалом. Такой прогноз называется наукастинг, обычно он делается на ближайшие часы (до 2-6 часов вперед). Ключевые слова: наукастинг, поля осадков, нейронные сети, прогнозирование ошибок, многослойный персептрон. В отдельных районах менее чем за час выпало свыше 70% месячной нормы осадков.
Синоптик Вильфанд: около 30% месячной нормы осадков выпало в Москве за час
Уровень Иваньковского вдхр. На 1 см повысился уровень воды в оз. Селигер, на оз. Плещеево, уровень воды не изменился, на оз. Неро уровень воды снизился на 1 см. Уровень воды на оз. Селигер на 10 см превышает опасную отметку ОЯ «Высокое половодье», на оз.
Плещеево до отметки ОЯ остается 14 см. Уровень воды р. Кострома на участке Гнездиково — Буй продолжил снижение на 16-23 см; у д. Исады — снижение на 2 см. На притоках Костромы уровень воды снижается на 3-17 см. В бассейне Унжи на р.
Унжа у г. Кологрив уровень снизился на 39 см; у г. Макарьев — снижение на 21 см. На притоках Унжи рр. Нея, Вига и Межа продолжается снижение уровня на спаде половодья на 13-60 см. На Ветлуге у с.
Кажирово продолжился рост уровня на 3 см , максимальная отметка на 1 см выше многолетней нормы. Ниже по течению р. Ветлуга у с. Михайловицы уровень снизился еще на 2 см. Продолжается медленный рост уровня воды на 2 см на р. Ветлуга у г.
Шарья, а на притоках рр. Вохма и Нея — снижение уровня на 7-9 см. Молога у пгт Максатиха д. Фабрика — глубина затопления от 15 см —8 см за сутки ; р.
Первое решение, которое пришло в голову, — просто обучить несколько нейросетей так, чтобы первая нейросеть предсказывала ситуацию на радаре через 10 минут, вторая — через 20 минут, третья — через 30. Требование было следующим: предсказывать радарные данные где-то на два часа вперед. Предсказания получались вот такие.
Примерно тогда же, когда мы обучили 12 нейросетей, у нас появилась возможность визуализировать данные на карте. Посмотрев на скачущие облака, менеджеры сказали: это мы выпускать точно не будем. Один из них сказал: конечно, я понимаю, что это максимизирует вероятность чего-то там, но пользователю такое не объяснить — в жизни облака так не скачут. Во время следующей итерации мы решили считать только векторное поле и умножать опорные вектора на 2 и 3, чтобы получить перенос не на 10, а на 20 минут и 30 минут соответственно. На ближних горизонтах результаты выглядели довольно прилично, но чем дальше, тем чаще с краю появлялись артефакты. Оказалось, что в векторном поле слишком большие вектора разрывают thin plate spline, и у нас появляется второе зеркальное отражение нашей картинки. Потом отражения сливаются.
На ближних горизонтах артефакт не был заметен, но на дальних проявлялся очень сильно. Из ниоткуда возникало облако. Третьим решением стало последовательное применение одного и того же преобразования thin plate spline к одной картинке. С одной стороны, оно способствовало накоплению ошибок. Это было первое реально работающее решение, которое мы показывали при внутреннем бета-тесте. Нейросеть получала на вход шесть радарных снимков за последний час, несколькими свертками приводила их к тензору из 16 векторов 4 x 4. Cплайновое преобразование восстанавливалось по векторам и последовательно применялось к картинке для получения каждого следующего горизонта прогноза.
Решение довольно хорошо себя показало, но оставался единственный вопрос: зачем нужна нейросеть? Если красные свертки — единственная часть, которую мы обучаем, почему бы нам не вычислить векторное поле самостоятельно, алгоритмически? Так что четвертое решение, которое заметно улучшило результат, использовало явную минимизацию loss-функции. Мы искали векторное поле, которое бы одинаково хорошо приближало переход на 10 минут в последний час. От —60 минут до —50, потом до —40 и т. Мы применяли это векторное поле к t0, чтобы получить прогноз на 10 минут дальше. Алгоритмически гораздо лучше находить векторное поле с помощью минимизации.
Оно быстрее работает, не требует обучения. Самое интересное — оно не требует всех данных. Можно пропустить какие-то данные — а радары довольно часто запаздывают. Мы долго думали, что же оставить — нейронные сети или алгоритмические вычисления векторного поля. Но всё победил тот самый лазерный меч в Иваново. Когда он висит над вами как дамоклов меч и зануляет вокруг себя все вектора, то облака не могут ни пересечь его, ни двигаться в одном районе с ним. Даже какого-то физического движения на картинке не происходит.
Поэтому в конечном итоге мы пришли к нейронной сети. Сейчас нейронная сеть работает и выдает предсказания, схематически ее архитектура изображена здесь. Она составлена из 12 примерно одинаковых блоков.
Соловьево — глубина затопления от 138 см —2 см за сутки ; р. Торопа у ст. Старая Торопа — глубина затопления от 36 см -3 см за сутки. В ближайшие сутки на Западной Двине, Днепре и на реках их бассейнов уровень воды продолжит снижение. В ближайшие 1-2 суток на Днепре у г. Дорогобуж пройдёт пик дождевого паводка. Сохранятся затопления поймы на Днепре участок Дорогобуж-Соловьево и на Торопе.
Бассейн Верхней Волги и верхняя часть бассейна Ветлуги За прошедшие сутки на р. Волга выше Иваньковского вдхр. На притоках Иваньковского, Угличского и Вазузского вдхр. На реках Ярославской и Ивановской областей — притоках Рыбинского и Горьковского вдхр. Продолжается регулирование Иваньковского и Угличского, наполнение Рыбинского водохранилищ. Уровень Иваньковского вдхр. На 1 см повысился уровень воды в оз. Селигер, на оз. Плещеево, уровень воды не изменился, на оз. Неро уровень воды снизился на 1 см.
Уровень воды на оз. Селигер на 10 см превышает опасную отметку ОЯ «Высокое половодье», на оз. Плещеево до отметки ОЯ остается 14 см. Уровень воды р. Кострома на участке Гнездиково — Буй продолжил снижение на 16-23 см; у д. Исады — снижение на 2 см. На притоках Костромы уровень воды снижается на 3-17 см. В бассейне Унжи на р. Унжа у г. Кологрив уровень снизился на 39 см; у г.
Макарьев — снижение на 21 см. На притоках Унжи рр.
Лучше всего для этого подходят метеорологические радары, предоставляющие такую информацию напрямую в виде изображений, и геостационарные спутники, снимки с которых надо предварительно обработать. При этом можно интерпретировать кадр как обычную картинку и свести задачу к работе с видеоизображением. Рисунок 2. Пример изображений с метеорологического радара. Вверху: пример входных кадров для модели. Внизу: ожидаемые кадры во время предсказания. Здесь , а Мы предсказываем на два часа вперёд с шагом 10 минут.
Это 12 кадров плюс ещё несколько про запас на случай перебоя в поставке данных с радара. Чаще всего решение такой задачи сводится либо к применению алгоритмов optical flow 1 , 2 , 3 , либо к нейросетевым методам 1 , 2 , 3 , 4 , 5 , 6.
Как мы делали краткосрочный прогноз осадков. Лекция в Яндексе
это.> Анимация текущих данных радарных наблюдений. Такой прогноз называется наукастинг, обычно он делается на ближайшие часы (до 2-6 часов вперед). это.> Анимация текущих данных радарных наблюдений. Решение задачи наукастинга осадков, как правило, сводится к прогнозированию следующе-го кадра видеопоследовательности, а входными данными становится серия из более чем двух последовательных изображений, что позволяет более точно моделировать нелинейные. Доля точно предсказанных случаев начала дождя — это отношение количества правильно предсказанных случаев начала первого дождя на рассматриваемом окне в два часа ко всем случаям начала первого дождя на двухчасовых окнах. Мы предсказываем на два часа вперёд с шагом 10 минут.
А можно поточнее? Как делается прогноз погоды и можно ли его улучшить?
Анимация сверхкраткосрочного прогноза осадков на период до 2 часов (наукастинг). Доля точно предсказанных случаев начала дождя — это отношение количества правильно предсказанных случаев начала первого дождя на рассматриваемом окне в два часа ко всем случаям начала первого дождя на двухчасовых окнах. Есть такое понятие как наукастинг – текущий прогноз погоды на срок до трех часов.
Наукастинг осадков на 2 часа
Прогноз осадков на 2 часа (наукастинг). Сотрудники «Фобоса» предупредили россиян о мощнейшей за шесть лет вспышке на Солнце. Погода в Казахстане 16 февраля: ожидаются сильные морозы, на юго-востоке — осадки. Фобос – последние новости. Грозовые дожди в Новгородской области. Главная» Новости» Больше всего осадков в городе 2024. Прогноз осадков на 2 часа (наукастинг). Согласно прогнозу, который озвучил ведущий специалист центра погоды «Фобос» Евгений Тишковец, первый весенний месяц будет холодным – усилятся морозы, будет идти снег. Главная» Новости» Больше всего осадков в городе 2024.
Наукастинг осадков на 2 часа
У египтян на этот случай был бога Солнца по имени Ра. У древних славян — бог-громовержец Перун и солнечный бог Хорс, покровитель хорошей погоды. Верховный бог древних греков Зевс владел именно небом, а не землёй: небо карает засухой, молниями и пожарами, но оно и наполняет реки чистой водой и награждает корабли попутным ветром. Именно ветры приносят погоду — это понимали люди ещё в древности. Для каждого направления ветра у древних греков были свои названия: Борей — северный, Нот — южный, Зефир — западный, Эвр — восточный. Их изображали крылатыми божествами. Боги ветров были и в Скандинавии, и у славянских народов. Имена давали каждому из них, причём не только по направлению ветра, как у греков, но и по характеру, составу воздушных масс, которые приносит ветер: суховей, бриз, баргузин, самум, хамсин.
Жители тех мест, где дуют эти ветра, знают, какую погоду они приносят. Баргузин — мощный байкальский ветер, приносящий ясные дни. Бриз — лёгкий ветерок на побережье, который ночью дует с остывающего берега, а днём — с прохладного моря на нагретый солнцем берег. Это очень удобно для морепавателей, которые всегда знают, что выходить в море надо с попутным ветром ранним утром, а причаливать — до заката. Пустынный шквальный самум поднимает горячие песчаные бури, затмевающие солнце, а сигналом о нём служит поющий песок: песчинки трутся друг о друга, предвещая грозу. Чтобы спастись во время такой грозы, нужно лечь и накрыться плотной тканью. Оказаться в её эпицентре, например в пустыне Сахара, опасно для жизни.
Намного менее жестокий и не такой горячий пустынный ветер — суховей, который до сих пор приносит засуху в южные степные районы России, Украины, Казахстана и опасен только для сельского хозяйства. С чего начались метеорологические наблюдения Впрочем, молитвы не мешали древним людям наблюдать за изменениями и обращать внимание на взаимосвязи некоторых фактов с предстоящими изменениями погоды. Древние предсказатели погоды, как и современные, пользовались определённым набором примет: высотой и формой облаков, оттенками солнца на закате или восходе, поведением птиц. Аристотель в IV веке до нашей эры описал разные природные явления в своей книге «Метеорологика» — и, собственно, дал название науке о погоде. В переводе с древнегреческого это означает «небесные предметы» — поскольку философ считал солнце, звёзды, кометы и дожди явлениями одной природы. Старейшие из дошедших до нас метеорологических записей — это глиняные дощечки из Вавилонии, хранящиеся теперь в Британском музее, в Лондоне. На них записаны различные приметы погоды большей частью связанные с урожаем.
Например, такие: «Когда гром гремит в месяце Себат, то появится саранча» или «Когда солнце окружено кругом, то пойдёт дождь».
Вас ждет рассказ о том, как мы в команде Яндекс. Погоды построили наукастинг, какие алгоритмы применяли, какие данные использовали, как проводили измерения и что у нас получилось. Что такое наукастинг, наверное, знают все, кто смотрел фильм «Назад в будущее 2». Когда док Браун выходит из машины и говорит, что дождь закончится через 5 секунд, это наукастинг. Но это наукастинг в фильмах. Наукастинг в реальной жизни — по крайней мере, в головах менеджеров — выглядит либо как уведомление человеку в виде текста или пуш-нотификации, либо как карта осадков, которая движется со временем. Задача была именно в том, чтобы разработать продукт, который бы совмещал в себе и уведомления, и карту осадков.
Требовался прогноз осадков на будущей карте, плывущие облачка. Полтора года назад, когда мы начинали, у нас не было ничего, кроме данных. В отличие от участников на Kaggle, у нас не было никакой фиксированной метрики, никаких baseline-решений. Единственное, что было, — постоянная гонка технологий, в которой мы хотели обогнать сами себя. Первое решение — просто День сурка. Обогнать прогноз, решить, что завтра будет то же самое, что и вчера. А следующая модель должна улучшать показания предыдущей. Что нужно для прогноза осадков?
Нужны данные, радарные снимки. Нужно понимать, как в атмосфере движутся частицы, какие ветра дуют и как применять это движение к частицам. Расскажу про все три составляющих прогноза. Первое — радарные снимки. Они бывают очень разных форматов и поступают от очень разных поставщиков. Это и просто отдельные картинки в PNG, с договоренностью, что цветом с таким-то кодом обозначается такая-то интенсивность отраженного сигнала. Либо — научный формат NetCDF. Радары сильно отличаются по частоте обновления.
Бывают радары, которые обновляются раз в 10 минут, раз в 15 минут. Самое ужасное, что данные с радаров — в отличие от относительно чистых данных для соревнований — содержат артефакты. Радары работают на физических принципах, на отражении волны, так что у них бывают слепые зоны. Причем когда маленькие фрагменты зоны видимости радиально закрыты зданиями — это еще далеко не самый тяжелый случай. Бывают и сделанные людьми артефакты. Например, в период бета-тестирования мы столкнулись с человеком, который купил себе Wi-Fi-точку, неправильно настроил на ней частоту и номер канала, после чего выставил ее в окно. В результате у нас над Иваново висел огромный лазерный меч в виде облака. Мы видели его на карте и ничего не могли с ним поделать, пока не вызвали Частотнадзор.
Пожалуйста, если покупаете Wi-Fi-точки где-то в Китае, настраивайте их на российские частоты. Кроме радарных данных, надо еще откуда-то взять векторное поле. Принципиально его можно взять всего из двух мест: либо проанализировав предыдущие радарные снимки и применив, скажем, алгоритмы оптического потока, либо из каких-то других источников.
Хотите получать уведомления от сайта «Первого канала»? Да Не сейчас 23 апреля 2024, 12:17 В китайской провинции Гуандун после нескольких дней осадков реки вышли из берегов С последствиями мощного наводнения сейчас борются на юге Китая. Вот как выглядит провинция Гуандун. Несколько дней рекордных осадков.
Подробнее 05. О погоде на 6-8 января Об особенностях погоды в регионах России в ближайшие дни рассказал Андрей Ушаков Подробнее 04. С приближением циклона с запада в пятницу пройдет небольшой снег, в субботу умеренный снег.
Риски в виде осадков. Большое интервью с доктором географических наук Андреем Шиховым
Архитектура нейронной сети. График функции обучения и валидации изображен на рисунке 3. Рисунок 3. Значения функций обучения и валидации. Из графика на Рисунке 3 видно, что переобучение наступает примерно после 75 эпохи. Значение функции валидации, которого удалось достигнуть — 0,0123 Распределение ошибок в изначальных данных является следующим: минимальная ошибка — 0; средняя величина ошибки — 0,065. Заключение В результате, был описан метод, который позволит увеличить точность прогноза либо путем автоматической коррекции прогнозируемых значений, либо путем ручного контроля за слишком большими возникающими ошибками. Так же была приведена тестовая архитектура нейронной сети, которая способна решать данную задачу и приведены результаты ее работы. Муравьев А. Сравнительная верификация усовершенствованной системы радарного наукастинга осадков с учетом пропусков и при различных методах формирования выборок по результатам испытаний в теплый период года май-сентябрь 2017 и 2020 гг. Интересная статья?
Пожалуйста, если покупаете Wi-Fi-точки где-то в Китае, настраивайте их на российские частоты. Кроме радарных данных, надо еще откуда-то взять векторное поле. Принципиально его можно взять всего из двух мест: либо проанализировав предыдущие радарные снимки и применив, скажем, алгоритмы оптического потока, либо из каких-то других источников. Например, можно воспользоваться метеомоделированием и результатом работы того же ОРФ или Метеума. Берем поле ветров и с его помощью переносим картинки, которые возвращает радар. Оба способа получения векторных полей имеют недостатки. Оптический поток нельзя посчитать в местах, где не летит облако. Там не от чего отражаться радарному лучу, и нет никаких данных о скорости воздуха и направлении движения. Метеомоделирование может не совпадать с реальностью. Поэтому если бы мы использовали только данные метеомодели, могло бы так получиться, что в исторических данных радара облако летит в одну сторону, а потом в прогнозе ветров резко разворачивается и летит в другую сторону.
Третий компонент наукастинга — алгоритм применения векторного поля. Здесь наука умеет довольно многое. Мы взяли за основу thin plate spline transform — преобразование картинки, которое представляет ее в виде тонкой резиновой пластины и растягивает некоторые места. Мы параметризуем это преобразование всего несколькими опорными векторами, а все остальные вектора движения внутри картинки восстанавливаем сплайновой интерполяцией. Такая технология используется, например, в восстановлении движения по последнему кадру из видео. Известная научная работа. Вооружившись полученными знаниями, мы начали пытаться строить прогноз. Первое решение, которое пришло в голову, — просто обучить несколько нейросетей так, чтобы первая нейросеть предсказывала ситуацию на радаре через 10 минут, вторая — через 20 минут, третья — через 30. Требование было следующим: предсказывать радарные данные где-то на два часа вперед. Предсказания получались вот такие.
Примерно тогда же, когда мы обучили 12 нейросетей, у нас появилась возможность визуализировать данные на карте. Посмотрев на скачущие облака, менеджеры сказали: это мы выпускать точно не будем. Один из них сказал: конечно, я понимаю, что это максимизирует вероятность чего-то там, но пользователю такое не объяснить — в жизни облака так не скачут. Во время следующей итерации мы решили считать только векторное поле и умножать опорные вектора на 2 и 3, чтобы получить перенос не на 10, а на 20 минут и 30 минут соответственно. На ближних горизонтах результаты выглядели довольно прилично, но чем дальше, тем чаще с краю появлялись артефакты. Оказалось, что в векторном поле слишком большие вектора разрывают thin plate spline, и у нас появляется второе зеркальное отражение нашей картинки. Потом отражения сливаются. На ближних горизонтах артефакт не был заметен, но на дальних проявлялся очень сильно. Из ниоткуда возникало облако. Третьим решением стало последовательное применение одного и того же преобразования thin plate spline к одной картинке.
С одной стороны, оно способствовало накоплению ошибок. Это было первое реально работающее решение, которое мы показывали при внутреннем бета-тесте. Нейросеть получала на вход шесть радарных снимков за последний час, несколькими свертками приводила их к тензору из 16 векторов 4 x 4. Cплайновое преобразование восстанавливалось по векторам и последовательно применялось к картинке для получения каждого следующего горизонта прогноза.
Пример изображений с метеорологического радара. Вверху: пример входных кадров для модели. Внизу: ожидаемые кадры во время предсказания. Здесь , а Мы предсказываем на два часа вперёд с шагом 10 минут.
Это 12 кадров плюс ещё несколько про запас на случай перебоя в поставке данных с радара. Чаще всего решение такой задачи сводится либо к применению алгоритмов optical flow 1, 2, 3 , либо к нейросетевым методам 1, 2, 3, 4, 5, 6. Долгое время в продакшене у нас работал алгоритм на основе optical flow, который мы смогли натюнить таким образом, что он побил по метрикам нашу предыдущую нейросетевую архитектуру. Далее расскажем о том, как мы наконец обошли optical flow и сделали более качественный прогноз с использованием нейросетей. Авторы добавили вход для пространственной памяти обозначение в статье и расширили output gate, чтобы научиться её учитывать рисунок 3.
The arrival of remote sensing means, such as radar and satellite, and more rapid development of the computer, greatly help to fill that gap. For instance, digital radar systems made it possible to track thunderstorms , providing users with the ability to acquire detailed information of each storm tracked, since the late 1980s. They are first identified by matching precipitation raw data to a set of preprogrammed characteristics into the system, including signs of organization in the horizontal and continuity in the vertical. In 2017, the arrival of passive sensing means, such as wireless networks, helped progress nowcasting even further. It became possible to receive inputs every minute and achieve greater accuracy in short-term forecasting. Several countries have developed nowcasting programs as previously mentioned. The World Meteorological Organization WMO supports these efforts and held test campaigns of such systems at various occasions.