Минобрнауки России сообщило о разработанном в Московском государственном техническом университете (МГТУ) им. Н. Э. Баумана новом российском суперкомпьютере, получившем название «Телеграф». Таким образом, новый суперкомпьютер должен стать третьим по мощности в России и войти в мировой топ-500, сообщает C-News. «Квантовый компьютер функционирующий, он гораздо страшнее атомный бомбы», — считает генеральный директор компании Acronis, сооснователь Российского квантового центра Сергей Белоусов.
Яндекс создал три мощнейших в России суперкомпьютера
«Проскочило в новостях, что его мощность 400 петафлопс, и это был бы действительно второй-третий суперкомпьютер в мире по производительности, но это не так. Математика в эпоху суперкомпьютеров. Сейчас семь российских суперкомпьютеров входят в мировой рейтинг Топ500. ИНТЕРФАКС – В МГУ имени М.В. Ломоносова ректор Виктор Садовничий открыл новый суперкомпьютер, обладающий специализированной архитектурой, сообщает вуз. В России разработали первый в мире компьютер на базе отечественной архитектуры «Леонард Эйлер» с «интуитивным» процессором — «Тераграф».
Что такое суперкомпьютеры и как они изменят нашу жизнь?
Один Пф равен 1 квадриллионов операций в секунду. К примеру, современный процессор на обычном компьютере способен выдавать 350 гигафлопс — это всего 350 миллиардов операций в секунду. Активное развитие технологий в России направлено не только на искусственный интеллект, но и на суперкомпьютеры. Уже сейчас по суммарной производительности в рейтинге суперкомпьютеров Россия занимает 8 место в мире, по суммарной пиковой производительности — 9 место.
Прочту позже SberCloud В России до 2030 г. Свод предложений, составленных по итогам конференции, АНО должно направить в правительство. В документе АНО не уточняется, идет речь о совокупной мощности машин 10 000—15 000 GPU H100 или же о планируемой мощности каждого устройства. H100 — это чипы Nvidia последнего поколения, выпущенные в 2022 г. Каждый процессор содержит 80 млрд транзисторов, что обеспечивает производительность в 56—66 терафлопсов. В сентябре 2022 г. Как следует из презентации АНО «Цифровая экономика», с предложением о создании суперкомпьютеров выступила подгруппа «Доверенная инфраструктура», возглавляемая вице-президентом «Ростелекома» Борисом Глазковым. Представители телекомоператора и Минцифры отказались от комментариев.
К примеру, современный процессор на обычном компьютере способен выдавать 350 гигафлопс — это всего 350 миллиардов операций в секунду. Активное развитие технологий в России направлено не только на искусственный интеллект, но и на суперкомпьютеры. Уже сейчас по суммарной производительности в рейтинге суперкомпьютеров Россия занимает 8 место в мире, по суммарной пиковой производительности — 9 место. По количеству суперкомпьютеров в Top-500 Россия вышла на 9 место в мире — в РФ столько же систем, сколько в Южной Корее.
Как сообщает пресс-служба института математики им. Для приобретения этого компьютера были выделены средства в рамках гранта по федеральному проекту «Развитие инфраструктуры для научных исследований и подготовки кадров». Новый компьютер состоит из шести вычислительных узлов, каждый из которых оснащён двумя процессорами, имеющими 38 ядер и базовую частоту 2,4 ГГц.
Суперкомпьютер: что это и зачем нужен
- В России появится фотонный суперкомпьютер, работающий на частоте 1 триллион герц
- ПОХОЖИЕ НОВОСТИ
- На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров
- В МГУ открыли новый суперкомпьютер, решающий задачи ИИ | ВМК МГУ
- Технологии
ПОХОЖИЕ НОВОСТИ
- Квантовые технологии в России 2023
- Национальный суперкомпьютерный форум. Краткая информация
- В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах
- Важные даты
В Москве создали новый российский суперкомпьютер
| Созданный в МГУ суперкомпьютер вернет России лидерство в этой сфере | «Сбер» представил новый суперкомпьютер для ускорения задач в области искусственного интеллекта. |
| Что такое суперкомпьютеры и как они изменят нашу жизнь? | Планируется, что мощность компьютера будет увеличена до 234,4 Тфлопс к 2025 году, а конструкция расширится до 34 узлов. Финансирование суперкомпьютера велось на средства федерального гранта. |
| Фотонный суперкомпьютер запатентовали в России | 360° | Статья Суперкомпьютеры (рынок России), Российские суперкомпьютеры в рейтинге Top500 мира, 2024 Путин поручил нарастить мощность суперкомпьютеров в 10 раз На это нужны миллиарды рублей. |
| Шаг в будущее: возможности нового российского суперкомпьютера | Суперкомпьютер Aurora, который будет развернут в Аргоннской национальной лаборатории, проектируемый компаниями Intel и Cray, обойдется в полмиллиарда долларов. |
В России построили петафлопсный суперкомпьютер редкой архитектуры
Для авторов докладов 26 февраля 2024 г. Конференция пройдет в смешанном формате, предполагающем как очное участие, так и онлайн-трансляции и возможности заочного участия. Множество возможностей и событий на одной площадке Ежегодно на одной площадке конференции проходит множество суперкомпьютерных событий. В 2023 году на конференции участникам были доступны мероприятия в очном и онлайн-формате — 3 пленарные секции, 11 научных секций, 10 семинаров, конференция молодых ученых, стендовая секция, выставка.
Суперкомпьютер МГУ-270, построенный в соответствии с долгосрочными планами развития МГУ, открывает новые возможности перед российским научным сообществом. Хотя пиковая вычислительная мощность суперкомпьютера составляет впечатляющие 400 "искусственных" петафлопсов, следует отметить, что это значение относится к формату данных FP16, известному как "AI" PetaFLOPS.
К сожалению, конкретные значения производительности суперкомпьютера МГУ-270 не раскрываются, но предполагается, что это может быть самая мощная вычислительная машина в стране.
Для докладчиков, выступающих в онлайн-формате, оргвзнос составляет 1000 рублей. В оргвзнос на онлайн-участие в качестве спикера входит выступление с одним докладом по тематике секции. Оргвзнос необходимо оплатить после того, как программный комитет пришлет решение о включении доклада в программу Форума. К примеру, если Вы подавали заявку на участие с четырьмя 4 докладами, но программный комитет включил в программу только два 2 , то оргвзнос будет составлять 1500 рублей 1000 за первый доклад и 500 рублей за дополнительный. Национальный суперкомпьютерный форум. Основные даты: 27 ноября 2023 — День заезда участников очного формата; 28 ноября 2023 — Пленарные доклады в очном формате, обед, фуршет и разъезд участников очного формата вечером или утром следующего дня; 29 ноября 2023 — Секции в онлайн-формате; 30 ноября 2023 — Секции в онлайн-формате; 01 декабря 2023 — Секции в онлайн-формате.
Тогда и был разработан компьютер "Колоссус", в котором насчитывалось 1500 ламп. Одним из первых суперкомпьютеров в США стал Атанасова-Берри массой в 27 тонн, он выполнял 357 операций умножения или 5 тысяч операций сложения в секунду. В нем было более 17 тысяч ламп. В 60-х годах прошлого века лидером этого направления стал талантливый американский инженер Сеймур Крей. Созданный им в середине 70-х годов суперкомпьютер "Крей-1" выполнял 240 миллионов операций в секунду. Он на порядки превосходил все аналогичные машины того времени. Самым мощным суперкомпьютером считается американский Frontier на 1600 петафлопс 10 в 15 степени операций в секунду.
В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах
Соединённые Штаты Америки начали очередной виток по ограничению доступа Китая и России к высоким технологиям, запретив AMD и NVIDIA поставлять GPU для создания суперкомпьютеров. Курчатовский вычислительный комплекс входит в число самых мощных суперкомпьютеров в России и является объединяющим звеном цепочки. Президент России Владимир Путин поручил российскому правительству проработать меры, направленные на наращивание вычислительных мощностей суперкомпьютеров в стране. На днях на выставке «Цифровая индустрия промышленной России» в Нижнем Новгороде, доцент кафедры компьютерных систем и сетей МГТУ имени Баумана Алексей Попов представил 24-ядерный микропроцессор «Леонард Эйлер» и суперкомпьютер «Тераграф».
В России построили петафлопсный суперкомпьютер редкой архитектуры
Здесь нужна новая элементная база. Потенциал у машин заведомо огромный, но его можно будет использовать только в том случае, если все отдельные этапы вычисления будут поддерживать высокую степень параллельности. Над этим проектом работает большой консорциум: сильная группа специалистов Российского федерального ядерного центра «Всероссийский научно-исследовательский институт экспериментальной физики» РФЯЦ-ВНИИЭФ , Института прикладной математики им. Келдыша РАН, Института вычислительной математики им.
Марчука РАН, Московского государственного университета им. Ломоносова и др. Силы нашего коллектива распределены по трем составляющим: элементная база, системное программное обеспечение и алгоритмы и математическое ПО.
Цифровые кадры В «МГУ Сарове» из пяти магистерских программ две посвящены вычислительным технологиям. Они хорошо дополняют друг друга и позволяют понять основные научные и технологические проблемы. На мой взгляд, темы интересны студентам.
Кроме того, мы стараемся их приобщать к решению практических задач, чтобы уже сейчас вовлечь в проблематику освоения машин зеттафлопсной производительности. Конечно, нам и им нужно сначала научиться работать с машинами эксафлопсной производительности. Если уж научился работать с параллелизмом большой степени, то переход дальше будет понятным и более простым.
Сейчас важно активнее привлекать магистрантов и выпускников «МГУ Сарова» и в целом молодых исследователей к конкретным проектам НЦФМ, чтобы они не просто что-то изучали по своей научной тематике, но и участвовали в реализации конкретных задач в рамках научной программы центра. Слушателей школы исследования архитектур суперЭВМ мы хотим познакомить не только с вопросами разработки архитектурных и программных решений для создания суперкомпьютеров, но и с деятельностью лаборатории фотонных вычислительных устройств НЦФМ, где как раз будет идти разработка фотонных элементов и компьютеров на их основе. Школа математического моделирования на суперЭВМ экса- и зеттафлопсной производительности принимает заявки до 30 июня на сайте ncphm.
Поиску языковые модели из семейства YaLM помогают составлять и ранжировать быстрые ответы, а Алисе — поддерживать живой диалог с пользователем. Каждая система объединяет больше сотни серверов, или узлов, связанных высокоскоростной сетью Infiniband HDR. Вычислительные узлы «Червоненкиса» и «Галушкина» созданы по проекту Яндекса. В них используется оптимизированная система отвода тепла — благодаря ей на охлаждение серверов уходит меньше электроэнергии. Всемирный рейтинг суперкомпьютеров Top500 выходит с 1993 года. Суперкомпьютеры Яндекса участвуют в нём впервые.
Она показывает сколько операций в секунду может выполнить техника. Суперкомпьютер отличается от обычного высокой вычислительной мощностью. Тогда стоимость проекта оценили в 24 миллиарда рублей. В конце сентября о создании квантового компьютера заявил Google.
Проект реализован при участии специалистов группы компаний РСК и корпорации Intel. Проект нацелен на кардинальное ускорение комплексных теоретических и экспериментальных исследований в области физики элементарных частиц, ядерной физики и физики конденсированных сред, в том числе для реализации ускорительного комплекса NICA, создаваемого на базе ОИЯИ для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала наша Вселенная в первые мгновения после Большого Взрыва — кварк-глюонную плазму.
В Москве создали новый российский суперкомпьютер
Одним из основных направлений его использования будет работа над системами защиты, использующими ИИ. Он будет также задействован в исследованиях в разных областях науки, включая физику, химию, биологию, медицину и другие. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России.
Он может обрабатывать графы сверхбольшой размерности до одного триллиона вершин 1012. Баумана «Набор команд нашего процессора состоит из таких действий, как добавление элементов в множество, поиск во множестве, пересечение множеств, поиск ближайшего и ряда других операций. Мы создали процессорное устройство, которое оперирует огромными множествами, например, содержащими миллиарды числовых ключей. И с помощью одной-единственной команды пересечения мы, к примеру, можем создать новое множество, являющееся результатом пересечения двух исходных множеств». Используя способность сохранять информацию о различных объектах и явлениях, а также учитывать связи между ними, графы знаний могут использоваться при анализе больших данных в биоинформатике, медицине, системах безопасности городов, компьютерных сетях, финансовом секторе, при контроле сложного промышленного производства, для анализа информации социальных сетей и во многих других областях. Также на сайте Минобрнауки говорится о важности аппаратной поддержки дискретной математики, так как большинство вычислительных задач являются дискретными по своей сути и требуют обработки множеств чисел: различные задачи оптимизации, задачи на графах, задачи машинного обучения.
Вот, к примеру, как менялась национальная сила мировых лидеров в процентах от силы всех стран мира вместе взятых с 1816 по 2016 год по данным самого цитируемого проекта в этой области «Корреляты войны». А ниже можно полюбоваться, как аналогичный график с прогнозом до 2100 года выглядит с точки зрения экспертов Денверского университета. Согласитесь, есть разница. На графике выше Китай обогнал США еще в середине 1990-х годов, а ниже это событие отодвинуто на 2030 годы. Впрочем, для России разница невелика. Интерес к подобного рода оценкам понятен. Мериться силами — любимая забава человечества. И подобные рейтинги — далеко не самый худший способ, поэтому сегодня это весьма популярное развлечение предлагает множество всевозможных аналитических агентств и экспертов. Ученые научно-технического университета Китая насчитали 5837 работ в сфере анализа национальной безопасности, опубликованных в 817 журналах за последние 17 лет. Однако не надо путать национальную силу с национальной безопасностью. Национальная сила рассчитывается по валовым показателям, а национальная безопасность — по удельным. Национальная сила чаще всего трактуется как способность государства успешно вести войну с внешним врагом, а национальную безопасность определяется его возможностью справиться с внутренними проблемами. Можно даже сказать, что при анализе национальной безопасности определяют не силу государства, а его слабость. Но знать последнее едва ли не важнее.
В последние недели Tesla также установила оборудование для проекта Dojo в дата-центре в Пало-Альто, в Калифорнии. Проект подразумевает использование нескольких центров обработки данных, расположенных в разных местах. Project Ceiba. Такая стойка сможет обеспечить выдающуюся производительность — до 128 Пфлопс в операциях FP8 квадриллионов операций в секунду. Применяется система жидкостного охлаждения. Система обеспечит производительность 65 Эксафлопс FP8. Его переход в AMD не только символизирует новый этап в карьере признанного специалиста, но и предвещает значительные изменения для самой компании. Источник изображения: servernews. Важной вехой в его карьере стал проект Red Storm, который спас Cray Research от банкротства и вернул компанию на путь инноваций. Переход Скотта в AMD после работы в организации архитектуры оборудования Azure в Microsoft, где он руководил созданием облачных суперкомпьютеров, является логичным шагом в его блестящей карьере. Стив Скотт известен своим вкладом в развитие технологий суперкомпьютеров. В Cray Research он занимался разработкой новаторских архитектур вычислительных систем, что способствовало прорывам в области высокопроизводительных вычислений. Его опыт и знания в области архитектуры высокопроизводительных вычислительных систем и суперкомпьютеров будут ключевыми в разработке новых продуктов AMD, особенно в области ИИ и облачных технологий. Переход Скотта в AMD — это не просто перемещение высококвалифицированного специалиста между компаниями. Это событие, которое может радикально изменить ландшафт суперкомпьютерных технологий. Его опыт в создании инновационных архитектур и управлении сложными проектами в высокопроизводительных вычислениях позволит AMD укрепить свои позиции на мировом рынке и открыть новые горизонты в разработке передовых технологий. По сравнению с предшественником — 256-ядерной моделью Sunway SW26010 без приставки «Pro» — его производительность выросла до четырёх раз, сообщает ресурс Chips and Cheese. Источник изображения: top500. Каждый CG-кластер объединяет 64 вычислительных ядра Compute Processing Elements — CPE с 512-битным векторным движком, 256 кбайт сверхскоростного кеша для данных и 16 кбайт для инструкций; одно управляющее ядро Management Processing Element — MPE — суперскалярное ядро внеочередного действия с векторным движком, по 32 Кбайт кеша L1 для данных и инструкций, 512 Кбайт кеша L2; а также 128-битный интерфейс памяти DDR4-3200. Источник изображения: chipsandcheese. Это особенно важно для приложений с нерегулярным доступом к совместно используемым данным. Каждый 6-кластерный процессор имеет 384 вычислительных и 6 управляющих ядер — всего 390 ядер. В модели SW26010-Pro проблему с кешем попытались решить, увеличив объём сверхскоростной памяти с 64 до 256 Кбайт, но при отсутствии надлежащего L2 этого всё равно недостаточно. Проблему кеша можно частично компенсировать за счёт дорогостоящей и трудозатратной программной оптимизации, но с учётом недостаточной пропускной способности ОЗУ непонятно, насколько в итоге обновлённый процессор окажется эффективным для задач, которые призваны решать экзафлопсные суперкомпьютеры. Источник изображения: Pixabay Проект Nebius базируется в Израиле, а руководит им Роман Чернин, ранее возглавлявший в «Яндексе» подразделение геосервисов. Наша команда разработчиков с большим энтузиазмом отнеслась к тестированию той части нашей новой облачной платформы, которая на тот момент была свободна от рабочей нагрузки клиентов, — сообщила в своём аккаунте LinkedIn отделившаяся от «Яндекса» Nebius. Теперь вы можете использовать часть суперкомпьютера Nebius AI для своих проектов в области искусственного интеллекта». В том, что запустившийся в начале года стартап Nebius уже создал свой суперкомпьютер, причём один из самых производительных в мире, нет ничего удивительного. Например, у «Сбера» в своё время на создание суперкомпьютера ушло всего три-четыре месяца. Как отметили в «Яндексе», при строительстве суперкомпьютера ISEG интеллектуальная собственность и технологии «Яндекса» не использовались, потому как они там не требуются. Тестирование суперкомпьютера для TOP500 проводилось на «голом железе», но для реального применения потребуется уже специальное ПО, и Nebius может использовать как собственные разработки, так и решения с открытым кодом. Айламазяна Российской академии наук, член-корреспондент РАН, сокоординатор Национальной суперкомпьютерной технологической платформы Сергей Абрамов. Учёный отметил, что для создания «серьёзных систем» необходима тесная кооперация с мировыми производителями процессоров, ускорителей, интерконнекта, о чём в условиях санкций говорить не приходится. В новом рейтинге TOP500 всего семь суперкомпьютеров из России. Все они утратили прежние позиции. Наиболее мощный российский суперкомпьютер «Червоненкис», созданный «Яндексом» в 2021 году, опустился с 27-го на 36-е место.
Самый мощный суперкомпьютер будет создан в России
В мировом пироге производительности года наша страна сильно упрочила свою позицию в 2021 году, когда компании Яндекс, Сбер и МТС купили шесть достаточно мощных суперкомпьютерных установок для своих корпоративных нужд. Формально индекс цифровизации России упал за прошедшие два года: сегодня он у нас в 4,6 раз хуже, чем у США, в 2,7 раз хуже, чем у Евросоюза, в пять раз хуже, чем у Японии, и 2,2 раза — по сравнению с миром. В целом суперкомпьютерная отрасль в мире стремительно развивается. В передовых странах нащупаны основные направления решений технологических трудностей предыдущего десятилетия — и для аппаратных, и для программных средств суперкомпьютеров эксафлопсного масштаба. На сегодняшний день успех трёх систем в США Frontier, Aurora, Eagle и одной — в Японии Fugaku достигнут за счёт мощной государственной и межгосударственной поддержки, наличия нескольких альтернативных конкурентных подходов, консолидации передовых технологических решений по разным направлениям. В России нет новых суперкомпьютерных разработок переднего края в последние десять лет. Создание отечественных супер-ЭВМ закончилось в 2014 году и лучшие из них относятся к петафлопсному классу. Но у России тем не менее есть возможность и ресурсы для преодоления кризиса в суперкомпьютерной отрасли — это, в том числе, разработки, которые всё еще находятся на переднем крае технологий, необходимых для создания эксафлопсных систем. Это технологии охлаждения, интерконнекта, процессоров, ускорителей, программного обеспечения, математические методы и модели. Более того, в нашей стране существуют проекты, реализация которых поможет создать системы, «превышающие эксамасштаб». Создание ЦФВМ может быть выполнено силами отечественных предприятий и позволит занять лидирующие позиции в мире в области суперкомпьютеров.
Все новости » По его мнению, такая единая структура будет работать эффективнее Академик РАН Игорь Каляев предложил объединить все суперкомпьютеры России в единую инфраструктуру под управлением искусственного интеллекта. По его мнению, которое он высказал ТАСС , это повысит эффективность их использования.
Реклама Наивысшая производительность фотонного процессора достигает 50 петафлопсов, а пиковая мощность такого процессора составляет только лишь 100 ватт. При этом производительность ФВМ можно резко повысить, уменьшая длину световой волны. ФВМ могут быть востребованы в медицине, а также в других областях.
Получается, что все семь российских машин «крутятся» на Ubuntu.
Для чего используются российские суперкомпьютеры? Суперкомпьютеры Яндекса используются для обучения нейронных сетей, используемых в проектах компании. Например, в Яндекс Браузере есть функция автоматического перевода видеороликов на русский язык. Этим как-раз таки занимается специальная нейронная сеть. Умные устройства на базе помощника Алиса также подключены к нейронке и вся поступающая от них информация обрабатывается суперкомпьютерами. Суперкомпьютеры «Кристофари» являются единственными, которые открыты для использования другими пользователями.
Сбербанк построила на их основе решение SberCloud, которое предлагает корпорациям для ускорения работы их ИТ-проектов. Ну и наверняка компания также задействует мощности для своих внутренних проектов, например в аналитике финансовых рынков. Ложка дегтя в эту бочку меда В ноябре 2022 года компания Nvidia заявила о том, что уходит из России и не будет более поддерживать корпоративный клиентский сектор. Еще в сентябре 2022 года правительство США запретило компаниям Nvidia и AMD поставлять российским корпорациям ряд высокотехнологичных продуктов. Как видим, все наши суперкомпьютеры основаны на решениях от «зеленых» и уже к концу 2022 года становится заметным, что имеющиеся в мире суперкомпьютеры не стоят на месте и развиваются бешеными темпами. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода с июля по ноябрь опустился в мировом рейтинге на 3 пункта еще в июле 2022 года он занимал 22 место.
Технологии не стоят на месте, а количесто информации для обработки постоянно прибавляется. Смогут ли топовые российские суперкомпьютеры, основанные на уже закрытых технологиях, в этой ситуации удерживаться в мировом топе? Особо остро стоит вопрос появления новых супермашин: как я понял из прочитанного в различных источниках, суперкомпьютер это не наше с вами «ведро», куда при желании можно вставить нужное количество оперативной памяти или новую видеокарту. Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый. Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне!
Теперь же надо срочно догонять ушлых западников! Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе. Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов.
Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое.
В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже.
Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2.
Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь.
В России построили петафлопсный суперкомпьютер редкой архитектуры
Суперкомпьютер MareNostrum, установленный в Barcelona Supercomputing Center, используется для моделирования циркуляции океана. Яндекс рассказал о создании трех мощнейших в России суперкомпьютеров, все они вошли в новую версию мирового рейтинга TOP500, заняв в нем 19-е, 36-е и 40 места. В рейтинге Тор500 самых мощных мировых суперкомпьютеров проект «Яндекс» под названием «Червоненкис» занял 19 место в общемировом зачёте, и, таким образом, стал самым мощным решением в России и Восточной Европе.