Президент России Владимир Путин поручил правительству разработать и осуществить реализацию мер, направленных на увеличение вычислительных мощностей отечественных суперкомпьютеров.
Один из самых мощных суперкомпьютеров в России работает в СевГУ
Самый мощный суперкомпьютер будет создан в России. Сбербанк совместно с компанией Nvidia разработал самый мощный в России суперкомпьютер Christofari. Ну, чтобы создать самый мощный суперкомпьютер в России, нужно было всего лишь подольше не увозить новый айфон. Главная/Республика Марий Эл/Новости/Суперкомпьютер МарГУ вошёл в ТОП-20 России. Математика в эпоху суперкомпьютеров.
В России разработан первый в мире суперкомпьютер для цифрового «клонирования» людей и городов.
В России представили суперкомпьютер «Тераграф», построенный на уникальном отечественном микропроцессоре. Интересные новости о суперкомпьютерах и ИИ. На днях на выставке «Цифровая индустрия промышленной России» в Нижнем Новгороде, доцент кафедры компьютерных систем и сетей МГТУ имени Баумана Алексей Попов представил 24-ядерный микропроцессор «Леонард Эйлер» и суперкомпьютер «Тераграф». Сегодня специалисты в мире работают над увеличением производительности суперкомпьютеров, создавая высокопроизводительные вычислительные машины на новых физических принципах.
Самый мощный суперкомпьютер будет создан в России
По его мнению, которое он высказал ТАСС , это повысит эффективность их использования. Каляев заявил, что различные суперкомпьютеры, расположенные в разных вычислительных центрах страны, показывают разную эффективность.
Новый суперкомпьютер МГУ-270 будет использоваться для создания инновационных инструментов на основе искусственного интеллекта, включая алгоритмы для анализа больших объемов данных и разработки методов защиты ИИ-сервисов. Кроме того, система будет поддерживать исследования в различных областях науки, таких как физика, химия, биология, психология, социология, геология и медицина. Помимо научных исследований, суперкомпьютер МГУ-270 будет играть важную роль в образовании и подготовке специалистов в области искусственного интеллекта.
Ввод нового супервычислителя позволит конкурировать с мировыми лидерами, даст новый импульс для решения задач по разработке отечественного программного обеспечения, подготовке высококвалифицированных кадров в области суперкомпьютерных технологий и проведения научных исследований в области искусственного интеллекта». Компьютер с новой архитектурой, основанной на активном использовании графических процессоров, составит единый вычислительный кластер с суперкомпьютером «Ломоносов-2». Суммарная производительность нового суперкомпьютера составит 400 AI Петафлопс.
Архитектура компьютерной системы была «вдохновлена» передовыми образцами реализованных проектов суперкомпьютеров в лучших университетах мира, а используемые технологии основаны на практиках и существующих разработках ведущих производителей. Сеть обладает высокой надежностью и характеризуется минимальными задержками. Сеть хранения имеет аналогичные показатели. В супервычислительный комплекс также входят новые системы энергообеспечения, охлаждения и коммуникации.
Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый.
Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников! Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России.
Последний год был очень необычным в Яндексе. Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов. Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом.
Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса.
Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже.
Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1.
Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально.
Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года.
В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска. Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения.
Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU.
В МГТУ им. Н. Э. Баумана разработали российский суперкомпьютер Тераграф
Суперкомпьютер в МГУ имени М.В. Ломоносова стал важным звеном в системе ведущих суперкомпьютерных центров России. Холдинг «Росэлектроника» Госкорпорации Ростех ввел в эксплуатацию новый суперкомпьютер «Фишер» для Объединенного института высоких температур Российской академии наук (ОИВТ РАН) с пиковой производительностью 13,5 Тфлопс. На сегодняшний день в России всего семь суперкомпьютеров из мирового списка топ-500.
Путин поручил увеличить вычислительные мощности суперкомпьютеров в России
С июня 2018 года лидером в списке самых мощных суперкомпьютеров мира является новый американский Summit. В списке суперкомпьютеров 2017 года, по данным Википедии , российские занимали три позиции 63, 227 и 412 места. Лидирует в этом списке Китай 202 суперкомпьютера , за ним — США 143 суперкомпьютера. В Европе — 108 суперкомпьютеров. Фото Тимура Сабирова, Сколтех.
С 12 декабря его смогут арендовать сторонние компании, стоимость минуты использования составит 5750 рублей. Суперкомпьютер разработали SberCloud и компания Nvidia. Производительность устройства достигает 6,7 петафлопс. Для сравнения, производительность самого мощного суперкомпьютера в мире корпорации IBM составляет 200 петафлопс. Петафлопс — это единица измерения производительности компьютеров.
Систему планируется использовать в разработке новых инструментов на основе искусственного интеллекта. В частности, алгоритмов анализа больших данных, методов защиты ИИ-сервисов, а также в исследованиях в областях физики, химии, биологии, психологии, социологии, геологии, медицины.
ФВМ могут быть востребованы в медицине, а также в других областях. Ранее сотрудники Курчатовского института создали двумерный материал для суперкомпьютеров. Им удалось объединить кремниевые технологии и спинтронику.
В России представили суперкомпьютер для воссоздания состояния Вселенной после Большого Взрыва
| Сбербанк сообщил о создании мощнейшего суперкомпьютера в России | В России создают суперкомпьютер, работающий на частоте 1 трлн герц. |
| Созданный в МГУ суперкомпьютер вернет России лидерство в этой сфере | Холдинг «Росэлектроника» Госкорпорации Ростех ввел в эксплуатацию новый суперкомпьютер «Фишер» для Объединенного института высоких температур Российской академии наук (ОИВТ РАН) с пиковой производительностью 13,5 Тфлопс. |
| Путин поручил нарастить мощности отечественных суперкомпьютеров - 24.11.2023, ПРАЙМ | Важные новости. Модульное решение «РСК Экзастрим ИИ» для развития инфраструктуры искусственного интеллекта в России. |
| В МГУ открыли новый суперкомпьютер, решающий задачи ИИ | Суперкомпьютер Aurora, который будет развернут в Аргоннской национальной лаборатории, проектируемый компаниями Intel и Cray, обойдется в полмиллиарда долларов. |
В МГТУ им. Н. Э. Баумана разработали российский суперкомпьютер Тераграф
Суперкомпьютеры Яндекса используются для обучения нейронных сетей, используемых в проектах компании. Например, в Яндекс Браузере есть функция автоматического перевода видеороликов на русский язык. Этим как-раз таки занимается специальная нейронная сеть. Умные устройства на базе помощника Алиса также подключены к нейронке и вся поступающая от них информация обрабатывается суперкомпьютерами. Суперкомпьютеры «Кристофари» являются единственными, которые открыты для использования другими пользователями. Сбербанк построила на их основе решение SberCloud, которое предлагает корпорациям для ускорения работы их ИТ-проектов. Ну и наверняка компания также задействует мощности для своих внутренних проектов, например в аналитике финансовых рынков. Ложка дегтя в эту бочку меда В ноябре 2022 года компания Nvidia заявила о том, что уходит из России и не будет более поддерживать корпоративный клиентский сектор. Еще в сентябре 2022 года правительство США запретило компаниям Nvidia и AMD поставлять российским корпорациям ряд высокотехнологичных продуктов. Как видим, все наши суперкомпьютеры основаны на решениях от «зеленых» и уже к концу 2022 года становится заметным, что имеющиеся в мире суперкомпьютеры не стоят на месте и развиваются бешеными темпами.
Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода с июля по ноябрь опустился в мировом рейтинге на 3 пункта еще в июле 2022 года он занимал 22 место. Технологии не стоят на месте, а количесто информации для обработки постоянно прибавляется. Смогут ли топовые российские суперкомпьютеры, основанные на уже закрытых технологиях, в этой ситуации удерживаться в мировом топе? Особо остро стоит вопрос появления новых супермашин: как я понял из прочитанного в различных источниках, суперкомпьютер это не наше с вами «ведро», куда при желании можно вставить нужное количество оперативной памяти или новую видеокарту. Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый. Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников! Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500.
Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе. Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов. Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода.
Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования.
В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта.
Значительная часть мощности машины задействована в видеокартах, которые позволят решать сложные задачи в различных областях науки, включая математику, физику и биологию. Исполняющий обязанности директора ИМ СО РАН Андрей Миронов отметил, что новый компьютер способен моделировать объёмные процессы и предсказывать поведение сложных математических систем. Напомним, ранее в Новосибирске была разработана система защиты от дронов.
Компания «Яндекс» использует свои суперкомпьютеры для обучения нейросетевых моделей. Возможности суперкомпьютеров помогают переводчику «Яндекс» точнее и быстрее переводить с иностранных языков, а «Алисе» поддерживать живой диалог с пользователем.
Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей.
Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3.
GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт!
Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска. Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU. Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей.
Размер обусловлен встроенной системой охлаждения. Они связывают GPU для вычислений. Это продиктовано энергопотреблением — до 20 кВт. Cloud, но об этом поговорим в другой раз. Обратите внимание на отсутствие любых декоративных пластиковых элементов. Зато есть много свободного места, чтобы воздух мог обдувать огромные радиаторы GPU в центре, именно за счёт этого получается экономить электричество на охлаждении. В кластере 199 серверов с GPU — такое количество обусловлено экономической целесообразностью сборки ядра Infiniband по стандартной схеме на 800 портов с использованием 40-портовых 1U HDR-коммутаторов. Двухсотый сервер не имеет GPU в своем составе и используется для управления сетью Infiniband. Это позволило создавать кластеры в два раза большего размера по сравнению с коробочным решением SuperPod.
Сейчас на главной
- В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах
- В России разработан первый в мире суперкомпьютер для цифрового «клонирования» людей и городов.
- Похожие темы
- AI Новости: Суперкомпьютеры
- На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров
- Просто Новости
Подпишитесь на ежемесячную рассылку новостей и событий российской науки!
- СУПЕРКОМП, ИИ новости РСК – Telegram
- Один из самых мощных суперкомпьютеров в России работает в СевГУ
- Сообщить об ошибке в тексте
- В Москве создали новый российский суперкомпьютер
- Суперкомпьютер «Яндекса» признан самым мощным компьютером России
- В России создан уникальный мобильный суперкомпьютер