В России разработали первый в мире компьютер на базе отечественной архитектуры «Леонард Эйлер» с «интуитивным» процессором — «Тераграф». «Сбер» представил новый суперкомпьютер для ускорения задач в области искусственного интеллекта.
Очевидный успех
- В России создан суперкомпьютер в 100 терафлопс - Новости - Госкорпорация «Роскосмос»
- Очевидный успех
- В Новосибирске запустили мощный суперкомпьютер
- Яндекс создал три мощнейших в России суперкомпьютера
- О конференции
Россия сделала свой суперкомпьютер мощнее в 4,5 раза
Минпромторг решил вложить 7,6 млрд руб. в создание российского суперкомпьютера на базе российской архитектуры NeuroMatrix, разработанной АО НТЦ «Модуль». Планируется, что мощность компьютера будет увеличена до 234,4 Тфлопс к 2025 году, а конструкция расширится до 34 узлов. Финансирование суперкомпьютера велось на средства федерального гранта. На сегодняшний день в России всего семь суперкомпьютеров из мирового списка топ-500. Ну, чтобы создать самый мощный суперкомпьютер в России, нужно было всего лишь подольше не увозить новый айфон. Он стал первым суперкомпьютером, созданным на основе российской коммутируемой сети «Ангара».
В МГТУ им. Баумана разработали суперкомпьютер, находящий неочевидные связи
Суперкомпьютер МГУ-270, построенный в соответствии с долгосрочными планами развития МГУ, открывает новые возможности перед российским научным сообществом. Хотя пиковая вычислительная мощность суперкомпьютера составляет впечатляющие 400 "искусственных" петафлопсов, следует отметить, что это значение относится к формату данных FP16, известному как "AI" PetaFLOPS. К сожалению, конкретные значения производительности суперкомпьютера МГУ-270 не раскрываются, но предполагается, что это может быть самая мощная вычислительная машина в стране.
Реализация мегапроекта NICA начата в 2013 году, ввод в эксплуатацию этого ускорительного комплекса планируется осуществить в 2020 году. Суперкомпьютер назван в честь директора Лаборатории вычислительной техники и автоматизации ОИЯИ в 1988-1989 годах Николая Говоруна — члена-корреспондента Академии наук СССР, профессора, доктора физико-математических наук.
Этот суперкомпьютер будет использоваться для различных задач, включая исследования в области искусственного интеллекта ИИ и создание новых инструментов на его основе. Одним из основных направлений его использования будет работа над системами защиты, использующими ИИ. Он будет также задействован в исследованиях в разных областях науки, включая физику, химию, биологию, медицину и другие.
Вычислительный комплекс получил название «Тераграф»: он предназначен для хранения и обработки графов сверхбольшой размерности. Применять суперкомпьютер планируется для моделирования биологических систем, анализа финансовых потоков в режиме реального времени, для хранения знаний в системах искусственного интеллекта и пр.
Чип берёт на себя ту часть вычислительной нагрузки, с которой плохо справляются традиционные процессоры или ускорители. Отмечается, что «Леонард Эйлер» занимает в 200 раз меньше ресурсов кристалла, чем один микропроцессор семейства Intel Xeon.
Шаг в будущее: возможности нового российского суперкомпьютера
Статья Суперкомпьютеры (рынок России), Российские суперкомпьютеры в рейтинге Top500 мира, 2024 Путин поручил нарастить мощность суперкомпьютеров в 10 раз На это нужны миллиарды рублей. В космосе может появиться российский суперкомпьютер. Курчатовский вычислительный комплекс входит в число самых мощных суперкомпьютеров в России и является объединяющим звеном цепочки.
В МГТУ им. Баумана разработали суперкомпьютер, находящий неочевидные связи
Ректор МГУ некоторое время назад заявлял о том, что «МГУ-270» не имеет аналогов среди подобных систем в университетах мира и является вторым или третьим по мощности среди всех действующих суперкомпьютеров. К своим атомным бомбам, лазерам и плазме ядерный центр в Сарове добавил суперкомпьютер, работающий на новых физических принципах. Суперкомпьютер Aurora, который будет развернут в Аргоннской национальной лаборатории, проектируемый компаниями Intel и Cray, обойдется в полмиллиарда долларов. Стартовал второй день крупнейшей международной онлайн-конференции по искусственному интеллекту, которую организовал Сбер. Там представили новый суперкомпьютер "Кристофари Neo". Представлен российский суперкомпьютер «Тераграф» с уникальной архитектурой — пост пикабушника
В современном мире побеждает тот, кто лучше планирует
Суперкомпьютер Яндекса «Червоненкис» занял 19-ю строчку всемирного рейтинга суперкомпьютеров Top500, став самой производительной системой в России и Восточной Европе. 9.2. Суперкомпьютеры, установленные в Российской Федерации. На ноябрь 2022 года в списке Top500 имелись 7 машин, установленных в России. Сбербанк совместно с компанией Nvidia разработал самый мощный в России суперкомпьютер Christofari. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода (с июля по ноябрь) опустился в мировом рейтинге на 3 пункта (еще в июле 2022 года он занимал 22 место). 1 сентября в МГУ открыт новый суперкомпьютер, который поможет в проведении научных исследований в области ИИ, решении задач по разработке отечественного ПО и подготовке высококвалифицированных специалистов.
Microsoft и OpenAI построят ИИ-суперкомпьютер Stargate за $100 миллиардов
Значительная часть мощности машины задействована в видеокартах, которые позволят решать сложные задачи в различных областях науки, включая математику, физику и биологию. Исполняющий обязанности директора ИМ СО РАН Андрей Миронов отметил, что новый компьютер способен моделировать объёмные процессы и предсказывать поведение сложных математических систем. Напомним, ранее в Новосибирске была разработана система защиты от дронов.
Здесь разрабатывались и внедрялись передовые вычислительные машины. Московский университет и сегодня остается отечественным лидером в области современных вычислительных технологий. Ввод нового супервычислителя позволит конкурировать с мировыми лидерами, даст новый импульс для решения задач по разработке отечественного программного обеспечения, подготовке высококвалифицированных кадров в области суперкомпьютерных технологий и проведения научных исследований в области искусственного интеллекта». Компьютер с новой архитектурой, основанной на активном использовании графических процессоров, составит единый вычислительный кластер с суперкомпьютером «Ломоносов-2». Суммарная производительность нового суперкомпьютера составит 400 AI Петафлопс. Архитектура компьютерной системы была «вдохновлена» передовыми образцами реализованных проектов суперкомпьютеров в лучших университетах мира, а используемые технологии основаны на практиках и существующих разработках ведущих производителей. Сеть обладает высокой надежностью и характеризуется минимальными задержками.
В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске.
Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения.
Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально.
Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт!
Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска. Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров.
Логично было распространить этот опыт и на GPU. Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей. Размер обусловлен встроенной системой охлаждения. Они связывают GPU для вычислений. Это продиктовано энергопотреблением — до 20 кВт. Cloud, но об этом поговорим в другой раз.
Обратите внимание на отсутствие любых декоративных пластиковых элементов. Зато есть много свободного места, чтобы воздух мог обдувать огромные радиаторы GPU в центре, именно за счёт этого получается экономить электричество на охлаждении. В кластере 199 серверов с GPU — такое количество обусловлено экономической целесообразностью сборки ядра Infiniband по стандартной схеме на 800 портов с использованием 40-портовых 1U HDR-коммутаторов. Двухсотый сервер не имеет GPU в своем составе и используется для управления сетью Infiniband.
И я сам говорил в 2017 году, что в 2022 году мы увидим первые компьютеры, которые выглядят так, как будто они думают независимо — даже если на самом деле это не так.
Этот прогноз оказался верным для ChatGPT. Даже если система будет запрограммирована этически обоснованным образом — к примеру, с учетом принципа, что жертв среди гражданского населения следует избегать любой ценой. А что, если компьютер подсчитает, что бомбардировка больницы может в долгосрочной перспективе избежать гражданских целей? Это абсолютно реалистичный сценарий, и никто не узнает, как компьютер вообще додумался до такого.
В МГУ открыли новый суперкомпьютер, решающий задачи ИИ
Результаты выполнения команд из микропроцессора Леонард Эйлер направляются в хост-систему для дальнейшего использования в ходе вычислительного процесса. Изображение: minobrnauki. Его можно применять для анализа финансовых потоков в режиме реального времени, для хранения знаний в ИИ-системах, для моделирования биологических систем и в других прикладных задачах.
Действующие мощности российских суперкомпьютеров следует, конечно же, нарастить не менее, чем на порядок", — сообщил российский лидер на пленарном заседании конференции AI Journey.
По мнению президента, развитие мощностей суперкомпьютеров необходимо для дальнейшего развития генеративного искусственного интеллекта. Суперкомпьютер представляет собой специализированную вычислительную машину, значительно превосходящую по своим техническим параметрам и скорости вычисления обыкновенных компьютеров. В России самый мощный из общественно известных отечесвтенных суперкомпьютеров — "Червоненкис" находится в Сасове Рязанская область.
Проект реализован специалистами Научно-исследовательского центра электронной вычислительной техники холдинга «Росэлектроника». При этом вычислительные ресурсы суперкомпьютеров крайне востребованы и дорогостоящи. Сеть «Ангара» успешно решает эти задачи, позволяя сравнительно дешево и в сжатые сроки формировать суперкомпьютеры на основе отдельных вычислительных узлов. Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети.
Он будет работать на удивительной частоте 1 ТГц, что в триллион раз быстрее, чем современные компьютеры. Этот суперкомпьютер будет использоваться для различных задач, включая исследования в области искусственного интеллекта ИИ и создание новых инструментов на его основе. Одним из основных направлений его использования будет работа над системами защиты, использующими ИИ.