Суперкомпьютер Яндекса «Червоненкис» занял 19-ю строчку всемирного рейтинга суперкомпьютеров Top500, став самой производительной системой в России и Восточной Европе. Причём в первых реализациях таких гибридных суперкомпьютеров могут потребоваться квантовые сопроцессоры на различных физических платформах для различных алгоритмов. Сегодня специалисты в мире работают над увеличением производительности суперкомпьютеров, создавая высокопроизводительные вычислительные машины на новых физических принципах. Представлен российский суперкомпьютер «Тераграф» с уникальной архитектурой — пост пикабушника
Суперкомпьютер Сколтеха войдет в десятку самых мощных в РФ
Фотонный суперкомпьютер, создаваемый учеными Научно-исследовательского центра супер ЭВМ и нейрокомпьютеров в Таганроге в рамках научной программы НЦФМ, будет работать на частоте в 1 ТГц, или триллион герц. В рейтинге Тор500 самых мощных мировых суперкомпьютеров проект «Яндекс» под названием «Червоненкис» занял 19 место в общемировом зачёте, и, таким образом, стал самым мощным решением в России и Восточной Европе. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России. «Проскочило в новостях, что его мощность 400 петафлопс, и это был бы действительно второй-третий суперкомпьютер в мире по производительности, но это не так.
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
То есть процессор «Тераграфа» будет предлагать разные решения для решения проблемы — это свойство можно назвать «интуицией», добавил Попов. Представьте, что у вас на компьютере отображаются разные параметры человеческого организма. В программе можно проследить влияние разных препаратов на них, не подвергая опасности пациента. Подобрав оптимальное решение в программе, лечение можно применить к человеку. Алексей Попов генеральный конструктор проекта Из чего сделан «Тераграф» «Тераграф» является системой на базе центрального процессора Intel под управлением Linux, к которой подключены три вспомогательных вычислительных модуля — процессоры «Леонард Эйлер» — они выглядят как видеокарты, подключенные к материнской плате. Попов отметил, что для их создания были использованы пустые «болванки» чипов AMD, на которые записали инструкции архитектуры как прошивку, а также ПЛИСы программируемые логические интегральные схемы. Процессоры работают по уникальным алгоритмам, созданным российскими учеными, без них чип нельзя назвать процессором. При необходимости можно создать и российский чип, но пока такой задачи не стоит.
Каждый модуль «Леонард Эйлер» имеет 24 ядра с тактовой частотой в 200 МГц. При работе с графами технических характеристик хватает, чтобы обогнать мощнейшие серверные процессы Intel Xeon с частотой 3 ГГц. Еще одним преимуществом процессоров на новой российской архитектуре стали экономичность материалов для их изготовления и энергопотребление. Эти чипы требуют в 200 раз меньше кремния, чем один микропроцессор Intel Xeon, и потребляют в 10 раз меньше энергии.
Если каких-то тридцать лет назад вычислительный рекордсмен выполнял всего 10 в 9 степени операций в секунду, то нынешний - уже 10 в 15 степени. А за полвека мощность увеличилась в 700 миллионов раз! Современный смартфон работает так же быстро, как суперкомпьютерный лидер 1994 года.
Выйдя на "гражданку", суперкомпьютеры произвели революцию во многих сферах нашей жизни. Они являются одним из главных показателей развития страны, ее конкурентоспособности в самых разных сферах экономики. Сегодня, прежде чем создать реальный автомобиль, самолет, ядерный реактор, лекарство, новый материал, в суперкомпьютере моделируется их цифровой двойник. Его "проигрывают" в разных вариантах, испытывают в разных режимах и выбирают лучший, который и должен стать реальным прототипом будущего изделия. Скажем, еще недавно, проектируя автомобиль, конструкторы обязательно разбивали его, направляя в стену, чтобы увидеть, как машина держит удар.
В супервычислительный комплекс также входят новые системы энергообеспечения, охлаждения и коммуникации.
При создании комплекса активно применялись отечественные узлы и компоненты. Научная программа предполагает продолжение актуальных исследований, связанных с ИИ и работой с большими данными. Среди них — разработка новых методов и инструментов ИИ, решение задач в сфере информационной безопасности, создание программных и аппаратных средств систем ИИ, конструирование репрезентативных наборов данных для обучения систем ИИ в различных областях знаний и многое другое. Новый компьютер является уникальным рабочим инструментом для ученых Научно-исследовательского вычислительного центра МГУ, механико-математического факультета, факультета вычислительной математики и кибернетики и иных структурных подразделений университета. При помощи суперкомпьютера специалисты научно-образовательных школ МГУ «Математические методы анализа сложных систем» и «Мозг, когнитивные системы, искусственный интеллект» займутся разработкой математических методов машинного обучения для обработки текстовой научной информации большого объема, интеллектуальным анализом изображений для высокопроизводительного фенотипирования растений и точного земледелия, прогнозированием качества гетерогенных каналов в сетях передачи данных на основе вероятностных моделей и методов машинного обучения и решением ряда других задач. Кроме того, суперкомпьютер будет активно использоваться в учебном процессе.
Умные устройства на базе помощника Алиса также подключены к нейронке и вся поступающая от них информация обрабатывается суперкомпьютерами. Суперкомпьютеры «Кристофари» являются единственными, которые открыты для использования другими пользователями. Сбербанк построила на их основе решение SberCloud, которое предлагает корпорациям для ускорения работы их ИТ-проектов. Ну и наверняка компания также задействует мощности для своих внутренних проектов, например в аналитике финансовых рынков. Ложка дегтя в эту бочку меда В ноябре 2022 года компания Nvidia заявила о том, что уходит из России и не будет более поддерживать корпоративный клиентский сектор. Еще в сентябре 2022 года правительство США запретило компаниям Nvidia и AMD поставлять российским корпорациям ряд высокотехнологичных продуктов. Как видим, все наши суперкомпьютеры основаны на решениях от «зеленых» и уже к концу 2022 года становится заметным, что имеющиеся в мире суперкомпьютеры не стоят на месте и развиваются бешеными темпами. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода с июля по ноябрь опустился в мировом рейтинге на 3 пункта еще в июле 2022 года он занимал 22 место. Технологии не стоят на месте, а количесто информации для обработки постоянно прибавляется.
Смогут ли топовые российские суперкомпьютеры, основанные на уже закрытых технологиях, в этой ситуации удерживаться в мировом топе? Особо остро стоит вопрос появления новых супермашин: как я понял из прочитанного в различных источниках, суперкомпьютер это не наше с вами «ведро», куда при желании можно вставить нужное количество оперативной памяти или новую видеокарту. Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый. Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников! Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе.
Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов. Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса.
Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе.
Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only.
Фиксы, кстати, выкладываем в опенсорс.
Важные даты
- Фотонный суперкомпьютер запатентовали в России | 360°
- Вот это прорыв: Россия попала в мировой топ самых мощных суперкомпьютеров
- Один из самых мощных суперкомпьютеров в России работает в СевГУ
- Суперкомпьютер МарГУ вошёл в ТОП-20 России » МЭТР - Марий Эл Телерадио
- Наши проекты
- Топ суперкомпьютеров России
Наши проекты
- Минобрнауки рассказало о новом суперкомпьютере Тераграф на новых микропроцессорах Leonhard / Хабр
- Самый мощный суперкомпьютер будет создан в России
- Важные даты
- Самый мощный суперкомпьютер в России (Влад Лесной) / Проза.ру
- HPC Park в рейтинге Топ 50 самых мощных компьютеров России.
В России создан суперкомпьютер в 100 терафлопс
- Национальный Суперкомпьютерный Форум (2023)
- Очевидный успех
- Суперкомпьютер «Яндекса» признан самым мощным компьютером России
- Путин дал поручение нарастить мощности суперкомпьютеров — 24.11.2023 — В России на РЕН ТВ
- На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров
Первый суперкомпьютер с «интуицией» создали в России. Как он работает и на что способен
Все новости » По его мнению, такая единая структура будет работать эффективнее Академик РАН Игорь Каляев предложил объединить все суперкомпьютеры России в единую инфраструктуру под управлением искусственного интеллекта. По его мнению, которое он высказал ТАСС , это повысит эффективность их использования.
В случае, если ЛИТ решит увеличить количество модулей, сделать это будет возможно, поскольку место для дополнительных модулей есть, отмечает инженер ЛИТ Алексей Воронцов. Монтажом инфраструктуры для суперкомпьютера занимается РСК. Вторая часть суперкомпьютера состоит из графических процессоров Nvidia Volta. По словам директора ЛИТ Владимира Коренькова, с помощью этой части системы будут решаться задачи, связанные с искусственным интеллектом и машинным обучением. По мнению Дмитрия Подгайного, уникальность нового суперкомпьютера в том, что это гетерогенная система, в то время как в мире преимущественно используются гомогенные, то есть состоящие только из центральных процессоров без ускорителей или из процессоров с ускорителями, но одного вида.
В то же время в суперкомпьютере ОИЯИ используются графические ускорители и процессоры двух видов. В этом аспекте новый суперкомпьютер выступает прямым наследником гетерогенного кластера для параллельных вычислений HybriLIT, который является частью Многофункционального информационно-вычислительного комплекса ОИЯИ с февраля 2015 года. Суперкомпьютер будет использоваться в первую очередь физиками-теоретиками, которые работают в ОИЯИ. Сейчас они вынуждены при необходимости пользоваться вычислительными мощностями суперкомпьютеров удаленно. Суперкомпьютер будет задействован сотрудниками ОИЯИ для решения задач квантовой хромодинамики на решетке. На нем будут моделироваться эксперименты и процессы, происходящие на коллайдере протонов и тяжелых ионов NICA для воссоздания в лабораторных условиях особого состояния вещества, в котором, как считают ученые, пребывала наша Вселенная в первые мгновения после Большого взрыва.
При этом все сервисы продолжат работать, в т. Более того, мы просим всех держателей систем, входивших в список, присылать данные о любых изменениях, как если бы списки публиковались. Мы признательны всем тем, кто на протяжении многих лет делал свой вклад в развитие данного проекта и пополнял его, и искренне надеемся, что в обозримом будущем сможем анонсировать возобновление публикации списков.
Изображение: minobrnauki. Его можно применять для анализа финансовых потоков в режиме реального времени, для хранения знаний в ИИ-системах, для моделирования биологических систем и в других прикладных задачах.
В России представили суперкомпьютер для воссоздания состояния Вселенной после Большого Взрыва
Семь российских суперкомпьютеров не идут ни в какое в количественное сравнение с более чем 160 американскими в рейтинге Top500. Посмотрев списки на , можно сравнить состояние отрасли суперкомпьютеров в России и в мире. Суперкомпьютер в МГУ имени М.В. Ломоносова стал важным звеном в системе ведущих суперкомпьютерных центров России. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России. Соединённые Штаты Америки начали очередной виток по ограничению доступа Китая и России к высоким технологиям, запретив AMD и NVIDIA поставлять GPU для создания суперкомпьютеров.
В россии осуществили сборку нового "суперкомпьютера" из китайских комплектующих!
все самое важное и интересное из отрасли связи, IT и телекоммуникаций. «Проскочило в новостях, что его мощность 400 петафлопс, и это был бы действительно второй-третий суперкомпьютер в мире по производительности, но это не так. В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира.
В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах
Активное развитие технологий в России направлено не только на искусственный интеллект, но и на суперкомпьютеры. Уже сейчас по суммарной производительности в рейтинге суперкомпьютеров Россия занимает 8 место в мире, по суммарной пиковой производительности — 9 место. По количеству суперкомпьютеров в Top-500 Россия вышла на 9 место в мире — в РФ столько же систем, сколько в Южной Корее.
Такие модели настолько сложны, что для их обучения суперкомпьютер должен работать на пиковой мощности несколько дней, а иногда даже недель, но они позволяют лучше решать целый ряд задач. Например, благодаря им Переводчик точнее и быстрее переводит тексты, картинки и видео, а Директ отбирает более релевантную рекламу. Поиску языковые модели из семейства YaLM помогают составлять и ранжировать быстрые ответы, а Алисе — поддерживать живой диалог с пользователем. Каждая система объединяет больше сотни серверов, или узлов, связанных высокоскоростной сетью Infiniband HDR. Вычислительные узлы «Червоненкиса» и «Галушкина» созданы по проекту Яндекса. В них используется оптимизированная система отвода тепла — благодаря ей на охлаждение серверов уходит меньше электроэнергии.
При этом производительность ФВМ можно резко повысить, уменьшая длину световой волны. ФВМ могут быть востребованы в медицине, а также в других областях. Ранее сотрудники Курчатовского института создали двумерный материал для суперкомпьютеров.
В математике объекты называются вершинами, а связи между ними — ребрами. Например, схема перелетов авиакомпании между городами — это граф. В качестве вершин выступают аэропорты в городах, а в качестве ребер — факт наличия прямого авиационного маршрута между городами», — сказал Поляков. Заместитель генерального директора по науке и развитию компании ИВК, кандидат физических и математических наук Валерий Андреев добавил, что вычисления с использованием графов позволяют делать качественные прогнозы относительно тех или иных объектов в сложных системах: будь то человек и влияние лекарств на его здоровье, или зерно и влияние его цены на стоимость металлов. Например, о том, как связаны между собой несколько людей, о том, как одни банковские транзакции отразились на динамике других и т. Построение жестких связей между объектами и их параметрами позволяют сделать качественный прогноз. Это ценная возможность для любой области деятельности — от банковской сферы и оптовой торговли до криминалистики», — сказал Андреев. Алексей Попов, генеральный конструктор проекта, говорит, что особенность работы «Тераграфа» c графами в долгосрочной перспективе позволит создавать цифровые двойники людей и проводить на них эксперименты с разными курсами лечения, чтобы подобрать самый эффективный. Процессор, анализируя исходные данные, будет предлагать для курса лечения разные решения. Это свойство устройства он называет «интуицией». В программе можно проследить влияние разных препаратов на них, не подвергая опасности пациента. Подобрав оптимальное решение в программе, лечение можно применить к человеку», — сказал Попов. На чем сделан компьютер «Тераграф» представляет собой систему на базе центрального процессора Intel под управлением Linux, к которой подключены три вспомогательных вычислительных модуля — процессоры «Леонард Эйлер». Последние визуально выглядят как видеокарты, подключенные к материнской плате. Ru»], пустые «болванки» чипов AMD, на которые мы записали инструкции нашей архитектуры как прошивку», — говорит Попов.
Академик Каляев предложил объединить суперкомпьютеры под управлением ИИ
В утверждённой в июле Стратегии национальной безопасности одним из главных приоритетов названа безопасность информационная. Дальнейшее развитие, согласно Стратегии, Россия будет осуществлять с опорой на собственные силы. Каждый может сделать из сказанного собственные выводы, мы, применительно к нашему проекту, делаем такие: нет никаких гарантий, что в обозримом будущем привычные зарубежные интернет-сервисы будут работать в России бесперебойно. Поэтому напоминаем, что помимо площадки на YouTube все наши выпуски дублируются в нашем сообществе в сети Вконтакте, в Телеграм, а теперь ещё и на РуТубе — там выгружен весь архив программ, начиная с 2012 года. Опорной же площадкой для нас остаётся домен. РУС, который мы не зря уже который год вам настоятельно рекомендуем. Понимание того, что свои проекты и свою информацию нужно хранить на своей территории и под своей юрисдикцией, — очень скоро начнёт приобретать повальный характер. Поэтому, если вы ещё не продублировались на российских площадках, сервисах и в доменной зоне. РУС, стоит сделать это прямо сейчас.
К этой интереснейшей теме мы вернёмся в будущих выпусках, а теперь о героях. Время Человека В Московском метро человек внезапно потерял сознание и упал с платформы. Стоявший рядом промышленный альпинист Алексей Турлянский бросился на помощь. Он переложил пострадавшего в более безопасное место, так как вытаскивать его было уже слишком рискованно. Другие очевидцы начали подавать знаки машинисту приближающегося поезда, и тот вовремя остановился. Сотрудники метрополитена и медики эвакуировали мужчину и оказали ему необходимую помощь. На следующий день он позвонил своему спасителю и поблагодарил. Алексей уже не впервые спасает человека, прежде он вытащил коллегу из-под колёс грузовика.
Сотрудники метрополитена поблагодарили смелого гражданина, но предупредили, что в подобных случаях лучше не спускаться на рельсы самостоятельно, а вызывать помощь через колонну экстренного вызова. В знак благодарности руководство метрополитена вручило Алексею грамоту и наручные часы.
Владимир Ромашов 11:06, 16 ноября 2021 В рейтинге Тор500 самых мощных мировых суперкомпьютеров проект «Яндекс» под названием «Червоненкис» занял 19 место в общемировом зачёте, и, таким образом, стал самым мощным решением в России и Восточной Европе. Производительность суперкомпьютера «Червоненкис» составляет 21. В рейтинг Топ500 попали ещё два суперкомпьютера «Яндекс» — проекты «Галушкин» и «Ляпунов».
Реализация мегапроекта NICA начата в 2013 году, ввод в эксплуатацию этого ускорительного комплекса планируется осуществить в 2020 году. Суперкомпьютер назван в честь директора Лаборатории вычислительной техники и автоматизации ОИЯИ в 1988-1989 годах Николая Говоруна — члена-корреспондента Академии наук СССР, профессора, доктора физико-математических наук.
В МГУ запустили суперкомпьютер «МГУ-270», который «не имеет аналогов среди подобных систем в университетах мира» Система якобы будет «второй-третьей в мире по мощности» В Московском государственном университете им. Ломоносова запустили суперкомпьютер, который не имеет аналогов ни в каких вузах мира. Ректор МГУ некоторое время назад заявлял о том, что «МГУ-270» не имеет аналогов среди подобных систем в университетах мира и является вторым или третьим по мощности среди всех действующих суперкомпьютеров.
Самый мощный суперкомпьютер в России
Академик РАН Игорь Каляев предложил объединить все суперкомпьютеры России в единую инфраструктуру под управлением искусственного интеллекта. Один из пяти самых мощных суперкомпьютеров, которые установлены в российских вузах, находится в Севастопольском государственном университете. hardware hpc iks-consulting анализ рынка ии облако россия суперкомпьютер. Компания iKS-Consulting обнародовала результаты исследования российского рынка облачных инфраструктур.