Дороги к зетташкалам и квантовым вычислениям длинны и извилисты
В Соединенных Штатах первый шаг на пути к экзафлопсным системам HPC начался с серии семинаров в 2007 году. Лишь полтора десятилетия спустя система Frontier мощностью 1686 петафлопс в Окриджской национальной лаборатории была запущена в эксплуатацию. . В этом году Аргоннская национальная лаборатория готовится к включению системы «Аврора», которая станет либо второй, либо третьей такой экзафлопсной машиной в США, в зависимости от сроков запуска системы «Эль-Капитан» в Лоуренсе. Ливерморская национальная лаборатория.
На пути к экзамасштабированию всех этих машин были задержки и неудачи, а также технологические изменения, продолжающаяся конкуренция с Китаем и другие проблемы. Но не ждите, что следующий скачок к зетта-масштабу – или даже к квантовым вычислениям – будет быстрее, по мнению Рика Стивенса, заместителя директора лаборатории вычислений для окружающей среды и наук о жизни в Аргонне. И то, и другое может занять еще 15-20 лет или больше.
Такова природа HPC.
«Это долгосрочная игра», — сказал Стивенс на недавнем вебинаре о ближайшем и отдаленном будущем вычислений в HPC. «Если вас интересует, что произойдет в следующем году, HPC — не игра для вас. Если вы хотите мыслить категориями десятилетия или двух десятилетий, HPC — это игра для вас, потому что мы находимся на тысячелетней траектории». Чтобы добраться до других звездных систем или чего-то еще. Это только первые дни в этом. Да, мы отлично выполнили закон Мура. Человечество не кончится завтра. Нам предстоит пройти долгий путь, поэтому мы должны быть думая о том, что означают высокопроизводительные вычисления через десять лет? Что это будет значить через двадцать лет? Это не означает одно и то же. Прямо сейчас это будет означать что-то другое».
Та часть «прямо сейчас», которая была центральной в докладе Стивенса, — это искусственный интеллект. Не только приложения высокопроизводительных вычислений с поддержкой ИИ и области исследований, которые выиграют от этой технологии, но и моделирование, управляемое ИИ, и его суррогаты, специализированные ускорители ИИ, а также роль ИИ, которую он будет играть в разработке больших систем. Он отметил взрывной рост событий в области искусственного интеллекта в период с 2019 по 2022 год, большую часть времени, проведенную во время пандемии COVID-19.
Когда появились большие языковые модели, которые лежат в основе таких инструментов, как популярный ChatGPT и другие чат-боты с генеративным искусственным интеллектом, а также глубокое обучение преобразованию текста в изображения Stable Diffusion, методы искусственного интеллекта стали использоваться для сворачивания миллиардов белков и улучшения открытых математических вычислений. проблемы, и среди разработчиков высокопроизводительных вычислений произошло массовое внедрение ИИ. Искусственный интеллект использовался для ускорения приложений HPC. Вдобавок ко всему, начали появляться экзафлопсные системы.
«Этот взрыв продолжается, поскольку все больше и больше групп создают крупномасштабные модели, и почти все эти модели находятся в частном секторе», — сказал Стивенс. «Некоммерческие организации делают лишь несколько проектов, и многие из них имеют закрытый исходный код, включая GPT-4, который является лучшим на данный момент. Это говорит нам о том, что тенденция направлена не на миллионы крошечных моделей. , речь идет об относительно небольшом количестве очень мощных моделей. Это важная мета-вещь, которая происходит».
Все это – симуляции и их суррогаты, новые приложения ИИ и варианты использования ИИ – в ближайшие годы потребует гораздо больше вычислительных мощностей. Аргоннский вычислительный центр лидерства (ALCF) в Иллинойсе начинает обдумывать это, разрабатывая свою машину после Авроры и последующие машины. Стивенс и его коллеги планируют создать систему, которая в восемь раз мощнее, чем Аврора, с запросом предложений осенью 2024 года и установкой к 2028 или 2029 году. «Должно быть возможно создавать машины с низкой точностью для машинного обучения, которые приближаются к половине зеттафлопа для операций с низкой точностью. С этого момента осталось два или три спина», — сказал Стивенс.
Один вопрос будет об ускорителях в таких системах. Будут ли это новые версии используемых сейчас графических процессоров общего назначения, графические процессоры, дополненные чем-то более специфичным для моделирования ИИ, или совершенно новый движок, оптимизированный для ИИ?