Искусственный интеллект, аналитика больших данных, моделирование, вычислительные исследования и другие рабочие нагрузки высокопроизводительных вычислений имеют сложные требования к системам хранения и памяти. Разработчики решений для высокопроизводительных вычислений должны учитывать значительные преимущества передовых решений для систем хранения и памяти высокопроизводительных вычислений, включая возможность преодолевать узкие места производительности и емкости, которые возникли в связи с увеличением количества ядер в последнее время. Хотя значения емкости памяти, использующей случайный динамический синхронный доступ (DRAM) растут не так быстро, чтобы соответствовать потребностям современных процессоров, SSD-накопители NAND представляют пробелы производительности, так как не обеспечивают достаточной скорости доступа для горячих данных. Новые технологии обеспечивают расширенный доступ к данным в памяти и более быстрый доступ к горячим данным, что крайне важно для предотвращения возникновения узких мест хранения и памяти современных систем высокопроизводительных вычислений.
Чтобы соответствовать самым высоким требованиям современных эталонных тестов производительности и даже превосходить их, системы высокопроизводительных вычислений должны включать сбалансированный набор компоновочных блоков. В результате недавнего стремительного роста размера наборов данных и количества операций считывания/записи, которые должны выполнять высокопроизводительные вычислительные приложения, зачастую именно производительность систем хранения и памяти, а не скорость процессора, ограничивает общую производительность системы.
Современные самые передовые технологии хранения и памяти высокопроизводительных вычислений существуют как часть спектра, от DRAM в «горячем» уровне, до недорогостоящих средств долгосрочного хранения в «холодном» уровне. Разработчики систем должны определять продукцию и возможности, оптимально соответствующие их индивидуальным потребностям в производительности рабочих нагрузок высокопроизводительных вычислений. Все чаще их нельзя найти в традиционных решениях для энергонезависимой памяти и систем хранения.
Проблемы систем хранения и памяти для высокопроизводительных вычислений
Границы высокопроизводительных систем постоянно расширяются, поскольку для выполнения реальных вычислительных задач необходимо собирать, хранить, обрабатывать и иметь доступ к большому объему данных, который постоянно растет. Огромный объем этих наборов данных создает ряд проблем для систем хранения и памяти, другими словами, емкость DRAM слишком мала, а жесткие диски работают слишком медленно.
При использовании традиционных решений для памяти и систем хранения разработчики высокопроизводительных вычислительных систем должны были делать сложный выбор между емкостью хранения, производительностью и стоимостью. И было достаточно сложно устранить разрыв между локальными горячими данными возле ЦП и увеличенной емкостью энергонезависимой памяти для полного спектра разнообразных рабочих нагрузок высокопроизводительных вычислений. В частности, остались два существенных пробела:
- Между DRAM с ее высокой стоимостью и небольшой емкостью и SSD-накопителями на базе NAND, которые предлагают емкость по более доступной цене, но имеют проблемы с задержками.
- Между SSD-накопителями NAND и жесткими дисками, которые могут обеспечить большую емкость хранения по низкой цене, но предъявляют высокие требования к мощности, охлаждению и физическому пространству, создают риски для безопасности и имеют еще больший уровень задержек.
Что необходимо: снижение уровня задержек и увеличение емкости хранения
Для многих рабочих нагрузок высокопроизводительных вычислений скорость передачи данных в процессор представляет главное препятствие для реальной производительности. Разработчики решений для высокопроизводительных вычислений пытались преодолеть это ограничение с помощью локальной кэш-памяти и путем развертывания растущих пулов DRAM, чтобы хранить больше данных ближе к ЦП. Память DRAM обеспечивает быстрый доступ к своему содержимому, но является дорогостоящей, зависит от ограничений размера, что делает ее непрактичной для использования с большими базами данных в памяти и энергозависимой.
Решения для энергозависимой памяти плохо подходят для самых высоких требований к производительности, с которыми сталкиваются современные высокопроизводительные вычислительные системы. Последствия потери данных при каждом сбое системы могут быть катастрофическими, а длительное время перезагрузки серьезно ухудшает продуктивность.
Но хранение больших объемов данных на энергонезависимых носителях, таких как SSD-накопители NAND или жесткие диски, вызывает более серьезные проблемы производительности. Системы хранения, предназначенные для традиционных жестких дисков и возможностей ввода-вывода POSIX, просто не могут успеть за сложными моделями произвольного считывания и записи, генерируемыми рабочими нагрузками аналитики и моделирования, а также не соответствуют интенсивным рабочим нагрузкам искусственного интеллекта с большим количеством операций считывания.
Фактически, требования к вводу-выводу на вычислительный узел растут по всем направлениям, как в сфере эксафлопсных вычислений, так и в менее крупных системах, что повышает уровень требований к решениям для систем хранения высокопроизводительных вычислений по мере усложнения всех рабочих нагрузок.
Выбор оптимальных решений для систем хранения и памяти для высокопроизводительных вычислений для вашей рабочей нагрузки
Традиционные кластеры высокопроизводительных вычислений
Для высокопроизводительных приложений симуляции и моделирования, таких как прогнозирование динамики жидкости, моделирование климата и финансовые прогнозы, вычисления, как правило, распределяются между несколькими машинами, настроенными, чтобы действовать как единый кластер высокопроизводительных вычислений. Для более точного моделирования, более быстрого генерирования результатов и более высокой продуктивности необходимы более быстрые системы хранения и памяти для высокопроизводительных вычислений.
Системы на базе искусственного интеллекта (ИИ)
Рабочие нагрузки искусственного интеллекта все чаще используются в высокопроизводительных вычислительных приложениях. Для этих рабочих нагрузок требуется гораздо больше операций считывания, чем для обычных рабочих нагрузок высокопроизводительных вычислений, а для тех, что взаимодействуют с приборными панелями или другими сервисами потоковой передачи данных в режиме реального времени, требуется более высокое текущее качество обслуживания для предотвращения потерь важных данных. Также повышается интенсивность записи по мере повышения эффективности этапа усвоения искусственного интеллекта. Эти системы требуют высокой скорости передачи сообщений с низким уровнем задержек, с полным обходом операционной системы для обеспечения работы функций машинного обучения и алгоритмов формирования логических выводов с должной скоростью и точностью.
Высокопроизводительная аналитика данных (HPDA)
Даже если объемов данных будет существенно расти, аналитика также должна будет выполняться быстро. Рабочие нагрузки высокопроизводительной аналитики имеют не только более высокие требования к вводу-выводу по сравнению с обычными рабочими нагрузками больших данных, но для них также требуются более крупные вычислительные кластеры и более эффективные сети. Требования рабочих нагрузок высокопроизводительной аналитики к системам хранения и памяти высокопроизводительных вычислений также соразмерно выше.
Суперкомпьютеры и эксафлопсные системы
Возможность масштабирования и ценовые преимущества современных решений для систем хранения и памяти высокопроизводительных вычислений особенно важны для суперкомпьютерных кластеров и эксафлопсных систем. По мере того, как эти решения для высокопроизводительных вычислений получают широкое распространение в корпоративном и образовательном секторе, стоимость начинает играть существенную роль. Также важно, чтобы эти решения и дальше расширяли границы известных вычислительных ресурсов, а это возможно только с помощью решений для систем хранения и памяти для высокопроизводительных вычислений, чья производительность соответствует степени развития процессоров, систем коммутации и других компонентов высокопроизводительных вычислений.
Продукция для систем хранения и памяти высокопроизводительных вычислений
Благодаря внушительному ассортименту решений для систем хранения и памяти для высокопроизводительных вычислений, а также распределенному асинхронному хранилищу объектов (DAOS) — основе эксафлопсного программного комплекса — корпорация Intel производит революцию в архитектуре хранения высокопроизводительных вычислений. Эти технологии устраняют разрыв между данными в памяти и емкостью хранения больших наборов данных для поддержки проектов трансформации, требующих вычислительной производительности мирового класса.
Энергонезависимая память Intel® Optane™
Энергонезависимая память Intel® Optane™ — это новый класс решения памяти для высокопроизводительных вычислений, которое поддерживает анализ даже современных больших наборов данных практически в режиме реального времени. Intel® Optane™ обеспечивает высокую емкость, высокопроизводительную энергонезависимую память, которая может располагаться в той же шине/канале, что и DRAM действовать в качестве DRAM при хранении энергозависимых данных. Intel® Optane™ также может работать в энергонезависимом режиме без использования питания, а также может обеспечивать более высокую емкость хранения при более низкой стоимости в пересчете на 1 ГБ. Это позволяет разработчикам решений для высокопроизводительных вычислений использовать большую емкость быстрой и доступной по цене энергонезависимой памяти между DRAM и SSD-накопителями.
Твердотельные накопители (SSD-накопители) Intel® Optane™
Твердотельные накопители Intel® Optane™ (SSD-накопители) обеспечивают совершенно новый тип хранения данных между памятью и SSD-накопителями 3D NAND. SSD-накопители Intel® Optane™ DC обеспечивают высокую производительность считывания/записи и постоянно низкий уровень задержек, что идеально подходит для ускорения кэш-памяти. Технология Intel® Optane™ также обеспечивает качество обслуживания и надежность, необходимые рабочим нагрузкам высокопроизводительных вычислений для достижения прорывной производительности.
Твердотельные накопители Intel® QLC 3D NAND
Технология Intel® QLC 3D NAND трансформирует экономику хранения данных, обеспечивая экономичное хранение высокой плотности, которое предлагает надежное сочетание производительности, емкости и стоимости. SSD-накопители Intel® QLC 3D NAND на базе проверенной технологии вертикальных плавающих затворов, но с большей плотностью записи и уникальной вспомогательной электрической схемой предназначены для оптимальной производительности рабочих нагрузок высокопроизводительных вычислений с интенсивным сочетанием записи или обширным кэшированием, особенно вместе с технологиями Intel® Optane™ .
Распределенное асинхронное хранилище объектов (DAOS)
Распределенное асинхронное хранилище объектов (DAOS), предназначенное для снижения уровня задержек в рабочих нагрузках высокопроизводительных вычислений, — это экосистема программного обеспечения с открытым исходным кодом, которое полностью оптимизировано для энергонезависимой памяти Intel® Optane™ и SSD-накопителей Intel® Optane™, а также для других решений и продукции для высокопроизводительных вычислений Intel®. Хранилище DAOS было создано для использования всех возможностей технологий энергонезависимой памяти и предлагает контейнеры хранения данных с высокой пропускной способностью, низким уровнем задержек и большими возможностями операций ввода-вывода в секунду для высокопроизводительных вычислительных приложений.
Специализированные решения Intel® для HPC
Достаточно сложно проверить все компоненты кластеров высокопроизводительных вычислений на предмет совместимости и их соответствия конкретным требованиям к производительности рабочей нагрузки. Специализированные решения Intel® для высокопроизводительных вычислений обеспечивают простую и быстро развертываемую архитектуру с соответствующей комбинацией вычислений, коммутирующих матриц, памяти, систем хранения и программного обеспечения для сбалансированных систем, которые помогут сократить время получения аналитической информации и достижения новых возможностей аналитических кластеров и определенных высокопроизводительных вычислительных приложений.