Новый подход к памяти и хранению данных в ЦОД

Инновационные технологии Intel трансформируют иерархию памяти и систем хранения данных.

Проблемы центра обработки данных

Компании, которые выберут новый подход и кардинально изменят архитектуру своих систем, смогут использовать огромные объемы данных для получения аналитической информации и внедрения инноваций. В то же время компании, отказавшиеся от изменения архитектуры, могут столкнуться с трудностями, пытаясь обработать лавину данных.

Однако проблема заключается не только в хранении необработанных данных. Для поддержки свей конкурентоспособности компании должны быстро экономично получать и обрабатывать все такие данные для бизнес-аналитики, проведения исследований, применения искусственного интеллекта (ИИ) и других целей. Чтобы обеспечивать обработку на этом уровне, требуется и память, и устройства хранения данных, и компании пытаются найти баланс между высокими затратами на эти ресурсы и ограниченным уровнем емкости и производительности.

Задачу еще больше усложняет то, что для разных рабочих нагрузок требуются различные типы памяти и устройств хранения данных. Кроме того, для оптимального соотношения затрат и производительности можно использовать совместно несколько технологий.

Корпорация Intel решает эти проблемы, предлагая новые технологии памяти и хранения данных, которые позволят компаниям модернизировать архитектуру центров обработки данных (ЦОД).

Пробелы в иерархии памяти и устройств хранения данных

Исторически сложилось, что решения для памяти и хранения данных имели ограничения по плотности, производительности и стоимости. С этими ограничениями сталкивались все виды организаций, от магазинов розничной торговли до государственных учреждений, медицинских центров и финансовых организаций. Например, поставщикам облачных услуг (CSP) может быть сложно выполнять соглашения об уровне обслуживания (SLA) по мере увеличения объемов данных. Компании, предоставляющие финансовые услуги, могут столкнуться с ограниченной емкостью и производительностью, что препятствует быстрой обработке больших объемов транзакций. Предприятия не в состоянии поддерживать выполнение в памяти аналитических программ, обрабатывающих данные о клиентах и товарных запасах, а также данные, полученные из социальных сетей и Интернета вещей. В первую очередь это связано с высокой стоимостью и ограниченной емкостью модулей динамической памяти с произвольным доступом (DRAM).

Для эффективного управления данными компании должны определить, какие компоненты инфраструктуры наилучшим образом соответствуют их потребностям и бюджету. Это непростая задача, поскольку каждая технология в иерархии имеет свои сильные и слабые стороны:

  • DRAM — отличное решение для обеспечения производительности, но оно дорогое, энергозависимое и имеет ограниченную масштабируемость.
  • Флэш-накопитель (NAND) — энергонезависимое и менее дорогое решение по сравнению с DRAM, но оно не обладает производительностью DRAM.
  • Вращающиеся жесткие диски обеспечивают хранение больших объемов данных при самой низкой цене, однако использование физических дисков приводит к хорошо известным проблемам с совокупной стоимостью владения (TCO), связанным с надежностью, требованиями к физическому пространству, охлаждению и мощности.

Совокупно эти традиционные технологии хранения оставляли значительные пробелы в иерархии модулей памяти и хранения данных ЦОД, тем самым ограничивая производительность приложений. Постоянно растущие объемы данных и необходимость высокоскоростного доступа к ним повысили серьезность этой проблемы. 

В частности, организации, пытающиеся трансформировать свои центры обработки данных, сталкиваются с двумя следующими пробелами в иерархии модулей памяти и устройств хранения данных.

  • Между дорогими модулями DRAM небольшой емкости и более доступными по цене твердотельными накопителями (SSD) на основе NAND.
  • Между более медленными SSD-накопителями NAND и недорогими, но менее надежными жесткими дисками.

Организации до настоящего времени не могли выбрать приемлемые компоненты, чтобы сбалансировать затраты, емкость и производительность для устранения этих пробелов (см. рис. 1).

Рис. 1. Большие пробелы в емкости, стоимости и производительности, наблюдаемые в иерархии традиционных модулей памяти и устройств хранения данных

Устранение этих пробелов благодаря технологиям Intel®

Корпорация Intel устраняет пробелы в иерархии модулей памяти и устройств хранения данных ЦОД, предлагая решения, которые обеспечивают высокую производительность, емкость и надежность. Эти решения имеют низкий уровень задержки и большую эксплуатационную ценность по сравнению с традиционными компонентами. В частности, разработаны три следующих семейства продуктов, которые позволяют устранить пробелы по стоимости и производительности в центре обработки данных благодаря гибкому выбору решений для новых уровней данных.

  • Энергонезависимая память Intel® Optane™ DC представляет собой новый класс технологий памяти и хранения данных, который отличается большой емкостью, ценовой доступностью и энергонезависимостью. Эта технология позволит организациям держать большие объемы данных ближе к процессору, чтобы оптимизировать рабочие нагрузки и сервисы, сокращая уровень задержек и повышая производительность.
  • SSD-накопители Intel® Optane™ DC сочетают в себе характеристики памяти и хранилища, обеспечивая высокую пропускную способность, низкий уровень задержек, высокое качество обслуживания (QoS) и надежность.
  • SSD-накопители Intel® QLC 3D NAND (например, Intel® SSD D5-P4320) обеспечивают самую высокую плотность данных для PCIe* по цене, которая делает их оптимальной заменой для жестких дисков, служащих хранения редко используемых данных.

Эти инновационные продукты обеспечивают новый подход к конфигурации центров обработки данных, призванный обеспечивать обработку современных рабочих нагрузок и поддерживать конкурентоспособность бизнеса. Далее подробно описан каждый из этих продуктов с реальными примерами преимуществ по производительности, емкости и стоимости, которые обеспечивают эти продукты.

Технология Intel® Optane™ создает новый уровень в иерархии данных

Компании должны по-новому подойти к решениям, используя средства, которые раньше невозможно было вообразить. Так они смогут адаптироваться к новым технологиям и развиваться в соответствии с потребностями своих клиентов. Технология Intel® Optane™ — это новое энергонезависимое хранилище на базе технологии Intel® 3D XPoint™, которое модернизирует существующую архитектуру ЦОД, обеспечивая новый уровень в иерархии памяти и хранения данных. Эта технология устраняет пробел между высокопроизводительной энергозависимой памятью и менее производительными, но доступными по цене накопителями NAND. Технология Intel® Optane™ обеспечивает уникальные возможности, сочетая низкий уровень задержек, высокое качество обслуживания (QoS), высокую надежность и высокую пропускную способность.

Рисунок 2. Технология Intel® Optane™ сочетает преимущества высокой производительности DRAM и емкости SSD-накопителей NAND

Технология Intel® Optane™ прекрасно подходит для обработки «рабочих данных» — тех данных, которые должны находиться ближе к ЦП для быстрого доступа. Обработка рабочих данных требует значительно повысить скорость доступа к большему объему в реальном времени. Это необходимо для аналитики, финансовых транзакций, бронирования рейсов и других сценариев использования, где требуется предсказуемое малое время отклика при чтении, и среднее время не служит хорошей оценкой. Для рабочих данных крайне важна предсказуемая и стабильная производительность, начиная с первых запросов.

Энергонезависимая память Intel® Optane™ DC и SSD-накопители Intel® Optane™ DC созданы на основе технологии Intel® Optane™. Тем не менее, как описано ниже, эти продукты имеют разные форм-факторы, и их можно использовать в ЦОД по отдельности или вместе, чтобы предоставить инновационные модули памяти и устройства хранения данных для различных сфер деятельности.

Энергонезависимая память Intel® Optane™ DC позволяет расширить или заместить дорогостоящие модули DRAM

Энергонезависимая память Intel® Optane™ DC — революционный продукт, который устраняет пробел между памятью DRAM и SSD-накопителями Intel® Optane™ DC. Для компаний, применяющих обработку данных в памяти, энергонезависимая память Intel® Optane™ DC обеспечивает доступ к значительно большим объемам «горячих» данных для ИИ, аналитики, высокопроизводительных вычислений (HPC) и других областей применения.

В отличие от обычных модулей DRAM, энергонезависимая память Intel® Optane™ DC сочетает высокую плотность, ценовую доступность и энергонезависимость. Увеличив объемы системной памяти (более 3 ТБ на разъем ЦП) по доступной цене, компании смогут оптимизировать рабочие нагрузки в ЦОД. Они смогут переместить большие объемы данных ближе к процессору и свести к минимуму значительные задержки, характерные для доступа к данным в традиционном энергонезависимом хранилище.

Энергонезависимая память Intel® Optane™ DC поступит в продажу в 2019 г. одновременно с выпуском платформы масштабируемых процессоров Intel® Xeon® нового поколения.

Рис. 3. Модуль энергонезависимой памяти Intel® Optane™ DC

SSD-накопитель Intel® Optane™ DC P4800X для размещения рабочих данных в ЦОД

SSD-накопители Intel® Optane™ DC P4800X, которые выглядят как стандартные SSD-накопители, созданы на основе технологии Intel® Optane™, а не на основе технологии NAND. Уникальная архитектура SSD-накопителей Intel® Optane™ DC P4800X обеспечивает высочайшую производительность — они работают быстрее и стабильнее, чем SSD-накопители на основе NAND. Как правило, накопители на основе NAND обеспечивают быстрое чтение, но медленно выполняют запись, причем запись еще больше замедляется под нагрузкой, когда операции выполняются с высокой частотой. В отличие от них архитектура SSD-накопителей Intel® Optane™ DC позволяет выполнять операции записи на уровне байтов или страниц. Эта технология обеспечивает более высокую и предсказуемую производительность, лучше балансируя скорость чтения и записи, и не требует «сборки мусора».

SSD-накопители Intel® Optane™ DC P4800X поддерживают стабильное время отклика для чтения независимо от количества операций записи, выполняемых накопителем. График на рис. 4 показывает, насколько меньше задержка SSD-накопителей Intel® Optane™ DC по сравнению с SSD-накопителями Intel® 3D NAND текущего поколения, особенно при увеличении количества произвольных операций записи. В отличие от SSD-накопителей на основе NAND, задержка SSD-накопителей Intel® Optane™ DC остается неизменно низкой для всех запросов записи1.

Рис. 4. SSD-накопители Intel® Optane™ DC P4800X обеспечивают стабильно низкий уровень задержек по сравнению с SSD-накопителями Intel® 3D NAND1

Сочетание стабильно низкого уровня задержек и высокой надежности обеспечивает значительно более эффективную работу SSD-накопителей Intel® Optane™ DC в качестве устройств для кэширования, чем решения на основе NAND.

Исследование, проведенное специалистами Evaluator Group, продемонстрировало результаты замены решения для кэширования записей и хранения данных на основе флэш-накопителей NAND и применения SSD-накопителей Intel® Optane™ DC на уровне кэширования. Тестирование показало, что система на базе масштабируемых процессоров Intel® Xeon® с SSD-накопителями Intel® Optane™ DC P4800X для уровня кэширования по уровням цена/производительность в 3 раза лучше систем с носителями предыдущего поколения (по результатам теста IOMark-VM*)2.

Кроме того, надежность SSD-накопителей Intel® Optane™ DC P4800X значительно выше, чем у накопителей на основе NAND. Например, сравнение двух накопителей, поставляемых в настоящее время, показало, что SSD-накопитель Intel® Optane™ DC P4800X поддерживает до 60 циклов перезаписи накопителя в день (DWPD), тогда как SSD-накопитель Intel® DC P4600 на основе NAND всего 3 DWPD3. Таким образом, SSD-накопители Intel® Optane™ DC значительно надежнее в средах кэширования с интенсивным трафиком.

Помимо этого, в сочетании с Intel® Optane™ DC SSD-накопителями можно использовать энергонезависимую память Intel® Optane™ DC, чтобы создать совершенно новый гибкий уровень, подобный памяти (см. рис. 5). Он обеспечивает быстрый доступ и выполнение операций со значимыми данными, которые обычно хранятся на более медленных накопителях NAND.

Рис. 5. Энергонезависимую память Intel® Optane™ DC можно использовать совместно с SSD-накопителями Intel® Optane™ DC, чтобы создать совершенно новый уровень для обработки часто используемых (горячих) рабочих данных и менее часто используемых (теплых) данных большого объема для аналитики в памяти (красный цвет — «горячие» данные, желтый цвет — «теплые» данные, синий цвет — «холодные» данные)

Оптимизация программного обеспечения для использования производительности технологии Intel® Optane™

Можно добиться значительного повышения производительности, просто добавив SSD-накопители Intel® Optane™ DC в существующую инфраструктуру ЦОД. Тем не менее оптимизация программного обеспечения может привести к еще большему повышению производительности приложений, работающих на базе технологии Intel® Optane™. В частности, для SSD-накопителей Intel® Optane™ DC отлично подходит программное обеспечение с открытым исходным кодом. В этом случае разработчики могут изменять приложения, чтобы использовать преимущества SSD-накопителей Intel® Optane™ DC P4800X.

Например, в корпорации Oracle архитектор по производительности оптимизировал MySQL* для SSD-накопителей Intel® Optane™ DC P4800X и добился пятикратного повышения производительности рабочих нагрузок с интенсивным вводом-выводом. Архитектор Oracle также достиг показателя в 1 млн операций чтения с одного SSD-накопителя Intel® Optane™ DC4.

Еще одним примером служит оптимизация прямого ввода-вывода*, в результате которой на 48% повысилась эффективность в Java 10* по сравнению с буферизованным вводом-выводом*5. Эти оптимизации играют важную роль для организаций, которые используют рабочие нагрузки ИИ или базы данных на основе Java, например Cassandra* или Apache HBase*.

Архитекторы программного обеспечения могут использовать существующие инструменты и комплекты для разработки, чтобы оптимизировать производительность для технологии Intel® Optane™. Используйте следующие ресурсы, предоставляемые Intel, для начала работы:

  • Комплект для разработки Storage Performance Development Kit (SPDK): https://spdk.io/
  • Комплект для разработки Persistent Memory Development Kit (PMDK): https://pmem.io/pmdk/
  • Доступ к серверам с SSD-накопителями Intel® Optane™ DC без установленной ОС: acceleratewithoptane.com

Расширение памяти с помощью технологии Intel® Memory Drive

SSD-накопители Intel® Optane™ DC можно также сконфигурировать как расширенную память, используя технологию Intel® Memory Drive. Технология Intel® Memory Drive обеспечивает прозрачную интеграцию SSD-накопителя в подсистему памяти, делая его подобным DRAM без каких-либо изменений операционной системы или приложений. Технологию Intel® Memory Drive можно использовать для замены некоторых модулей DRAM и снижения общих затрат на память либо для расширения пула памяти сверх емкости DRAM, если требуется увеличить объем системной памяти.

На самом деле, можно повысить производительность Apache Spark* в 5 раз, добавив программное обеспечение технологии Intel® Memory Drive с SSD-накопителем Intel® Optane™ DC P4800X4.

Сокращение пробела в емкости благодаря SSD-накопителям Intel® QLC 3D NAND

По мере повышения эффективности и снижения цен на технологию NAND потребности в механических дисках продолжают снижаться. Новейшие SSD-накопители Intel® QLC 3D NAND способны вытеснить вращающиеся диски, которые останутся лишь для хранения самых холодных данных.

SSD-накопители Intel® QLC 3D NAND разработаны, чтобы обеспечивать надежность флэш-технологии при более высокой плотности и доступной цене. Эти преимущества помогают устранить барьеры для замены традиционных жестких дисков, которые, как правило, работают медленнее, менее надежны, потребляют больше энергии, требуют большего охлаждения и занимают больше места по сравнению с флэш-накопителями.

Рис. 6. Перейдя с жестких дисков на SSD-накопители Intel® QLC 3D NAND, компании могут сэкономить значительные средства на электроэнергии, охлаждении и обслуживании; при этом хранилище будет занимать меньше места в ЦОД6 7

Используя SSD-накопители Intel® QLC 3D NAND в сочетании с технологией Intel® Optane™, можно ускорить обращение к часто используемым данным, и вместе с тем пользоваться выгодной ценой и емкостью флэш-технологии, превосходящей жесткие диски, для хранилища большой емкости. Благодаря этому организации могут устранить пробел в соотношении стоимость/емкость между SSD-накопителями Intel® Optane™ DC и жесткими дисками. Более того, многие организации могут использовать SSD-накопители Intel® QLC 3D NAND для замены жестких дисков, принимая во внимание их высокую надежность и доступность.

Консолидация данных благодаря инновационным форм-факторам от корпорации Intel

Корпорация Intel также устраняет пробел в соотношении стоимость/емкость, предлагая инновационные форм-факторы. В 2018 году был удостоен наградой «Gold International Design Excellence Award» форм-фактор «Ruler», представленный Intel для SSD-накопителей 3D NAND. Эти накопители обеспечивают повышенную плотность, управляемость и удобство обслуживания в сочетании с эффективным отводом тепловой мощности и могут радикально изменить серверную архитектуру.

Благодаря уникальной форме и характеристикам накопителей, отвечающих стандарту EDSFF, их могут успешно использовать поставщики оборудования. Например, компания Supermicro может установить 32 накопителя Intel «Ruler» емкостью 32 ТБ каждый на один сервер 1U, обеспечивая размещение до одного петабайта данных на сервере8.

Новый подход к хранению данных в ЦОД

Используя технологии Intel®, современные компании могут быстро и гибко сохранять, обрабатывать и управлять огромными объемами данных для аналитики, искусственного интеллекта, высокопроизводительных вычислений и других рабочих нагрузок. Компании могут устранить пробелы в иерархии модулей памяти и устройств хранения данных, используя полный спектр опций — от энергонезависимой памяти Intel® Optane™ DC и SSD-накопителей Intel® Optane™ DC P4800X до SSD-накопителей Intel® QLC 3D NAND и накопителей большой емкости с форм-фактором «Ruler».

Благодаря технологиям и продукции Intel для систем хранения данных, архитекторы центров обработки данных получают гибкие возможности, позволяющие обеспечить соответствующую производительность, емкость, надежность и ценовую доступность для бизнес-приложений и рабочих нагрузок. Пришло время для нового подхода к памяти и хранению данных с применением технологий Intel® Optane™ и Intel® QLC 3D NAND.

Подробнее

Взгляните по-новому на свой центр обработки данных благодаря технологиям Intel для хранения данных. Для начала посетите страницу intel.com/content/www/ru/ru/storage.

Информация о продукте и производительности

1

Источник — протестировано Intel: время отклика означает среднюю задержку чтения, измеренную при глубине очереди 1 для рабочей нагрузки с 4 тыс. операций произвольной записи с использованием утилиты FIO 3.1. Сведения о конфигурации см. в сноске 1 выше.

2

Тестирования проводились компанией The Evaluator Group по заказу Intel. Сведения о конфигурациях см. по адресу: https://www.evaluatorgroup.com/document/lab-insight-latest-intel-technologies-power-new-performance-levels-vmware-vsan-2018-update/. Предыдущая конфигурация: процессор Intel® Xeon® E5-2699 v4, ESXI: ESXi600-201803001, сборка: 7967764, Ubuntu Linux 18.04, BIOS: 2600WT SE5C610.86B.01.01.0024. Подсистема хранения: 1 твердотельный накопитель Intel® DC серии S3700 800 ГБ + 6 накопителей Intel® DC серии S3510 1,6 ТБ. Производительность: 320 IOmark-VM, цена/производительность: 684 долл. США/ВМ; текущая конфигурация: процессор Intel® Xeon® класса Gold 6154, ESXI: ESXi-6.7.0-8169922, сборка: 8169922, Ubuntu Linux 18.04, BIOS: SE5C620.86B.00.01.0013.030920180427. Подсистема хранения: 2 твердотельных накопителя Intel® DC серии P4800X 375 ГБ + 5 твердотельных накопителей Intel® DC серии P4500 4 ТБ. Производительность: 1152 IOmark-VM, цена/производительность: 216 долл. США/ВМ. Подсистема хранения: 1 твердотельный накопитель Intel® DC P3700 + 4 жестких диска Seagate 10K 1 ТБ. Производительность: 88 IOmark-VM-HC, цена/производительность: 2153 долл. США/IOmark-VM-HC; текущая конфигурация: подсистема хранения: 2 твердотельных накопителя Intel® DC P4800X + 4 твердотельных накопителя Intel® DC P4500 4 ТБ. Производительность: 704 IOmark-VM-HC. Цена/производительность: 684 долл. США/IOmark-VM-HC.**. Цена/производительность: 237 долл. США/IOmark-VM-HC. Результаты тестов производительности основаны на тестировании от 20 августа 2018 г. и могут не отражать всех общедоступных обновлений безопасности. Подробная информация представлена в описании конфигурации.

3

Проведенное корпорацией Intel См. спецификации продукции в таблице в документе «Краткое описание продукции: SSD-накопитель Intel® Optane™ DC P4800X». https://www.intel.ru/content/www/ru/ru/products/docs/memory-storage/solid-state-drives/data-center-ssds/optane-ssd-dc-p4800x-p4801x-brief.html.

4

Результаты тестов производительности основаны на тестировании по состоянию на 20 сентября 2018 г. и могут не отражать всех общедоступных обновлений безопасности. Подробная информация представлена в описании конфигурации. Ни один компонент и ни одна система не может обеспечить абсолютную защиту. Источник: Intel. Конфигурация системы: серверная система Intel®, 2 процессора Intel® Xeon® класса Gold 6154, системная память DDR4 DRAM 384 ГБ, накопители для базы данных: 2 SSD-накопителя Intel® Optane™ DC серии P4800X (375 ГБ) и 1 твердотельный накопитель Intel® DC серии P4510, 1 SSD-накопитель Intel® DC серии S4510, CentOS 7.5* (ядро 4.18 (elrepo)), BIOS: SE5C620.86B.00.01.0014.070920180847, тип системы: серверная плата Intel® S2600WFT. MySQL Server 8.0.13*, инструмент Sysbench 1.0.15*, сконфигурированный для разделения транзакций чтения/записи в соотношении 70/30 при обработке онлайн-транзакций (OLTP) с использованием базы данных 100 ГБ. 30% памяти в базе данных, предоставляемые программе MySQL (30 ГБ).

5

Результаты теста производительности основаны на тестировании по состоянию на июль 2018 года и могут не отражать всех общедоступных обновлений безопасности. Подробная информация представлена в описании конфигурации. Ни одна система не может быть полностью защищена. Источник: Intel: конфигурация системы: серверная плата Intel® S2600WFT (собственная сборка), 2 процессора Intel® Xeon® класса Gold 6154 с тактовой частотой 3,00 ГГц и 36 виртуальными ядрами, системная память: синхронная память DIMM DDR4 64 ГБ 2666 МГц (0,4 нс) (4 модуля по 16 ГБ), 1 SSD-накопитель Intel® Optane™ DC серии P4800X, NVM Express* (NVMe*), Peripheral Component Interconnect Express* (PCIe*), 750 ГБ (версия встроенного ПО: E2010324), 1 твердотельный накопитель Intel® DC серии P4500, NVMe*, PCIe*, 4 ТБ (версия встроенного ПО: QDV10150), версия Intel® BIOS: SE5C620.86B.00.01.0013.030920180427, дистрибутив CentOS 7.4* с ядром 4.15.7. Подробнее об OpenJDK*см. на веб-сайте OpenJDK в разделе «JDK 10». Март 2018 г. https://openjdk.java.net/projects/jdk/10/.

6

Экономия на электропотреблении, охлаждении и консолидации. Основано на показателях жесткого диска: жесткий диск 7,2 тыс. об/мин, емкость 4 ТБ, AFR 2,00% и активное электропотребление 7,7 Вт, 24 диска в корпусе 2U (общее электропотребление 1971 Вт) https://www.seagate.com/files/www-content/datasheets/pdfs/exos-7-e8-data-sheet-DS1957-1-1709US-en_US.pdf твердотельный накопитель: активное электропотребление 2,2 Вт, AFR 44%, 32 накопителя в корпусе 1U (общее электропотребление 704 Вт). Расходы на охлаждение основаны на сроке развертывания 5 лет со стоимостью кВт•ч 0,158 доллара и расходе 1,20 Вт на 1 Вт потребления диском. Основано на показателях 24 3,5-дюймовых жестких дисков в корпусе 2U и 32 накопителях форм-фактора EDSFF длиной 1U в стойке 1U. Гибридная система хранения основана на использовании твердотельных накопителей Intel® TLC (Intel® Triple Level Cells) для кэш-памяти.

 

7

Сокращение расходов на замену дисков. Расчет: жесткий диск с AFR 2% x 256 дисков x 5 лет = 25,6 замены за 5 лет; твердотельный накопитель: AFR 0,44% x 32 накопителя x 5 лет = 0,7 замены за 5 лет.

 

8

Supermicro. «Системы поддерживают горячую замену 32 накопителей форм-фактора EDSFF с передней панели для системы хранения NVMe* с низким уровнем задержек, имеющей высоту 1U и емкость до 1 ПБ». Источник: «Supermicro Opens New Era of Petascale Computing with a Family of All-Flash NVMe 1U Systems Scalable up to a Petabyte of High Performance Storage» (Supermicro открывает новую эру петафлопсных вычислений и представляет семейство высокопроизводительных флэш-массивов NVMe форм-фактора 1U с поддержкой масштабирования до одного петабайта). Август, 2018 г. https://www.supermicro.com/newsroom/pressreleases/2018/press180807_Petabyte_NVMe_1U.cfm. Упоминаемая система SuperStorage SSG-136R-NR32JBF: https://www.supermicro.com/products/system/1U/136/SSG-136R-NR32JBF.cfm.