Специализированные решения Intel® для BigDL на базе Apache Spark

Ускорение и упрощение разработки и развертывания глубинного обучения в оптимизированной и проверенной инфраструктуре.
Смотреть краткое описание решения ›

Базовая конфигурация специализированных решений Intel® для BigDL на платформе Apache Spark

Компонент

Специализированные решения Intel для BigDL на базе Apache Spark
Базовая конфигурация

Не менее одного главного узла

Процессор

Процессор Intel® Xeon® Gold 6148 (2,40 ГГц, 20 ядер, 40 потоков), процессор Intel® Xeon® Gold 6248 (2,5 ГГц, 20 ядер) или масштабируемый процессор Intel® Xeon® более высокого уровня

Память

192 ГБ или больше (12 модулей DDR4-2666 по 16 ГБ)

Загрузочный диск**

1 твердотельный накопитель Intel® DC серии S4500/S4510 или выше (M.2 или 2,5-дюймовый) емкостью 240 ГБ или более

Контроллер HBA СХД на каждом узле**

Не применимо (н/д)

Уровень данных

4 твердотельных накопителя Intel DC серии S4500/S4510 или выше емкостью 960 ГБ или более

Сеть передачи данных

10-гигабитный конвергентный сетевой адаптер Intel® Ethernet X722 (Intel® Ethernet CNA X722)

Сеть управления для каждого узла

Интегрированный порт 0/RMM 1 GbE

Не менее четырех рабочих узлов

Процессор

Процессор Intel Xeon Gold 6148 (2,40 ГГц, 20 ядер, 40 потоков), процессор Intel Xeon Gold 6248 (2,5 ГГц, 20 ядер) или масштабируемый процессор Intel Xeon более высокого уровня

Память

384 ГБ или больше (12 модулей DDR4-2666 по 32 ГБ)

Загрузочный диск**

1 твердотельный накопитель Intel DC серии S4500/S4510 или выше (M.2 или 2,5-дюймовый) емкостью 240 ГБ или более

Контроллер HBA СХД на каждом узле**

Уровень данных

4 твердотельных накопителя Intel DC серии S4500/S4510 или выше емкостью 3,8 ТБ или более

Сеть передачи данных

10-гигабитный конвергентный сетевой адаптер Intel X722 (Intel Ethernet CNA X722)

Сеть управления для каждого узла

Интегрированный порт 0/RMM 1 GbE

Сетевые коммутаторы

Коммутатор уровня Top of the Rack (ToR)

48-портовый коммутатор 10 Гбит/с

Коммутатор управления

48-портовый коммутатор 1 Гбит/с

Программное обеспечение

ОС Linux

ОС CentOS Linux версии 7.5.1804 или Red Hat Enterprise Linux* (RHEL*) 7

Apache Spark

2.2.0

Apache Hadoop

2.7.3

Комплект разработки Java Development (JDK)

Oracle JDK 1.8.0 с обновлением 181 или более поздним

BigDL

0.6

Analytics Zoo

0.2

Intel® Distribution для Python*

2.7

Библиотека Intel® Math Kernel Library (Intel® MKL)

Intel MKL версии 2018, обновление 3

Применимо ко всем узлам

Модуль доверенной платформы (TPM)

Дискретный модуль TPM 1,2.0 или микропрограммный модуль TPM (технология Intel® Platform Trust [Intel® PTT])

Оптимизация встроенного ПО и программного обеспечения

Технология Intel® Volume Management Device (Intel® VMD) активирована**

Технология Intel® Boot Guard активирована**

Технология Intel® Hyper-Threading (Intel® HT) отключена

Технология Intel® Turbo Boost активирована

P-состояния включены**

C-состояния включены**

Для параметров управления питанием задано значение «Производительность»**

Для конфигурации рабочей нагрузки задано значение «Сбалансировано»**

Средство Memory Latency Checker (MLC) streamer активировано**

Объемная предварительная выборка MLC активирована**

Предварительная выборка данных Data Cache Unit (DCU) активирована**

Предварительная выборка инструкций DCU активирована**

Предварительная выборка кэш-памяти последнего уровня (LLC) отключена**

Масштабирование частоты не включенных в состав процессорных ядер активировано**

Минимальные стандарты производительности

Проверено на соответствие следующим минимальным возможностям производительности (или их превышение):

Учебная нагрузка ImageNet

375 изображений в секунду с точностью Top-5 Accuracy 85% или выше1
**Рекомендуется, но не обязательно

Информация о продукте и производительности

1

Результаты тестов производительности основаны на тестировании по состоянию на 10 октября 2018 г. и могут не отражать всех общедоступных обновлений безопасности. Подробная информация представлена в описании конфигурации. Ни одна система не может быть полностью защищена. Конфигурация: один главный узел: 2 процессора Intel® Xeon® класса Gold 6148, серверная плата Intel® S2600WFT, общий объем памяти: 192 ГБ, 12 модулей/16 ГБ/2666 MT/с DDR4 RDIMM, технология Intel® Hyper-Threading (Intel® HT) отключена, технология Intel® Turbo Boost включена; подсистема хранения (загрузка): 1 твердотельный накопитель Intel® DC S4500 емкостью 240 ГБ; подсистема хранения: 4 твердотельных накопителя Intel® DC S4500 емкостью 960 ГБ; сетевые устройства: 1 10-гигабитный сетевой адаптер Intel® X722, скорость сети: 10 GbE, ucode: 0x043, ОС/ПО: CentOS* Linux версии 7.5.1804; четыре рабочих узла: 2 процессора Intel® Xeon® класса Gold 6148, серверная плата Intel® S2600WFT, общий объем памяти: 384 ГБ, 12 модулей/32 ГБ/2666 MT/с DDR4 RDIMM, технология Intel® HT отключена, технология Intel® Turbo Boost включена; подсистема хранения (загрузка): 1 твердотельный накопитель Intel® DC S4500 емкостью 240 ГБ; подсистема хранения: 4 твердотельных накопителя Intel® DC S4500 емкостью 3,8 ТБ; сетевые устройства: 1 10-гигабитный сетевой адаптер Intel® X722, скорость сети: 10 GbE, ucode: 0x043, ОС/ПО: CentOS* Linux версии 7.5.1804.