Western Digital предлагает расширять оперативную память массивами SSD

Для зарождающегося рынка решений и услуг «вычислений в памяти» (in-memory computing) компания Western Digital разработала семейство накопителей Ultrastar DC ME200 Memory Extension Drive. Подчеркнём, в наименовании новинки вы не увидите привычной аббревиатуры SSD. С точки зрения Western Digital — это именно «расширитель» ОЗУ, а не привычное всем устройство для долговременного хранения данных. Внешне новинки невозможно отличить от SSD в исполнении PCIe-адаптера или накопителя в форм-фактре U.2. Но логика работы накопителей Memory Extension Drive совсем другая и требует иного подхода со стороны разработчиков программ и операционных систем.

В компании Western Digital заявляют о совместимости Memory Extension Drive с Linux 64-bit OS, RHEL 6.5, 6.6, 6.7, 6.8, 6.9, 7.0, 7.1, 7.2, 7.3, 7.4, SLES 11-SP4, 12, 12-SP1, 12-SP2, Fedora Core версии от 4 до 27, Open SuSe версий 10 и 11, Ubuntu Server версий от 16.04 до 17.10 и Debian 9.5.0. Драйверы и утилиты создают платформу для адресации к виртуальной программно-конфигурируемой памяти, где нет различия между модулями DRAM и SSD с поддержкой протокола NVMe. Тем самым условно сколь угодно большой массив данных можно загрузить и обработать в памяти, где для программного обеспечения нет различия между модулями DRAM и накопителями SSD.

Для того, чтобы накопители Memory Extension Drive работали с производительностью, близкой к производительности оперативной памяти, а в ином случае весь этот огород не имеет смысла, разработчик задействовал свыше 20 алгоритмов кеширования, предсказания ветвлений и другие механизмы для сглаживания проблем, связанных с задержками обращения к SSD. При этом Western Digital настаивает, что проблему стирания границы между SSD и DRAM в основном должны решать специальные алгоритмы машинного обучения. В одиночку компания не потянет весь круг задач и призывает сообщество развивать программную инфраструктуру для накопителей Memory Extension Drive.

Как уверены в компании, накопители Memory Extension Drive хорошо подходят для решения следующих задач: для сетевого журналируемого хранилища данных Redis, для сервиса кеширования данных Memcached в оперативной памяти на основе хеш-таблицы, для баз данных In-Memory, для хранилищ данных, для IoT-платформ, для потоковой аналитики, для Apache (Spark, Storm, Kafka), для распределённых баз в памяти, для приложений с кешированием, для распределённого контента (CDN), для услуг SaaS, для аналитики как сервиса, AI/ML и сервисов с массивным журналированием.

На момент анонса компания поставляет избранным клиентам накопители Ultrastar DC ME200 Memory Extension Drive в виде моделей объёмом 1 Тбайт, 2 Тбайт и 4 Тбайт. Полка высотой 1U вместит достаточно накопителей в форм-факторе U.2, чтобы предоставить пользователю 24 Тбайт «почти что памяти DRAM». Насколько будут велики потери от работы такой виртуальной памяти? По данным WD, если взять за чистую производительность обращение к 786 Гбайт DRAM, скорость работы которой оценивается на уровне 1,080 млн транзакций в секунду, то микс 3:1 (576 Гбайт Ultrastar и 192 Гбайт DRAM) просядет до 91 % производительности или до 983 тыс. транзакций, а при соотношении 7:1 (672 Гбайт Ultrastar и 96 Гбайт DRAM) производительность снизится до 85 % или 918 тыс. транзакций в секунду. Достаточно интересно, но как за это проголосует индустрия, пока непонятно.