Почему такой большой интерес к твердотельным накопителям большой емкости?

Любой, кто посетил конференцию Future of Memory and Storage 2024 (FMS 2024) в этом году в Санта-Кларе, штат Калифорния, был завален презентациями о твердотельных накопителях большой емкости. Всего год назад многие клиенты считали 64 ТБ слишком большой емкостью. В многочисленных презентациях и стендах на выставке FMS 2024 дорожные карты твердотельных накопителей для продуктов, которые появятся в ближайшие несколько лет, показали емкость до 128 ТБ и 256 ТБ. Почему такая внезапная перемена? После трудного финансового периода прошлого года, не сошла ли флэш-индустрия с ума? Что происходит?

Должно быть объяснение

Объяснение быстрого изменения такое же, как и для многих других изменений, происходящих сегодня в ИТ-индустрии, — взрывное появление генеративного искусственного интеллекта. В индустрии хранения данных ходят слухи о том дне, когда жесткие диски станут слишком медленными и их заменят быстрые и дешевые твердотельные накопители. Проблема заключалась в том, что жесткие диски недороги, и умные разработчики программного обеспечения для хранения данных продолжают находить способы добиться от них достаточной производительности.

Так продолжалось до тех пор, пока не появились большие кластеры графических процессоров, которые быстро потребляют огромные объемы данных для обучения. Экспоненциально растущие модели больших языков (LLM) требуют все больше и больше данных для обучения. Графические процессоры обрабатывают данные быстрее, чем традиционные процессоры. Такое масштабное увеличение нарушает способность жестких дисков работать в ногу со временем, даже если пользователи пытаются распределить данные по тысячам жестких дисков. Требования к мощности и пространству для этого слишком высоки.

Почему бы не разместить твердотельные накопители рядом с графическим процессором для повышения скорости и не использовать жесткие диски для хранения больших объемов данных? Генеративный ИИ — это рабочий процесс, а не просто приложение. Этот процесс включает в себя прием, обработку, форматирование данных для обучения, итеративную подачу их в графические процессоры и периодическую проверку контрольных точек во избежание перезапуска. Публичные LLM необходимо оптимизировать и точно настраивать с учетом пользовательских данных, а генерация с расширенным поиском (RAG) во время формирования выводов требует быстрого доступа к данным, специфичным для приложения. Перемещение данных между различными системами хранения является сложным, дорогим и неэффективным с точки зрения энергопотребления и отвлекает внимание от разработки более совершенных моделей и использования существующих.

Именно здесь на помощь приходят недорогие твердотельные накопители высокой емкости. В вычислительных системах производительность твердотельных накопителей обычно измеряется в IOPS (операциях ввода-вывода в секунду). Для систем хранения производительность устройства измеряется пропускной способностью на единицу емкости (МБ/с/ТБ). Для больших обучающих кластеров графических процессоров системные требования могут достигать 100 МБ/с пропускной способности на терабайт емкости хранилища. Этим большим системам хранения, в которых хранятся текст, изображения и видео для мультимодальных моделей, требуется системная емкость от петабайтов до эксабайтов, а значит, требуются сотни и десятки тысяч отдельных дисков.

Пропускная способность твердотельных накопителей в 50 раз выше, чем у жестких дисков, что позволяет использовать меньшее количество SDD для достижения той же пропускной способности системы, что и многочисленные жесткие диски. Меньшее число означает, что они должны иметь большую емкость, чем жесткие диски, чтобы соответствовать требованиям к емкости системы. Насколько больше?

Это зависит от требований к производительности и пропускной способности сети. Эти системы хранения обычно подключаются к кластерам графических процессоров с помощью сверхбыстрых сетей, но совокупная пропускная способность этих сетей по-прежнему намного ниже совокупной пропускной способности твердотельных накопителей. Для самых больших кластеров графических процессоров (требующих до 100 МБ/с/ТБ) емкость до 64 ТБ часто является пределом. Некоторые пользователи хотят масштабировать емкость до 128 ТБ или даже 256 ТБ, если эти твердотельные накопители доступны для небольших кластеров или систем с более низкими требованиями к производительности.

Учитывая, что твердотельные накопители в сетевых системах не работают на максимальной скорости, они потребляют значительно меньше энергии, чем стандартные вычислительные приложения. Кроме того, поскольку поддержка скорости и большого количества циклов записи не имеет первостепенного значения, в конструкции используются компромиссы, позволяющие снизить затраты по сравнению с традиционными твердотельными накопителями для обычных вычислений.

Вот основная причина

В результате системы хранения имеют меньше дисков и серверов хранения, меньше энергопотребление, меньше стоек, более высокую надежность, более длительный срок полезного использования, лучшие характеристики задержки, меньшее время простоя графических процессоров в ожидании данных и ими проще управлять при использовании всех твердотельных накопителей по сравнению с ними. к смеси SSD и HDD.

Куда это пойдет дальше?

Крупные кластеры графических процессоров и облачные поставщики графических процессоров как услуги выбирают недорогие твердотельные накопители большой емкости для своих потребностей в хранении данных. Эти первоначальные приложения оправдывают более высокую стоимость SSD из-за его преимуществ в производительности, мощности и емкости по сравнению с HDD. Ожидается, что в течение следующих нескольких лет другие высокопроизводительные варианты использования будут переведены на твердотельные накопители, поскольку жесткие диски станут медленнее в МБ / с / ТБ. Быть дешевле — это здорово, но если пользователи не могут удовлетворить свои требования к производительности, простоя процессоров, графических процессоров и других ускорителей обходится дорого как с точки зрения энергопотребления, так и с точки зрения системных затрат.

Мы давно знакомы с иерархией хранения и памяти, постоянно обновляя ее новыми технологиями и корректируя границы между блоками пирамиды. Компания Micron представила новый блок в пирамиде — твердотельные накопители емкости, чтобы признать растущую роль этого нового класса твердотельных накопителей, который предназначен для приложений хранения данных, требующих большой емкости, сохраняя при этом баланс производительности, мощности и стоимости.

Рисунок 1. Пирамидальная диаграмма, показывающая, как твердотельные накопители вписываются в иерархию хранилища и памяти.