Технологии

Память HBM становится скрытым слоем распределения капитала на рынке ИИ

Гонка инфраструктуры ИИ обычно описывается как история про GPU. Но доступность памяти с высокой пропускной способностью всё больше определяет, какие ускорители будут отгружены, какие кластеры масштабируются и какие дорожные карты моделей останутся в графике.

Майкл Г ·

Память HBM становится скрытым слоем распределения капитала на рынке ИИ
MANTIS_

Высокоскоростная память становится скрытым слоем распределения капитала на рынке ИИ. Публичная история по-прежнему доминируется Графические процессоры, но практический вопрос для многих кластеров заключается в том, удастся ли упаковать достаточно передовой памяти с акселераторами достаточно быстро, чтобы удовлетворить спрос.

Это меняет то, как инвесторам следует думать о инфраструктуре ИИ. Вычисления — это не один единственный вход. Это набор акселераторов, памяти, сетевого оборудования, упаковки, энергии, охлаждения и программного обеспечения. Дефицит на одном уровне может замедлить всю дорожную карту.

Память определяет использование

Ускорители ИИ полезны только в том случае, если данные могут достигать их достаточно быстро. Пропускная способность памяти формирует эффективность обучения, пропускную способность инференсаи экономику обслуживания больших моделей. Когда предложение памяти ограничено, разработчики чипов, облачные провайдеры и лаборатории все конкурируют за один и тот же узкий место.

Ёмкость HBM влияет на доступность ускорителей, использование кластеров и экономику обслуживания моделей. Изображение: MANTIS_.
Ёмкость HBM влияет на доступность ускорителей, использование кластеров и экономику обслуживания моделей. Изображение: MANTIS_.

Именно поэтому лидеры Южной Кореи в области памяти и цепочки поставок передовой упаковки стали центральными в геополитике ИИ. Страна просто не экспортирует компоненты. Она поставляет ограничение, которое определяет, насколько быстро может расти остальная часть стека.

Узкое место перемещается

Бум ИИ продолжает переносить узкое место. В одном квартале это GPU. В следующем — HBM. Затем это становится мощностью, трансформаторами, сетями или строительством дата-центров. Побеждают компании, которые могут видеть всю систему и резервировать мощность до того, как нехватка станет очевидной.

Развертывание ИИ зависит от скоординированного планирования на всех этапах — от фабрик и упаковки до потребления энергии и облачных сервисов. Изображение: MANTIS_.
Развертывание ИИ зависит от скоординированного планирования на всех этапах — от фабрик и упаковки до потребления энергии и облачных сервисов. Изображение: MANTIS_.

Есть также история с маржой. Если память остается дефицитной, большая часть прибыли от ИИ может сместиться к поставщикам, которые контролируют самый ограниченный слой. Это не заменяет роль Nvidia, но усложняет идею о том, что одна компания захватывает всю ценность инфраструктуры.

Темы: HBM, память, ИИ-чипы, полупроводники