Технологии
HBM-память становится скрытым узким местом в гонке передовых ИИ
Память с высокой пропускной способностью становится одним из самых важных ограничений в области передового ИИ. GPU получают все заголовки, но стек памяти всё больше определяет, кто сможет создавать и обслуживать следующее поколение моделей.
Майкл Г ·
Высокоскоростная память становится одним из скрытых узких мест в гонке ИИ. Графические процессоры получает большую часть общественного внимания, но пограничные системы зависят от пропускной способности памяти, чтобы ускорители работали достаточно быстро. Без достаточного объема HBM, даже лучшая дорожная карта чипов может замедлиться.
Рынок заметил это. Поставщики памяти, литейные фабрики, компании по упаковке и покупатели облачных услуг теперь участвуют в одной стратегической беседе. Инфраструктура ИИ — это системная проблема, и память находится близко к центру этой системы.
Пропускная способность важнее сырой емкости
Большие модели перемещают огромные объемы данных во время обучения и вывода. Сырая емкость памяти имеет значение, но пропускная способность и упаковка — это то, что поддерживает работу ускорителей. Кластер с дорогими чипами и недостаточной производительностью памяти тратит капитал впустую.
Вот почему поставки HBM связаны с геополитикой. Лидирующее производство памяти зависит от небольшой группы компаний и передовых мощностей по упаковке. Правила экспорта, обязательства перед клиентами и решения о распределении заказов на фабриках могут определять, кто получает достаточно компонентов для масштабного производства.
Узкое место стека
Цепочка поставок ИИ сужается вокруг нескольких критически важных компонентов: ускорители, HBM, опыт в передовой упаковке., сети, питание и охлаждение. Любой из них может стать ограничивающим фактором. Инвесторы, которые отслеживают только поставки GPU, упускают часть картины.
Темы: HBM, полупроводники, чипы для ИИ, память