Исследование
Сети ИИ становятся новым ускорителем
По мере того как тренировочные кластеры масштабируются до сотен тысяч ускорителей, сети становятся такими же стратегически важными, как и сами чипы. Гонка за передовыми моделями теперь зависит от fabric, которые поддерживают GPU в питании, синхронизации и эффективности.
Майкл Г ·
С Аппаратное обеспечение ИИ История обычно рассказывается через ускорители. Графические процессоры, TPU, специализированные ASIC и модули памяти получают заголовки новостей, потому что они являются видимыми символами вычислительной мощности. Но по мере масштабирования передовых кластеров для обучения сети, соединяющей эти чипы, становится одинаково важной.
Современный процесс обучения — это не один чип, работающий в одиночку. Это тысячи, десятки тысяч или в конечном итоге сотни тысяч ускорителей, обменивающихся данными при строгих временных ограничениях. Если сеть дает сбои, задерживается или не умеет балансировать трафик, дорогие чипы простаивают. На передовом уровне масштабов простаивающие чипы не являются неприятностью. Это потерянный капитал.
Кластер — это компьютер
Фраза 'Фабрика ИИполезен, потому что он смещает внимание с отдельных серверов на координированные производственные системы. Кластер должен поглощать данные, перемещать градиенты, синхронизировать задачи, справляться с сбоями, изолировать арендаторов и поддерживать предсказуемую производительность для рабочих нагрузок, которые могут выполняться неделями.
Вот почему недавние исследования высокоскоростных сетей для гига-скейл AI-фабрик имеют значение. Технические детали могут показаться узкими: балансировка нагрузки, ширина полосы при разрезании, низкая джиттер, сбои ссылок, мультипатчевый маршрутизинг. Но именно эти детали определяют, закончится ли выполнение модели эффективно или превратится в вскрытие инфраструктуры.
Сетевые технологии становятся стратегическим рвом
Nvidia Spectrum-X работа показывает, почему сетевые технологии переходят на стратегический уровень. Компания продает не только ускорители. Она продает больше компонентов системы, которые необходимы, чтобы ускорители были полезны в масштабах: Сетевые карты (NICs), коммутаторы, программное обеспечение, эталонные архитектуры и операционные знания.
Это имеет конкурентные последствия. Если сетевой стек тесно оптимизирован для чиповой платформы, покупателям может быть сложнее комбинировать компоненты. Преимущество заключается не только в CUDA или программном обеспечении для моделей. Оно в полном обещании стека, что фабрика будет работать.
Сбой является рабочей нагрузкой первого порядка
Большие кластеры постоянно терпят неудачи в мелочах. Ссылки колеблются, хосты ведут себя неправильно, компоненты деградируют, арендаторы сталкиваются друг с другом, а задания создают паттерны трафика, которые стандартные предположения о дата-центрах не предвидели. Сетевые системы ИИ должны реагировать достаточно быстро, чтобы эти сбои не переросли в крупные нарушения обучения.
Исследовательский урок ясен: предсказуемая производительность важна так же, как и максимальная пропускная способность. Быстрая сеть, которая становится нестабильной в реальных условиях обучения, может быть хуже слегка более медленной сети с сильной изоляцией и восстановлением. Передовой ИИ ценит последовательность.
Это также меняет подход инвесторов к чтению объявлений о инфраструктуре. Компания, которая заявляет, что приобрела большой кластер GPU, еще не закончила историю. Настоящий вопрос заключается в том, есть ли у нее сеть, хранилище, охлаждение, электропитание и операционные ресурсы, чтобы поддерживать продуктивность этого кластера.
Скрытая архитектура возможностей
Возможности модели часто обсуждаются так, как будто они возникают только из алгоритмов и масштаба. На практике возможности возникают из скрытой архитектуры, которая позволяет масштабу работать: память, сеть, программное обеспечение, питание, охлаждение и люди, которые умеют отлаживать всё это в 3 часа ночи.
Темы: сетевые решения для ИИ, Spectrum-X, инфраструктура для ИИ, передовые модели