Технологии
Архитектура питания дата-центров ИИ становится проблемой для совещаний на уровне руководства
Рост плотности стоек и агентных нагрузок заставляет команды по инфраструктуре ИИ пересматривать вопросы подачи энергии, теплового напряжения, подключения к сети и мониторинга энергии.
Патрик Т ·
ИИ дата-центр Архитектура электропитания переходит из разряда инженерных деталей в ограничения, обсуждаемые на совете директоров. Самые крупные рабочие нагрузки ИИ увеличивают плотность стоек, перепады тока и тепловую нагрузку за пределы предположений, которые работали для старых моделей облачных вычислений.
Непосредственная проблема — это плотность. Современные кластеры ИИ объединяют ускорители, высокоскоростную память, сетевые и дисковые ресурсы в системы, которые потребляют гораздо больше энергии на стойку, чем традиционные корпоративные серверы. Это создает проблемы на всех уровнях: преобразование энергии, распределение, охлаждение, резервные системы, проектирование объектов и подключение к электросети.
Недавняя волна технических исследований сосредоточилась на том, могут ли традиционные низковольтные архитектуры справляться с нагрузками ИИ следующего поколения. Ответ все чаще оказывается положительным, но только при серьезных изменениях, включая преобразование энергии на более высокое напряжение, варианты распределения постоянного тока, твердотельные трансформаторы и более тесную координацию между проектированием объектов и стоек.
Это важно для стратегии, потому что дорожные карты моделей теперь зависят от сроков строительства и электроснабжения. Компания может иметь заказывает чипы и все равно испытывать узкие места из-за трансформаторов, подстанций, распределительных щитов, очередей в сети или систем охлаждения, которые не способны справиться с планируемой нагрузкой.
Проблема с электроэнергией также имеет слой измерений. По мере распространения агентских рабочих нагрузок становится труднее определить энергопотребление, потому что один запрос пользователя может запускать планирование, вызовы инструментов, повторные попытки, выполнение кода, поиск, суммирование и последующее рассуждение. Без лучшей телеметрии компании могут не знать, какие рабочие процессы являются затратными или расточительными.
Эта слепая зона важна для учета затрат, углеродного следа и проектирования продукта. Если агент потребляет в несколько раз больше энергии, чем линейная задача, из-за циклов, повторов или неэффективного вызова инструментов, команда продукта должна это видеть. Если оборудование показывает только частичные данные об энергии, оптимизация превращается в гадание.
Следующий этап инфраструктуры ИИ, следовательно, будет более интегрированным. Команды чипов, команды моделей, команды продуктов и команды эксплуатации больше не могут работать как отдельные миры. Архитектура модели влияет на потребность в вычислениях. Потребность в вычислениях влияет на энергопотребление и охлаждение. Энергопотребление и охлаждение влияют на то, где и когда модели могут масштабироваться.
Для инвесторов урок в том, что качество капитальных расходов важнее, чем их общая сумма. Тратить миллиарды на инфраструктуру ИИ не автоматически стратегично, если архитектура питания не может поддерживать будущую плотность или если энергопотребление нельзя измерить достаточно точно для оптимизации.
Бум ИИ продолжают называть гонкой за интеллектом. На самом деле, это также гонка за током, напряжением, системами охлаждения и способностью использовать каждый ватт максимально эффективно.
Темы: дата-центры ИИ, подача электроэнергии, плотность стоек, энергия