Технологии
Microsoft призывает SEMICON Тайвань оценивать ИИ-инфраструктуру по полезной отдаче
Microsoft заявляет, что следующую фазу ИИ-инфраструктуры следует оценивать по количеству токенов на доллар и ватт, пропускной способности и задержке, а не по сырой мощности. Аргумент ставит межслойную инженерную работу и эффективность эксплуатации в центр соревнования дата-центров.
Майкл Г ·
Microsoft использовала открытие SEMICON Taiwan 2026, чтобы заявить, что гонка ИИ-инфраструктуры вступает в менее прощающую фазу. Рани Боркар, президент Azure Hardware Systems and Infrastructure, сказал, что индустрия должна оценивать прогресс по полезной отдаче: насколько эффективно кремний, память, сети и питание превращаются в используемый интеллект. Предлагаемые меры включают токены на доллар и на ватт, пропускную способность и задержку. Сообщение чипмейкерам было простым: ёмкость всё ещё имеет значение, но ёмкость, которую нельзя преобразовать в надёжный результат, является дорогой проблемой-инвентаризацией.
Оформление возникает после лет, когда расходы и показатели ускорителей служили краткой характеристикой лидерства в сфере ИИ. Эти цифры остаются легкими для сравнения. Полезный результат труднее оценить, потому что рабочие нагрузки различаются, программное обеспечение изменяется, и токен, сгенерированный для ответа службы поддержки клиентов, не эквивалентен токену, созданному во время долгого запуска научного агента. Тем не менее Microsoft указывает на правильное инженерное ограничение: система важнее своего наиболее продаваемого компонента.
Мощный ускоритель может простаивать в ожидании памяти, сети или энергии. Плотно заполненный стояк может приносить низкую экономическую отдачу, если охлаждение ограничивает непрерывную загрузку. Модель может производить больше токенов, расходуя их на повторы или малоценные рассуждения. Полезная отдача заставляет операторов рассматривать полный путь от подключения к сети до принятого результата приложения. Это также задает клиентам более сложный вопрос, чем просто какой чип находится внутри здания.
Межслойной дизайн становится основным инженерным рычагом
Microsoft утверждает, что для повышения эффективности теперь требуется совместный проект по кремнию, памяти, сети, энергии, охлаждению, компиляторам, моделям и управлению парком. Этот подход виден в Azure Maia, где поведение ускорителей связано с управлением памятью и пользовательской масштабируемой сетью. Это также видно в Azure Cobalt, где более точные элементы управления энергопотреблением запрограммированы в ЦП, так что больше серверов может работать в рамках одного мегаватта.
Оптимизация на пересечении уровней не нова для вычислительной техники, но ИИ увеличивает последствия. Обучение и вывод распределяют работу между множеством устройств, и небольшие неэффективности накапливаются по всему парку. Если один уровень не успевает работать в нужном темпе, дорогие ускорители остаются недоиспользованными. Наиболее быстрый прогресс может быть достигнут за счет изменения размещения моделей, транспортировки или планирования, а не за счет производства более быстрого чипа. Поэтому облачные операторы все чаще разрабатывают аппаратное и программное обеспечение совместно.
Стратегия также концентрирует власть. Компания, которая контролирует модель, компилятор, сетевой стек, ускоритель и облачный планировщик, может оптимизировать глобально, но клиенты становятся более зависимыми от её реализации. Необходимы открытые интерфейсы и прозрачные измерения, если полезный результат должен стать чем-то большим, чем оценка, специфичная для конкретного поставщика. Покупатели должны иметь возможность сравнивать стоимость и энергозатраты выполнения рабочей нагрузки в разных облаках без необходимости принимать предпочтительное определение каждого поставщика.
Память является особенно важным ограничением. Большие модели перемещают огромные объемы параметров и промежуточных данных, и производительность ускорителя теряется, когда пропускная способность памяти не может его обеспечить. Microsoft утверждает, что оптимизация может извлекать больше интеллекта из каждого байта через проектирование модели, размещение и решения компилятора. Результат может быть менее заметным, чем новый процессор, но именно он может определять, является ли услуга доступной в масштабе.
Токены на ватт всё ещё требуют порога качества
Метрика продуктивности может создавать искаженные стимулы, если она учитывает объем работы без оценки качества. Модель, которая генерирует в два раза больше токенов, не является более полезной, если эти токены требуют исправлений. Числитель должен отражать принятую работу: ответ, который проходит оценку, изменение кода, которое проходит тесты, или выполнение задачи агентом в рамках политики. В противном случае отрасль будет оптимизировать видимую производительность, скрывая повторные попытки, ошибки и человеческую проверку.
Задержка имеет ту же неоднозначность. Быстрая реакция на первый токен улучшает разговор, но корпоративному рабочему процессу может быть важнее время до подтвержденного завершения. Агент, который отвечает сразу, а затем в течение десяти минут использует различные инструменты, может казаться быстрым, но при этом выполнять задачу медленно. Измерение инфраструктуры должно различать интерактивную отзывчивость и общее время выполнения задачи, включая очереди и внешние зависимости.
Финансовые последствия распространяются по всей цепочке поставок полупроводников. Если клиенты требуют полезный выход продукции, поставщики ускорителей будут конкурировать за счет зрелости программного обеспечения, сетевых возможностей и устойчивой производительности парка, а не пиковых характеристик. Поставщики памяти, компании по охлаждению и специалисты по управлению энергопотреблением приобретают стратегическое значение, поскольку их продукция обеспечивает высвобождение мощности, которая в противном случае остаётся недоиспользованной. Торговля ИИ расширяется от истории о GPU до истории о системах.
Тайвань — подходящее место для этого аргумента. Его литейные предприятия и поставщики входят практически в каждую передовую ИИ-систему, в то время как электроэнергия, земля и геополитические риски ограничивают расширение. Полезный выход продукции предлагает способ увеличить выпуск без предположения о бесконечной новой мощности. Он не устраняет необходимость в дополнительных объектах. Он меняет ожидаемую отдачу от каждой пластины, стойки и мегаватта.
Заявления о устойчивости должны оставаться привязанными к абсолютному потреблению. Увеличение количества токенов на ватт может снизить энергию, необходимую для выполнения одной задачи, в то время как общий спрос растет гораздо быстрее. Эффективность может сделать ИИ дешевле и, следовательно, более широко использоваться, компенсируя часть экономии. Операторы должны сообщать как интенсивность, так и общее потребление электроэнергии, воды и выбросов. Лучшее соотношение не означает автоматически меньший экологический след.
Покупателям облачных услуг потребуется раскрытие информации о конкретных рабочих нагрузках для использования этого показателя. Обучение, пакетное предсказание, интерактивный чат и долгоживущие агенты создают разную нагрузку на систему. Среднее значение для всего парка может скрывать плохую производительность для приложения, которое фактически использует клиент. Провайдеры могут публиковать диапазоны по типу нагрузки, региону и поколению ускорителя, а затем позволить клиентам измерять собственную норму допустимого выхода. Полезный результат становится значимым только тогда, когда видна единица полезности.
Надежность также должна учитываться в знаменателе. Плотно оптимизированный кластер, который часто выходит из строя, может демонстрировать высокую пиковую пропускную способность, при этом за месяц производя меньше полезной работы. Плановое обслуживание, повторные попытки передачи данных и недоступная емкость потребляют ресурсы даже тогда, когда они исчезают из окна бенчмарка. Устойчивый результат должен учитывать реальную доступность и стоимость поддержания достаточного запаса мощности для выполнения обязательств по обслуживанию.
Подход может изменить то, как капитал распределяется внутри Microsoft. Команды, предлагающие новый акселератор или дизайн дата-центра, могут оцениваться исходя из того, какой результат они обеспечивают, а не аппаратного обеспечения, которое они добавляют. Это стимулирует инвестиции в программное обеспечение, охлаждение и улучшения сетевой инфраструктуры, которые менее заметны, но могут приносить более быструю отдачу. Это также может выявить простаивающие мощности, что является деликатной проблемой после того, как отрасль вложила сотни миллиардов долларов в развитие ИИ.
Для разработчиков моделей эффективность инфраструктуры становится ограничением при проектировании, а не заботой поставщика облачных услуг. Архитектура, квантизация, обработка контекста и спекулятивное декодирование могут изменить количество полезной работы, получаемой с тех же машин. Модель, которая получает немного меньший балл, но выполняет задачи клиентов с меньшим количеством повторов, может создавать большую ценность. Лучшая система — не всегда та, которая имеет наибольшее количество параметров или самый высокий результат в изолированном бенчмарке.
Правительства в конечном итоге могут использовать показатели полезного выхода при рассмотрении стимулов для центров обработки данных и распределения энергии в сети. Если проекты запрашивают дефицитную электроэнергию, чиновники захотят видеть доказательства экономической отдачи и эффективности. Это создаёт риск политизации показателей или их лёгкого манипулирования. Общие стандарты отчётности, независимые аудиты и чёткий экологический учёт сделали бы сравнения более достоверными до того, как показатели полезного выхода повлияют на выдачу разрешений, субсидий или планирование инфраструктуры.
Полезная отдача в конечном итоге является рамочной системой подотчетности. Она требует от инфраструктурных компаний показать, что получает общество в обмен на исторические капитальные и энергетические затраты. Наиболее сильная версия будет связывать физические ресурсы с надежными результатами применения и раскрывать издержки, которые игнорируют простые подсчеты токенов. Наиболее слабая версия превратится в еще один эталон, оптимизированный для ключевого доклада. Microsoft назвала правильное направление; следующая задача — публиковать измерения, которые клиенты смогут использовать самостоятельно.
Темы: Microsoft, SEMICON Тайвань, инфраструктура ИИ, полупроводники, дата-центры