Анализ
Amazon сокращает зависимость Alexa от Claude, так как затраты на ИИ-ассистента растут
Сообщается, что Amazon перерабатывает Alexa+, чтобы меньше полагаться на Claude от Anthropic, показывая, как потребительские ИИ-ассистенты становятся проблемой расходов на маршрутизацию, кэширование и инфраструктуру.
Эльвин С ·
Amazon как сообщается, пытается сделать Alexa+ дешевле в эксплуатации, снижая её зависимость от Anthropic, что является признаком того, что следующий этап потребительского ИИ будет оцениваться не только по качеству демонстраций, но и по экономике единицы. Business Insider сообщил 23 июля со ссылкой на внутренние документы, что Amazon перенаправляет больше запросов Alexa+ через свои собственные модели, используя кэширование, избегая повторных вычислений и применяя детерминированные методы для предсказуемых ответов. Заявленная цель проста: сделать голосового ассистента достаточно способным, чтобы он казался современным, не превращая каждый домашний запрос в дорогой вызов передовой модели.
Цифры объясняют срочность. Business Insider сообщил, что AWS расходы на Alexa+ прогнозировалось достичь 1,7 миллиарда долларов к 2026 году, и текущие изменения могут более чем в четыре раза увеличить пропускную способность транзакций на вычислительную единицу. Amazon не подтверждала публично все внутренние цифры в отчете, поэтому их следует рассматривать как заявленные внутренние оценки. Стратегический момент остается в силе. Голосовой помощник должен отвечать на множество малозначимых вопросов много раз в день в масштабах потребителей. Это суровая среда для модели, которая оценивается и используется как ограниченная экспертная рабочая сила.
Отношения Amazon с Anthropic делают сообщаемый сдвиг более важным, а не менее. Amazon инвестировала миллиарды долларов в Anthropic и предлагает Claude через Amazon BedrockЭто партнерство дает Amazon доступ к одной из ведущих семей моделей, но оно не устраняет стоимость обслуживания массового ассистента. Компания может быть стратегически согласована с Claude, при этом решая, что рутинные задачи Alexa должны обрабатываться более мелкими, дешевыми или более специализированными системами.
Техническая схема становится знакомой как в корпоративном, так и в потребительском AI. Не каждый запрос требует самой мощной модели. Запрос о погоде, команда для умного дома, таймер, музыкальный запрос или простой факт могут часто обрабатываться узкоспециализированной системой, кэшированным ответом или меньшей моделью. Более сложные задачи могут быть направлены к передовая модель только тогда, когда дополнительная возможность изменяет результат. Это делает маршрутизацию основной дисциплиной продукта, а не оптимизацией, которая происходит после запуска.
Кэширование особенно важно в голосовой сфере. Пользователи повторяют обычные запросы. Семьи задают одному и тому же ассистенту похожие вопросы. Детерминированный ответ на известную команду дешевле и часто надежнее, чем отправка свежего запроса через большую модель. Проблема заключается в том, чтобы понять, когда запрос действительно рутинный, а когда персонализация, контекст или неоднозначность делают использование большой модели необходимым. Плохое решение о маршрутизации может заставить ассистента казаться медленным, неправильным или странно непоследовательным.
Слой чипа является частью того же вычисления. Business Insider сообщил, что Amazon рассматривает более широкое использование Trainium и другая внутренняя инфраструктура, пока он пытается повысить эффективность GPU и снизить зависимость от Nvidia. Trainium даёт AWS возможность контролировать больше частей структуры затрат, но специализированные чипы помогают только если программное обеспечение, смесь моделей и планирование рабочих нагрузок соответствуют аппаратному обеспечению. Голосовой ассистент — это продукт, но это также проблема балансировки нагрузки.
Для Anthropic отчёт не является автоматически плохой новостью. Серьёзный клиент, направляющий основную часть трафика мимо Claude, всё ещё может резервировать Claude для сложных задач, где модель работает лучше всего. Премиальные модели будут использоваться выборочно, и поставщики должны будут оправдать их цену на задачах, где более дешёвые системы не справляются. Объём может перемещаться вниз по структуре, в то время как маржа остаётся на сложной грани.
Для Amazon вопрос заключается в том, сможет ли Alexa+ стать достаточно полезной, чтобы оправдать возобновленное внимание потребителей. Оригинальная Alexa стала популярной, потому что простые голосовые команды работали. Новая Alexa должна делать больше, не ухудшая экономику. Энди Джасси неоднократно подчеркивал необходимость снижения затрат на ИИ для массового внедрения, и Alexa+ — это та точка, где эта теория встречается с миллионами обычных взаимодействий.
Голосовые помощники создают особую версию проблемы стоимости ИИ, потому что пользователи ожидают, что они будут дешевыми, мгновенными и всегда включенными. Человек может попросить таймер, напоминание, песню, изменить список покупок, проверить погоду, отдать команду для домашнего освещения и задать уточняющий вопрос в течение нескольких минут. Если каждый ответ оценивается как задача с высокой ценностью знаний, использование помощника на уровне домохозяйства становится трудным. Потребитель не видит этот счет. Платформа видит его каждый раз, когда случайный запрос запускает дорогое вычисление.
Вот почему сообщаемый переход к детерминированным методам имеет значение. Детерминированная система менее гибкая, чем большая языковая модель, но она может быть быстрее, дешевле и более предсказуемой для хорошо определённых задач. У Alexa уже есть многолетний опыт командных шаблонов и интеграции с устройствами. Вопрос в том, как объединить эту старую архитектуру ассистента с генеративным мышлением, не создавая ощущения, что продукт склеен из разных частей. Лучшие маршрутизирующие системы исчезают из поля зрения пользователя. Худшие проявляют себя через странные отказы, непоследовательную память или ответы, качество которых меняется от одного шага к другому.
Amazon также необходимо управлять задержкой. В голосовых технологиях односекундная задержка может изменить восприятие возможностей системы. Большие модели улучшают рассуждения, но сбор контекста, сетевые запросы, проверки безопасности и вызовы инструментов могут замедлить взаимодействие. Более дешевый путь является выгодным не только в финансовом плане, но и в плане скорости. Это дает Amazon как продуктовую, так и инфраструктурную причину оставлять больше работы на узких системах, когда задача очевидна.
Здесь также присутствует аспект доверия клиентов. Если Alexa+ направляет некоторые запросы на модели Amazon, а некоторые — на модели Anthropic, пользователи могут не обращать внимания на название поставщика. Их будет волновать, правильно ли ассистент запоминает информацию, соблюдает настройки приватности и ведет себя последовательно на всех устройствах. Покупатели корпоративного ИИ часто спрашивают, какая модель обработала запрос. Пользователи голосовых сервисов для потребителей делают это редко. Это возлагает на Amazon большую ответственность за поддержание единых стандартов продукта при использовании смешанного набора моделей.
Отчет о затратах также показывает, почему партнерские отношения в области ИИ не являются простыми аутсорсинговыми сделками. Amazon может инвестировать в Anthropic, продавать Claude через AWS и при этом создавать внутренние модели, которые конкурируют за трафик Alexa. Anthropic может извлекать пользу из распределения через AWS, сталкиваясь при этом с давлением со стороны клиентов, которые хотят снизить расходы на вычисления. Рынок ИИ становится многоуровневым. Партнер одновременно может быть поставщиком, клиентом, арендатором платформы и конкурентом по стандартам.
Для разработчиков, создающих приложения на основе ИИ-ассистентов, урок заключается в том, чтобы проектировать уровни с самого начала. Продукт, который предполагает, что каждая задача требует передовой модели, может работать на пилотной стадии, но сломается при масштабировании. Зрелая версия стека, вероятно, будет включать небольшие модели, правила, поиск, кэшированные ответы, обработчики для конкретных инструментов, классификаторы безопасности и передачу на более мощные модели, когда неопределенность или последствия высоки. Это менее гламурно, чем одна универсальная модель, но ближе к тому, как производственные системы выдерживают рост использования.
Аппаратная база Amazon дает ей еще одно преимущество. Устройства Echo, Fire TV, Ring, Eero и другие домашние продукты создают множество мест, где ассистент может собирать контекст или инициировать действия. Это также создает множество мест, где ошибки имеют значение. Модель, которая неправильно понимает вопрос о покупке, раздражает. Модель, которая неправильно обрабатывает команду для умного дома или делится неверным контекстом в доме, вызывает более серьезные последствия. Поэтому маршрутизация затрат должна работать наряду с маршрутизацией разрешений и маршрутизацией контекста.
Время имеет значение, потому что интерес потребителей к ИИ переходит от новизны к постоянному использованию. Пользователи видели плавные демо-версии. Теперь они обращают внимание на то, насколько продукт надежен для ежедневного использования. Alexa+ должна быть одновременно более функциональной, чем старая Alexa, и менее дорогой, чем передовой чат-бот, встроенный в динамик. Это узкая инженерная цель. Она благоприятствует компаниям с облачными мощностями, доступом к моделям, распределением устройств и годами накопленных журналов взаимодействия.
Экономика также объясняет, почему Amazon может делать упор на собственные модели, даже поддерживая тесные отношения с Anthropic. Внутренние модели можно настроить под повторяющиеся шаблоны Alexa, языки, бытовые контексты и действия устройств. Их можно оптимизировать для инфраструктуры Amazon, а не для общего рынка. Это не делает их универсально лучше, чем Claude. Это может сделать их более подходящими для работы с низкой маржей и высокой частотой в роли домашнего ассистента.
Смешанный стек также даёт Amazon переговорную силу. Если Alexa+ может направлять обычный трафик в обход одного поставщика, Amazon меньше подвержен изменениям цен, ограничениям по мощностям или решениям о продукте, находящимся вне его контроля. Это имеет значение на рынке, где поставщики моделей всё ещё корректируют цены и где спрос может резко возрасти вокруг новых функций. Потребительский помощник не может зависеть от дефицитного пути модели для каждого обычного запроса.
Риск для пользовательского опыта заключается в фрагментации. Домашний помощник должен ощущаться как один помощник, а не как набор моделей с разными личностями. Если команда таймера четкая, обновление списка покупок непоследовательное, а сложный вопрос по планированию сформулирован красиво, но выполняется медленно, продукт может восприниматься как несбалансированный. Задача Amazon состоит в том, чтобы скрыть механизм маршрутизации, сохранив при этом достаточно прозрачности для чувствительных задач, где пользователи заслуживают знать, как был получен ответ.
Конфиденциальность и память также являются частью контроля затрат. Чем больше контекста получает модель, тем дороже и чувствительнее становится запрос. Хороший помощник не должен отправлять всю историю домохозяйства, чтобы выполнить простую команду. Он должен знать, когда достаточно локального контекста, когда требуется контекст на уровне аккаунта, и когда следует исключить персональные данные. Эффективное выводение и минимизация данных могут усиливать друг друга, если их разрабатывать целенаправленно.
В отчете также указывается на следующий этап соревнования в области инфраструктуры ИИ. Качество модели по-прежнему важно, но производственные клиенты все больше интересуются стоимостью выполнения успешной задачи. Это включает повторные попытки, вызовы инструментов, задержку, процент попаданий в кэш, использование оборудования и то, действительно ли ответ решает запрос пользователя. Alexa+ дает Amazon большую внутреннюю лабораторию для отслеживания этих метрик. Если это будет работать, те же уроки смогут быть применены к услугам AWS, продаваемым другим компаниям.
Финансовое давление, вероятно, будет определять заявления о продуктах по всей отрасли. Компании могут рекламировать мощного помощника, но внутри они будут измерять, как часто помощник выбирает более дешевый путь, не снижая удовлетворенности. Это создает стимулы строить системы оценки вокруг реальных задач, а не лидербордов моделей. Для Alexa+ успех может быть тихим взаимодействием, когда пользователь никогда не узнает, ответил ли Клод, модель Amazon, кешированный ответ или детерминированный обработчик. Деловая цель не в том, чтобы каждый раз демонстрировать самую сильную модель. Она заключается в том, чтобы сделать домашнего помощника надежным, при этом удерживая кривую затрат достаточно ровной для масштабирования.
Та же логика будет влиять на то, что Amazon предоставляет разработчикам и рекламодателям в рамках Alexa+. Если помощник станет более способным, сторонние компании будут хотеть размещения, действий и интеграций. Amazon придется решать, какие запросы можно монетизировать, какие должны оставаться нейтральными утилитарными, а какие требуют более строгих ограничений, потому что они влияют на покупки или решения в семье. Контроль затрат, таким образом, является лишь одной стороной редизайна. Другая сторона — доверие к коммерческим стимулам помощника.
Урок для остального рынка ИИ ясен. Выигрывающим помощником может оказаться не тот, кто отправляет каждый запрос к самой мощной модели. Вполне возможно, что это будет тот, кто знает, когда этого не делать. Сообщаемый редизайн Alexa+ показывает, что потребительский ИИ превращается в соревнование за эффективность капитала, с маршрутными таблицами, кэшами, внутренними чипами и портфелями моделей, скрытыми за дружественным голосом.
Темы: Amazon, Alexa+, Anthropic, затраты на ИИ