Исследование
Google добавляет агентный видеоанализ в Gemini с использованием до 88% меньшего числа токенов
Gemini теперь может самостоятельно выбирать, какие моменты, частоты кадров, аудио и расшифровки проверять, вместо обработки видео с фиксированной частотой выборки. Google утверждает, что этот подход снижает использование токенов до 88%, стоимость до 66% и улучшает точность до 7%.
Майкл Г ·
Google представила агентическое понимание видео для Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite, позволяя моделям самостоятельно решать, какие моменты и модальности следует анализировать, вместо того чтобы обрабатывать каждое видео с фиксированной частотой выборки. Google утверждает, что этот метод может уменьшить потребление токенов до 88%, снизить стоимость анализа до 66% и повысить точность до 7%. Изменение рассматривает анализ видео как задачу активного поиска, а не как сведение большого файла.
Традиционные мультимодальные конвейеры выбирают кадры из видео с фиксированной частотой в секунду, часто один кадр. Это делает вычисления предсказуемыми, но пропускает кратковременные действия и тратит токены на незначительные участки. Часовая лекция может содержать один ответ ближе к концу. Камера безопасности может показать критическое движение, продолжающееся менее секунды. Одна политика выборки плохо подходит для обеих задач.
Новый цикл Gemini может искать по транскриптам, аудио и визуальным кадрам, а затем загружать соответствующий сегмент с другой скоростью или частотой кадров. Модель может сканировать широко, определять кандидатный интервал и возвращаться к нему более детально. Разработчики могли бы сами создавать такую оркестровку, но перенос цикла выбора в модель уменьшает количество кода приложения и позволяет системе адаптировать свою стратегию под каждый вопрос.
Функция доступна для загруженных файлов и видео с YouTube через Gemini API в Google AI Studio и на платформе Gemini Enterprise Agent. Она использует стандартную тарификацию за токены без отдельной платы за функцию. Разработчики включают её, устанавливая обработку видео в режим агентной деятельности. Google планирует внедрить эту возможность в приложение Gemini и в конечном итоге использовать её в Ask YouTube.
Динамическая выборка изменяет шаблон ошибок
Фиксированная выборка явно даёт сбой, когда важное событие происходит между кадрами. Агентная выборка может восстановиться, увеличивая временное разрешение вокруг предполагаемого движения. Она создаёт другой сбой: модель может никогда не проверить нужный сегмент, потому что её первый поиск был неудачным. Эффективность зависит от выбора доказательств, а выбор может кодировать предвзятость. Оценка должна измерять пропущенные моменты, а также точность ответов на основе найденных моделью моментов.
Google выделяет поиск с временем отклика меньше секунды, поиск длинных форм, обнаружение аномалий и подсчёт. Каждый из них требует разной стратегии наблюдения. Точное редактирование нуждается в границах нарезки. Вопрос лекции может основываться на поиске по расшифровке и одной визуальной демонстрации. Обнаружение промышленных аномалий может потребовать сравнения движения в повторяющихся циклах. Один агентский цикл может координировать эти инструменты, но результат должен показывать, какие интервал были просмотрены, чтобы пользователи могли проверить путь.
Сообщаемое снижение затрат особенно важно для многочасовых медиа. Статическая обработка может потреблять миллионы токенов или заставлять разработчиков сжимать видео перед анализом. Если агентный выбор сохраняет точность, обрабатывая лишь часть контента, архивы, экономически непрактичные ранее, становятся доступными для поиска. Телерадиокомпании, производители, преподаватели и службы безопасности смогут анализировать гораздо больше записей, не создавая индивидуальные системы поиска для каждой коллекции.
Эталонные тесты предлагают контролируемое сравнение, но реальные видеозаписи содержат монтажные склейки, плохой звук, наложения, несколько языков и неопределённые метки времени. Модель может использовать чистую расшифровку как ярлык в тестах и испытывать затруднения, когда речь шумная или ответ чисто визуальный. Клиентам следует тестировать репрезентативные записи и включать случаи, когда расшифровка противоречит кадру. Многомодальное понимание важно именно тогда, когда один канал неполный.
Более низкая стоимость расширяет сферу управления
Более дешёвый анализ облегчит обработку встреч, классов, рабочих мест и общественных пространств. Это увеличивает вопросы конфиденциальности и трудовые вопросы. Система, способная находить один жест среди тысяч часов записи, может поддерживать доступность или контроль качества. Она также может сделать всеобъемлющий мониторинг доступным по цене. Организациям нужны ограничения на хранение данных, ограничения по цели и журналы доступа, прежде чем направлять агентный поиск на материалы, собранные для другой цели.
Видеответы должны включать временные ссылки. Текстовый ответ, который просто сообщает о событии, менее информативен, чем ссылка на соответствующий интервал и кадры, использованные моделью. Ссылки также показывают, когда система неоднократно выбирает одни и те же вводящие в заблуждение кадры или игнорирует контекст сразу за пределами выбранного окна. Google может сделать агентный анализ более надежным, возвращая следы поиска как объект первого уровня, а не как внутреннюю деталь реализации.
Разработчики должны учитывать переменную нагрузку на вычисления. Статическая выборка имеет предсказуемую стоимость, основанную на продолжительности и частоте кадров. Агент может несколько раз возвращаться к сложным участкам. Средняя стоимость может снижаться, в то время как крайние значения для трудных вопросов остаются высокими. Производственные системы нуждаются в ограничениях на вызовы инструментов, затраченное время и извлечение сегментов, а также в аккуратном результате, если бюджет поиска заканчивается до того, как модель достигнет уверенности.
Та же изменчивость влияет на задержку. Простой вопрос по расшифровке может завершиться быстро, в то время как подсчет быстрых повторяющихся движений требует нескольких проходов. Приложения не должны обещать одинаковое время ответа на каждый запрос. Они могут предложить быстрый режим для широкого поиска и осторожный режим для тщательной проверки с доказательствами, демонстрируя компромисс, вместо того чтобы скрывать его за одной кнопкой.
Видеомодели становятся медиаперсонами
Система больше не только распознает контент. Она решает, как смотреть. Это похоже на работу редактора, аналитика или следователя, который просматривает временную шкалу, слушает фразу и замедляет момент. Сравнение имеет свои ограничения, потому что модели не хватает человеческого контекста и ответственности. Она все еще полезна для архитектуры: качественный анализ видео требует плана сбора доказательств, а не только большего контекстного окна.
Внедрение Google на YouTube может предоставить эту возможность миллиардам пользователей и создать огромный структурированный видеокорпус. Это может улучшить ответы на вопросы о демонстрациях, лекциях и обзорах продуктов. Создатели контента захотят узнать, как их видео выбирается для анализа и направляют ли ответы зрителей обратно к источнику. Система, которая извлекает полезный момент без сохранения атрибуции, может уменьшить трафик, даже улучшая обнаружение контента.
Кеширование может увеличить экономию при повторяющихся вопросах. Предприятие может опрашивать множество пользователей о одной и той же лекции, записи проверки или собрании. Платформа должна разъяснить, используются ли индексы сегментов и промежуточные представления повторно, как долго они сохраняются и создаёт ли новая загрузка новый кеш. Повторное использование может снизить затраты, создавая при этом ещё одну сохранённую версию потенциально чувствительного медиа.
Прямое видео — это очевидный следующий шаг и более сложный. Агент, решающий, что проверять, не может перемотать событие, которое никогда не было зафиксировано или сохранено. Системам реального времени нужен скользящий буфер, триггеры событий и политика относительно того, сколько видеоматериала остается доступным. Задержка и требования к конфиденциальности могут склонять к локальной предварительной обработке, даже если окончательное принятие решений происходит в облаке.
Оценка должна включать враждебное редактирование. Видео может скрывать инструкции в одном кадре, размещать вводящие в заблуждение подписи на материалах или вставлять события из разных времен. Агент, активно ищущий, может с большей вероятностью найти скрытый сигнал и с большей вероятностью следовать ему. Политики использования инструментов должны рассматривать медиа как ненадежный ввод и предотвращать молчаливое изменение цели системы одним кадром или расшифровкой.
Приложения для доступности могут извлечь пользу из эффективного поиска по длинным видео, включая навигацию по записанным лекциям или поиск визуальных демонстраций, плохо описанных в расшифровках. Эти продукты должны предоставлять элементы управления, совместимые с экранными считывателями и клавиатурной навигацией. Более продвинутый механизм поиска не создаёт доступ, если интерфейс для просмотра результатов остаётся трудным в использовании.
Агентное понимание видео является практическим прогрессом, потому что оно решает реальное узкое место: большинство кадров не имеют отношения к конкретному вопросу. Его успех будет зависеть от того, сможет ли модель доказать, что она просмотрела правильные доказательства, а не только от того, использует ли она меньше токенов. Наиболее значимый результат — это меньший счёт, лучший ответ и ясный путь обратно к секундам, которые это оправдывают.
Темы: Google, Gemini, понимание видео, мультимодальный ИИ, эффективность токенов