Технологии
Google добавляет память Gemini и управляемое зрение в сентябрьское обновление Android
Сентябрьское обновление Android позволяет Gemini запоминать, где пользователи сохраняли важные предметы, и добавляет камеры с описательными функциями для сообществ слепых и слабовидящих. Эти функции показывают, что ИИ переходит от самостоятельного помощника к повседневным функциям операционной системы.
Патрик Т ·
Работа Google Сентябрьское обновление Android добавляет функцию Gemini, которая запоминает, где пользователи хранят важные предметы, и режим визуального контроля с помощью камеры, разработанный совместно с сообществами слепых и слабовидящих. Выпуск также вводит помощь при движении, совместное использование заметок Keep внутри Сообщений и настраиваемые темы чатов. Основная часть — это функции ИИ: Gemini переходит от отдельного общения к функциям памяти, камеры и доступности, на которые люди могут полагаться в повседневной жизни.
Пользователи поддерживаемых устройств на Android 16 и выше смогут попросить Gemini запомнить, где они положили паспорт, запасной ключ или другой неотмеченный объект. Система может сохранить местоположение и необязательное фото в Find Hub, а затем впоследствии найти этот предмет через вопрос или через просмотр сохранённых объектов. Это расширяет возможности программного обеспечения для поиска устройств за пределы подключённых трекеров до информации, которую человек намеренно записывает.
Этот небольшой рабочий процесс делает дизайн памяти осязаемым. Ценность заключается в сохранении информации: Gemini должен удерживать факт после окончания разговора и отображать его в нужном продукте. Сохраняемость также создаёт обязательство по соблюдению конфиденциальности. Список местонахождений ценностей, документов и лекарств может раскрывать чувствительную информацию о доме. Пользователям нужен чёткий обзор того, что было сохранено, как это удалить и какой аккаунт или устройство может получить доступ к этим данным.
Google сообщает, что Guided vision будет использовать совместное использование камеры Gemini Live для описания окружения, чтения мелкого шрифта и помощи в идентификации предметов домашнего обихода. Голосовая обратная связь может попросить пользователя изменить кадр, переместить или центрировать камеру. Эта функция станет доступна на Android 9 и выше в странах, где Gemini доступен, и может быть вызвана через ярлыки доступности, TalkBack или настройки Gemini.
Доступность зависит от честных границ
Google утверждает, что Guided vision может делать ошибки и не предназначен в качестве средства передвижения, навигационной системы или детектора препятствий. Это предупреждение важно, потому что инструмент доступности может использоваться в условиях, где ошибка несет физический риск. Дизайн продукта должен повторять это ограничение в контексте, особенно когда запрос напоминает навигацию, вместо того чтобы полагаться на сноску, которую пользователи прочитывают один раз.
Описания также требуют калиброванной неопределённости. Гораздо безопаснее сказать, что в пакете, по-видимому, содержится конкретный продукт, чем выдавать неуверенный текст за факт. Система должна разделять то, что она прочитала, то, что она сделала выводом, и то, что она не смогла увидеть. Голосовое взаимодействие может усложнять такое различие по сравнению с экраном, поэтому важны лаконичные формулировки и простой способ запросить исходное наблюдение.
Разработка функции с участием слепых и слабовидящих пользователей должна продолжаться после запуска. Лабораторные задачи не могут представить тёмные рестораны, отражающуюся упаковку, необычные углы камеры и нестабильное соединение. Каналы обратной связи должны быть доступными и позволять пользователям сообщать конкретный кадр или ответ, который не сработал, без раскрытия не относящихся к делу изображений. Команда должна публиковать изменения, которые результатом, а не просто собирать анекдоты.
Выбор обработки на устройстве и в облаке будет формировать уровень доверия. Кадры с камеры могут содержать лица, документы и личные пространства. Пользователи должны знать, когда медиа покидает устройство, как долго оно хранится и используется ли оно для улучшения моделей. Доступность не уменьшает права на конфиденциальность. В некоторых условиях она увеличивает необходимость предсказуемого пути обработки.
Find Hub становится персональным слоем памяти
Запомненные элементы отличаются от отслеживаемых устройств. Метка Bluetooth передает сигналы о местоположении. Сохранённая память — это утверждение пользователя, связанное с местом и временем. Система должна показывать, когда была создана память, и облегчать её обновление после перемещения объекта. В противном случае старый ответ может звучать авторитетно именно тогда, когда он наименее полезен.
Найти хаб также становится целью для компрометации аккаунта. Злоумышленник, получивший доступ, может узнать, где хранится паспорт или ключ. Google должен применять сильную аутентификацию к чувствительным данным и позволять пользователям исключать их из широкого поиска через помощника. Удобный запрос на естественном языке не должен ослаблять уже ожидаемые меры контроля за историей местоположений и отслеживанием устройств.
Помощь при движении решает другую сенсорную проблему. На Android 17 пассажир может включить наложение в виде пузыря, которое движется вместе с транспортным средством, уменьшая конфликт между визуальным вниманием на неподвижном экране и ощущением движения телом. Режим может активироваться автоматически и поддерживает изменения формы, цвета и прозрачности. Это хороший пример функции операционной системы, использующей датчики и дизайн интерфейса, а не генеративный выход.
Google также добавляет совместные заметки Keep прямо в Messages и новые темы чатов. Эти дополнения менее значительны, но они демонстрируют стратегический подход. Android интегрирует задачи между приложениями, чтобы пользователю не приходилось менять контекст. Каждая интеграция увеличивает количество разрешений и отношений с данными, которые платформа должна объяснять. Удобство накапливается; так же растет и влияние ошибочного обмена или взломанного аккаунта.
Искусственный интеллект операционной системы игнорировать сложнее
Приложение-ассистент может быть закрыто. Функция памяти в Find Hub или описание камеры в настройках доступности становятся частью операционной системы. Это облегчает распространение, но затрудняет осознанный выбор. Google следует сохранить явную активацию, показывать, где задействован ИИ, и сохранять путь без использования ИИ для основных задач. Пользователям не должно быть необходимо принимать широкую обработку моделей, чтобы использовать несвязанные функции доступности.
Поддержка устройств также повлияет на равенство. Guided Vision доступна для старых версий Android, в то время как запомненные элементы требуют Android 16 или выше, а Motion Assist — Android 17. Наличие оборудования и региональная доступность могут еще сильнее ограничивать доступ. Польза от доступности максимальна, когда она достигает недорогих устройств, языков и сетей, а не только новых телефонов на крупных рынках.
Семьям и опекунам потребуются ограничения учетной записи. Человек может захотеть помощи в настройке Guided Vision, не делясь каждым сохраненным элементом с лицом, предоставляющим поддержку. Android должен отделять управление доступностью от доступа к содержимому и делать порученную помощь временной. Общие устройства создают аналогичные вопросы о том, какой профиль владеет сохраненной памятью и может ли другой пользователь получить ее по голосу.
Поведение в автономном режиме требует четкого регулирования. Пользователю может понадобиться сохраненный элемент или визуальное описание в месте с слабым соединением. Интерфейс должен указывать, какие функции требуют облачного доступа и что остается доступным локально. Ошибка не должна звучать так, будто элемент не существует, когда на самом деле проблема в том, что сервис не может получить доступ к сохраненной памяти.
Обновления безопасности должны достигать старых устройств, поддерживаемых системой Guided vision. Широкая совместимость ценна только в том случае, если обработка камеры и доступ к аккаунту остаются защищенными. Google и производители устройств должны объяснять минимальные требования к безопасности и не оставлять пользователей наедине с выбором между функцией доступности и неподдерживаемой операционной системой.
Эта функция также может обучать более широкий продукт Gemini взаимодействовать в условиях неопределенности. Управление камерой, описание объектов и извлечение информации из памяти требуют кратких ответов, которые показывают уверенность и источник. Уроки из области доступности должны переноситься в общего помощника, а не оставаться изолированными в одном режиме. Пользователи повсюду выигрывают, когда система сообщает, что она увидела и что сделала из этого вывод.
Обновление сентября скромно по сравнению с запуском модели, но оно показывает, где внедрение ИИ становится долгосрочным. Gemini прикрепляется к функциям запоминания, наблюдения и извлечения информации, а не ждет, пока пользователь откроет чат-бота. Эти функции действительно могут быть полезными, когда границы видны, а сохраненные данные остаются под контролем пользователя. Показателем успеха является не то, как часто появляется Gemini, а то, могут ли люди полагаться на эту функцию и при этом понимать, что знает телефон.
Темы: Google, Android, Gemini, Guided vision, доступность