Этика
OpenAI запустила ChatGPT Health для пользователей из США, пока медицинский ИИ переходит к работе с персональными данными
OpenAI сделала ChatGPT Health доступным для взрослых пользователей из США, интегрируя подключённую медицинскую информацию в ChatGPT и поднимая новые вопросы о медицинских советах, контроле конфиденциальности и клинической ответственности.
Майкл С.
OpenAI переместил ChatGPT глубже в сферу потребительского здравоохранения, запустив ChatGPT Health для пользователей из США старше 18 лет по всем планам и предоставив людям возможность подключать личную медицинскую информацию чтобы чат-бот мог помочь им понять и ориентироваться в вопросах здоровья. Компания объявила о запуске 23 июля, заявив, что функция может использовать одобренный пользователем контекст здоровья, включая подключенные приложения и данные носимых устройств, предоставляя пользователям инструменты для просмотра, обновления и управления тем, что знает ChatGPT. Это запуск продукта, но это также проверка управления. Здоровье — это область, где полезный ответ может быстро превратиться в инструкцию с высоким риском, и где удобство зависит от того, понимают ли пользователи, какие данные они предоставляют и на что система не имеет права принимать решения.
TechCrunch сообщил, что более широкое распространение следует за ранее проведённым тестированием специального медицинского хаба и совпадает с ростом использования ChatGPT для вопросов, связанных со здоровьем, с 230 миллионов до 300 миллионов запросов в неделю, по данным, предоставленным OpenAI этому изданию. В том же отчёте отмечалось, что запуск произошёл через день после того, как пастор из Флориды подал в суд на OpenAI по поводу якобы опасного медицинского совета. OpenAI не признала это требование, и дело должно рассматриваться как утверждение до тех пор, пока оно не будет проверено в суде. Временные рамки всё же подчёркивают, почему эта категория продуктов привлекает внимание. Когда универсальный помощник становится местом, где люди спрашивают о симптомах, лекарствах и решениях по уходу, граница между информацией и советом должна быть чёткой.
OpenAI утверждает, что функция может подключаться к сервисам, таким как Apple Health, Function, и MyFitnessPal, который дает помощнику более конкретное представление о действиях человека, анализах, питании и других записях, чем отдельный запрос. Это может сделать ответы более полезными, но также повышает риск недопонимания. Чат-бот, который знает уровень отдыха сердца пользователя, тенденции сна или показатели анализов, может звучать более авторитетно, чем обычный результат поиска. Поэтому продукт должен делать больше, чем просто отвечать. Он должен указывать на ограничения данных, спрашивать, когда информация отсутствует, и удерживать низкий порог для советов пользователю обратиться к врачу.
С конфиденциальности вопрос отличается от вопроса качества медицинских услуг. Пользователь может дать согласие на подключение медицинских данных, потому что это облегчает разговор, но согласие имеет смысл только тогда, когда управления понятны и обратимы. OpenAI утверждает, что Health в ChatGPT создан с учетом конфиденциальности, безопасности и контроля, и говорит, что пользователи могут управлять соответствующими медицинскими данными. Настоящим испытанием будет то, смогут ли люди определить, какая информация повлияла на ответ, смогут ли удалять устаревшие или неверные данные и будут ли конфиденциальные записи изолированы от персонализации продукта или процессов улучшения модели, не связанных с ними.
Врачи также познакомятся с запуском через историю регулирования цифрового здравоохранения. В Соединенных Штатах, HIPAA регулирует подведомственные организации и деловых партнеров, а не каждое потребительское медицинское приложение или общую технологическую услугу. Федеральная торговая комиссия отдельно применял правила, касающиеся обмена данными медицинских приложений и уведомлений о нарушениях. Это разделение важно, потому что потребитель может предположить, что все медицинские данные получают одинаковую юридическую защиту, как только они становятся медицинскими по своей природе. На практике защита зависит от услуги, отношений и способа сбора и использования данных.
Самым сильным аргументом в пользу ChatGPT Health является доступ. Люди уже ищут симптомы, сравнивают результаты анализов и пытаются понять запутанные выписки. Разговорная система, которая может читать предоставленный пользователем контекст и объяснять его простым языком, могла бы уменьшить сложности и помочь пациентам задавать лучшие вопросы. Она также могла бы помочь опекунам организовывать информацию, разбросанную по различным порталам и приложениям. Это реальные преимущества, особенно для пользователей, которым трудно ориентироваться в системах здравоохранения.
Риск заключается в чрезмерной уверенности. Клиника Майо и другие медицинские учреждения регулярно предупреждают пациентов о том, что информация в интернете не должна заменять профессиональную медицинскую помощь. ИИ делает это предупреждение труднее реализуемым на практике, потому что он может дать прямой, персонализированный ответ спокойным голосом. Поэтому медицинский помощник должен сохранять элемент неопределённости в самом языке ответа. Не следует прятать оговорку внизу страницы или полагаться на одноразовое предупреждение.
Запуск также изменяет нагрузку на разработку продукта. В обычном использовании ChatGPT пользователь может понимать, что система помогает с написанием текстов, исследованиями или планированием. В области здравоохранения та же чат-платформа может содержать описание симптомов, данные носимого устройства, результаты лабораторных анализов и вопрос, который звучит буднично, но несет медицинский риск. Ответ должен замедлить пользователя, когда ситуация этого требует. Это означает выявление признаков экстренной ситуации, вопросы о недостающем контексте и оформление передачи к профессиональной помощи как части ответа, а не юридической оговорки.
Собственная концепция OpenAI ставит контроль в руки пользователя, но пользовательский контроль не сводится к одному переключателю. Он включает понимание того, что было подключено, что было запомнено, что можно удалить и использует ли ассистент текущие данные или информацию, которую пользователь предоставил недели назад. Медицинская информация быстро устаревает. Изменяется лекарство, результат анализа становится недействительным, диагноз исключается или носимое устройство фиксирует искаженную неделю из-за болезни пользователя. Полезный ассистент должен уметь отличать долговременный медицинский контекст от временных сигналов.
Также существует вопрос клинического рабочего процесса. Если ChatGPT Health станет местом, где пользователи готовятся к приёмам, обобщают симптомы и организуют записи, врачи могут начать получать более подготовленных пациентов. Они также могут начать получать сводки, созданные ИИ, которые скрывают неопределённость или подчеркивают неправильные детали. Это может сэкономить время или создать новую работу, в зависимости от того, насколько прозрачно помощник сообщает о том, что он сделал вывод, а что просто повторил. Продукт для пациентов всё равно может повлиять на день клинициста, даже если сам клиницист никогда в него не входит.
Компания выходит на рынок, где доверие формируется медленно. Цифровые медицинские продукты часто привлекают внимание удобством и теряют его из-за неясных практик работы с данными, ненадежных рекомендаций или преувеличенных заявлений. У OpenAI есть преимущество, потому что многие люди уже знают, как использовать ChatGPT. У нее также есть недостаток, так как широкая компетентность ChatGPT может заставить пользователей забыть, что здоровье не ограничивается одной областью. Дерматология, безопасность лекарств, психическое здоровье, управление хроническими заболеваниями, беременность и экстренная сортировка — все это требует разных стандартов доказательности и порогов риска.
Тщательная реализация предполагает, что эскалация рассматривается как ключевая функция. Ассистент должен уметь сказать, что вопрос выходит за рамки его роли, что определенный симптом требует срочной оценки, или что значение лабораторного анализа невозможно интерпретировать без учета возраста, пола, приема лекарств, истории болезни и клинического контекста. Он также должен уметь объяснить, почему задаются уточняющие вопросы. Этот вид трения может сделать продукт менее волшебным, но именно он отличает помощника в области здравоохранения от машины для уверенных догадок.
Контекст страхования и работодателя также будет иметь значение. OpenAI запускает продукт для потребителей в США, а не объявляет о страховом или корпоративном продукте в рамках этого запуска. Тем не менее, пользователи естественным образом будут спрашивать, может ли информация о здоровье, связанная с общим помощником, когда-либо влиять на страхование, рекламу, трудоустройство или другие решения. Самый безопасный ответ для любого продукта в этой категории — это не только обещание в политике. Это пользовательный опыт, который четко демонстрирует границы и позволяет людям проверять их перед подключением чувствительных источников.
Более широкая индустрия ИИ будет наблюдать за этим запуском, потому что здравоохранение является проверкой достоверности для специализированных ассистентов. Если OpenAI сможет сделать разговоры о здоровье более организованными, не скатываясь при этом в небезопасные советы, модель может быть расширена на другие регулируемые или полурегулируемые сферы. Если у нее возникнут трудности, регуляторы и конкуренты воспримут это как доказательство того, что общие ассистенты требуют более строгих ограничений, прежде чем их будут допускать к решениям с серьезными последствиями. Следовательно, ставки выходят за рамки одной страницы функций.
Для пользователей практический подход является консервативным. Подключайте только ту информацию, которая действительно улучшает использование, проверяйте элементы управления перед тем, как полагаться на помощника, и рассматривайте ответы как подготовку к медицинским беседам, а не как их замену. Продукт всё ещё может быть ценным при таком подходе. Хорошему медицинскому помощнику не обязательно ставить диагноз. Он может помочь человеку объяснить симптомы, перечислить лекарства, понять документацию, сравнить вопросы для врача и заметить, когда у него недостаточно информации для принятия решения.
OpenAI также придется управлять тем, как функция ведет себя, когда пользователи требуют уверенности в том, чего медицина дать не может. Многие вопросы о здоровье имеют вероятностный характер. Один и тот же симптом может иметь несколько причин. Нормальное значение может быть обнадёживающим в одном контексте и неполным в другом. Чатбот, обученный быть полезным, может быть склонен упорядочить неопределённость в чёткий ответ. В здравоохранении чёткие ответы могут вводить в заблуждение, если они убирают ту неопределённость, которая должна направлять следующий вопрос или следующий визит к врачу.
Слой подключенного приложения делает эту проблему острее, потому что цифры несут в себе авторитет. Количество шагов, тенденция уровня глюкозы, оценка сна, изменение веса или результат лабораторного анализа могут выглядеть объективными, но им всё равно нужна интерпретация. Устройства могут ошибаться, быть неполными или измерять показатель-посредник. Люди могут менять свои привычки по причинам, которые данные не фиксируют. Поэтому помощник по здоровью должен объяснять, что может и чего не может показать число. Он не должен воспринимать каждую диаграмму как клинический сигнал.
Использование в семейных целях станет еще одной точкой давления. Опекуны часто помогают родителям, детям, супругам и родственникам справляться с медицинскими документами. Личный помощник, который может организовать записи, может быть полезен в таких ситуациях, но совместный уход создает проблемы с согласием. Учётная запись одного человека может содержать информацию другого человека. Записи могут включать детали, которые пациент не намеревался распространять широко. Контролирующие механизмы OpenAI должны быть достаточно понятными для обычных семей, а не только для специалистов по конфиденциальности.
Запуск также проверяет, как OpenAI справляется с исправлениями. В области здравоохранения исправленный ответ — это не просто лучший ответ. Это запись того, что изменилось. Если система обновляет своё понимание состояния пользователя, пользователь должен иметь возможность увидеть это изменение и узнать, будут ли будущие ответы опираться на новую информацию. Тихое изменение контекста может быть удобным в инструменте для письма. В медицинских разговорах молчаливые изменения контекста могут вызывать путаницу.
Компания может снизить риск, делая неопределенность ассистента видимой в обычном языке. Вместо того чтобы просто говорить пользователям, что им следует обратиться к специалисту, она может указывать, какие части ответа являются общим образованием, какие части зависят от данных пользователя, и какие части требуют клинического суждения. Такой уровень ясности не является препятствием для использования. Наоборот, это причина, по которой люди, нуждающиеся в помощи, но не желающие, чтобы чат-бот делал вид, что он врач, могут доверять функции здравоохранения.
Для OpenAI этот запуск расширяет более широкую инициативу по созданию специализированных ChatGPT-платформ. Здравоохранение — это большой потребительский рынок, но он менее снисходителен, чем помощь в написании текстов или планирование путешествий. Компания сможет сделать эту функцию полезной только в том случае, если будет рассматривать медицинский контекст как доказательную основу, требующую осторожного обращения, а не как средство для улучшения подсказок. Первый вопрос для пользователей прост: помогает ли помощник им лучше понимать свое здоровье, при этом ясно показывая, когда следующий шаг должен предпринимать профессионал. Если ответ утвердительный, ChatGPT Health может стать практическим входом к персональной медицинской информации. Если нет, он станет еще одним примером AI-продукта, который внедряется в чувствительную область быстрее, чем можно заслужить доверие.
Темы: OpenAI, ChatGPT Health, медицинский ИИ, конфиденциальность