Исследование
Исследователи Anthropic показали, что автоматизированные системы могут улучшать обучение выравниванию на десяти бенчмарках
Исследователи Anthropic сообщили, что автоматизированные исследовательские системы улучшили поведение моделей на десяти бенчмарках выравнивания без снижения общей производительности. Эксперимент указывает на то, что части послетренировочного исследования могут быть автоматизированы, при этом подчеркивая, что дизайн бенчмарков по-прежнему определяет, чему система обучается оптимизировать.
Майкл Г ·
Исследователи компании Anthropic сообщили, что автоматизированные исследовательские системы улучшили поведение моделей по десяти показателям согласованности, не снижая общую производительность в проведённых ими тестах. Этот результат является доказательством того, что части исследований после обучения можно организовать как агентный цикл: изучать предыдущие работы, предлагать вмешательство, кратко обучать, оценивать результат и сохранять подходы, которые показывают наилучшие результаты. Это значимый результат автоматизации исследований. Это не является доказательством того, что система ИИ может улучшать себя без цели, заданной человеком, экспериментальной среды или эталонного теста.
Проект, возглавляемый научным сотрудником Anthropic Чен Юе-Ханом, описан в статье Anthropic под названием «Автоматизированные исследователи могут надежно снижать ошибки согласования». Каждый автоматизированный исследователь по согласованию изучал доступную литературу, выбирал метод и проводил тренировочный эксперимент примерно на 30 минут. Система повторяла этот цикл, сохраняя эффективные методы и отбросив слабые. Согласно статье, этот процесс улучшил все десять целевых поведений, при этом сохранив более широкие показатели производительности в проведенной оценке.
Подход имеет значение, потому что пост-тренировка включает множество задач, которые требуют больших затрат человеческого внимания, но относительно структурированы. Исследователи сравнивают методы, настраивают рецепты, запускают контролируемые задания и интерпретируют метрики. Агент, который может выполнить больше таких циклов, может исследовать большее экспериментальное пространство, чем маленькая команда может себе позволить. Заявленное преимущество не в таинственном интеллекте. Оно заключается в параллельной, недорогой итерации в тщательно подготовленной среде, где эксперименты короткие и результаты можно оценить.
Эталон определяет задачу
Центральное ограничение такое же, как и для любой системы оптимизации, основанной на эталонах: успех так же полон, как и измерение. Согласование ИИ в широком смысле относится к приведению поведения системы в соответствие с намеренными целями и ограничениями. Набор из десяти тестов может показать, улучшились ли конкретные ошибки, но он не может отразить все возможные способы поведения модели при эксплуатации. Если важная ошибка отсутствует в оценке, у автоматизированного исследователя нет причин найти её или исправить.
Это не делает результат тривиальным. A бенчмарк полезен, когда он достаточно стабилен для сравнения методов и достаточно широк, чтобы препятствовать узкой эксплуатации. Сообщалось, что система улучшала каждый целевой показатель без наблюдаемого снижения общей производительности, что предполагает, что она не просто меняла одно измеряемое поведение на другое в тестируемой среде. Репликация потребует изучения того, как результаты изменяются в разных семействах моделей, при большем бюджете обучения и на контрольных точках, которые менее напрямую связаны с тестируемыми вмешательствами.
Anthropic заявила, что её лучший автоматизированный метод в среднем превосходит идеи, предложенные опытными человеческими исследователями, в течение шести часов. Сравнение впечатляет, но его масштаб имеет значение. Человеческие исследователи создавали среду, предоставляли научную литературу, выбирали цели и определяли, как будет оцениваться успех. Автоматизированная система затем производила поиск внутри этих границ. Она может быть лучше в быстром эмпирическом отборе, не будучи при этом лучше в выборе, какая проблема безопасности заслуживает внимания, или в распознавании того, когда само измерение вводит в заблуждение.
Сравнение стоимости уточняет операционный аргумент. В статье оценивалась приблизительно $4 в час на работу API для автоматизированного исследователя по сравнению с $150 в час, которые платят человеческим исследователям. Эти цифры не включают все сопутствующие расходы, включая вычисления для тренировочных запусков, разработку оценки и экспертный обзор. Даже с этими оговорками, дешевые параллельные агенты могут изменить экономику посттренировочного процесса, позволяя командам провести больше экспериментов с методами до того, как будет использовано ограниченное человеческое время.
Автоматизация меняет очередь исследований
Постобучение уже включает обучение с подкреплением, контролируемую донастройку и рабочие процессы оптимизации предпочтений, которые зависят от повторной оценки. Инструменты, такие как открытая библиотека TRL, упростили воспроизведение некоторых частей этой структуры. Автоматизированные исследователи добавляют еще один уровень, решая, какой метод попробовать следующим. Практическую пользу можно получить, обрабатывая рутинные поиски и абляции, оставляя людям исследование неоднозначных результатов, создание более надежных оценок и принятие решения о том, соответствует ли измеренное улучшение более безопасному поведению.
Та же автоматизация может создавать новые виды сбоев. Агент может найти кратчайший путь в бенчмарке, переобучиться на узком поведении или создать тренировочный рецепт, эффект которого трудно объяснить. Проведение множества экспериментов также увеличивает количество артефактов, которые необходимо отслеживать. Для воспроизводимости требуются полные записи о подсказках, коде, версиях моделей, наборах данных, случайных исходных значениях и настройках оценки. Без этой происхождения, дешевый поиск метода может дать результат, который выглядит эффективным, но не может быть проверен или безопасно перенесен.
Некоторые наблюдатели описывают работу как шаг к рекурсивному самосовершенствованию, в которых системы ИИ способствуют тому, чтобы последующие системы становились более способными. Это разумная долгосрочная связь, но она может затемнить то, что произошло здесь. Исследователи автоматизировали ограниченный рабочий процесс согласования, а не весь процесс выбора архитектур, сбора данных, обеспечения вычислительных мощностей, оценки социальных последствий и принятия решения о выпуске модели. Каждое из этих решений по-прежнему зависит от институтов и людей за пределами экспериментального цикла.
Наиболее сильная интерпретация в ближайшей перспективе более узкая и полезная. Автоматизированные исследовательские агенты могут стать множителями силы для команд, у которых есть ясные цели и надежные методы оценки. Они могут проверять больше гипотез, выявлять взаимодействия и сокращать время между идеей и доказательством. Их результаты следует рассматривать как работу быстрого младшего исследователя: ценные, когда процесс можно проверить, опасные, когда скорость принимается за суждение.
Следующее испытание — обобщение
Независимое воспроизведение должно проверить, сохраняются ли достижения, когда автоматизированные исследователи сталкиваются с незнакомыми моделями и скрытыми оценками. Система, которая улучшается только на тех бенчмарках, которые она может повторно проверять, может оптимизировать тест, а не базовое поведение. Более сильные доказательства появятся при проведении вмешательств, выбранных на одном наборе задач, которые улучшают отдельные оценки, разработанные другой командой. Это усложнило бы циклу исследований успешное использование специфических для измерений обходных путей.
Авторы оценки могут усилить этот тест, удерживая части процесса оценки и чередуя задания после того, как методы выбраны. Они также могут искать поведенческие регрессии за пределами целевого набора, включая изменения, которые трудно обобщить в одной совокупной оценке. В сообщаемом исследовании не было обнаружено общего ухудшения по его показателям, но более широкая работа красной команды могла бы выявить компромиссы, которые основной эталон пропустил. Автоматизированные эксперименты должны увеличивать спрос на независимую оценку, а не снижать его.
Бюджеты вычислений могут изменять результат при масштабировании. Тридцатиминутные тренировки позволяют быстро проводить итерации, в то время как полное обучение модели переднего края может требовать более дорогих заданий и более длинных циклов обратной связи. Автоматический исследователь, который хорошо показывает себя в коротких экспериментах, может выбирать по-другому, когда каждая его решение несет гораздо большие затраты. Будущие исследования должны проверить, сможет ли система распределять фиксированный бюджет между дешевыми пробами и меньшим числом высоконадежных запусков, не тратя вычислительные ресурсы на шумные сигналы.
Доступ к литературе создаёт ещё одну границу. Исследовательский агент может повторно использовать только те методы, которые описаны в материалах, которые он может получить и интерпретировать. Новые сбои в безопасности могут требовать новых концепций, а не комбинации известных техник. Человеческие исследователи остаются ответственными за то, чтобы замечать, когда существующая литература некорректно формулирует проблему или упускает социальный контекст, который невозможно отразить в функции потерь при обучении. Автоматизация наиболее эффективна там, где научный вопрос уже представлен системе в понятной форме.
Руководство должно различать агента, предлагающего эксперимент, и агента, одобряющего развертывание полученной модели. Первый может работать в изолированной среде, подвергаться журналированию и проверке. Второй изменяет границы безопасности производственной системы и должен оставаться под независимым утверждением. Сохранение этого разделения предотвращает давление на эффективность, которое может позволить одному и тому же автоматизированному процессу создавать метод, оценивать его успех и выпускать его без внешней проверки.
Границы безопасности вокруг исследовательской среды будут иметь значение по мере того, как агенты станут более способными. Поиск литературы, выполнение кода и обучение моделей создают пути к внешним системам и конфиденциальным объектам. Командам следует изолировать эксперименты, ограничивать учетные данные и проверять сгенерированный код перед его доступом к общей инфраструктуре. Автоматизация работы по согласованию будет саморазрушительной, если исследовательский агент создаст риск цепочки поставок или утечки данных, который оценка никогда не измерила.
Нормы публикации могут помочь отрасли отделять воспроизводимый прогресс от громких преувеличений. Публикация определений эталонов, подсказок, трасс выбора методов и неудачных запусков позволит другим группам изучить, где автоматизация принесла пользу. Некоторые детали могут потребоваться скрыть, если они раскрывают опасные возможности, но результат, который нельзя проверить, должен иметь меньший вес при принятии решений по безопасности. Скорость автоматизированного рабочего процесса делает документацию более важной, потому что больше решений принимается без постоянного наблюдения человека.
TechCrunch представил проект как ранний взгляд на самоулучшающийся ИИ, что отражает его стратегический интерес, но не полностью охватывает его границы. Работа показывает, что эксперименты с поддержкой моделей становятся практичными и недорогими хотя бы в одной из областей согласования. Нерешённый инженерный вопрос заключается в том, смогут ли люди улучшать оценки и наблюдение так же быстро, как автоматизированные системы совершенствуются относительно них. Если измерение отстанет от поиска, процесс исследований станет быстрее, но не обязательно безопаснее.
Темы: Anthropic, согласование ИИ, автоматизированные исследования, посттренинг, бенчмарки