Технологии
OpenAI перестраивает хранилище ChatGPT для более чем одного миллиарда пользователей
OpenAI подробно описала архитектуру хранения данных для сервиса ChatGPT, обслуживающего более одного миллиарда пользователей и миллионы запросов каждую секунду, показав, как инфраструктура стала ограничением продукта на передовом уровне.
Патрик Т ·
Расширение хранилища OpenAI. OpenAI подробно описала архитектуру хранения, лежащую в основе сервиса ChatGPT, обслуживающего более одного миллиарда пользователей и миллионы запросов каждую секунду, показав, как инфраструктура стала ограничением продукта на передовом уровне. Разработка возникла в инженерном отчете OpenAI, размещая конкретное решение, выпуск или раскрытие за дебатами, которые часто обсуждались в более широких терминах.
Компания заявила, что платформа должна была справляться с быстрым ростом, при этом сохраняя историю разговоров, состояние аккаунтов и низкую задержку доступа по регионам. Дизайн хранения стал неотделимым от надежности потому что ответ модели полезен только тогда, когда окружающий продукт может своевременно получить правильное состояние.
Что изменилось
Инженерные работы указывают на более широкие изменения в соревновании ИИ. Качество моделей по-прежнему имеет значение, но способность к обслуживанию, размещение данных, восстановление после сбоев и стоимость за успешное взаимодействие всё больше определяют, к каким возможностям пользователи фактически могут получить доступ.
Непосредственным следствием является операционное. Компаниям, законодателям и техническим командам теперь необходимо преобразовать объявление в бюджеты, контроль и измеримые результаты. Этот процесс обычно выявляет разрыв между заявлением о продукте и системой, которой можно доверять при реальных нагрузках.
Вопрос реализации начинается после демонстрации продукта. Предприятия должны соединить идентификацию, разрешения, качество данных, мониторинг и человеческое одобрение, прежде чем способная модель станет надежной инфраструктурой. NIST's Рамки управления рисками ИИ предлагают полезный базовый уровень, в то время как рекомендации OWASP охватывают сбои на уровне приложения, которые возникают, когда модели получают инструменты и данные.
Масштаб также поднимает вопросы управления в отношении хранения, удаления и контроля доступа. Системы, построенные для огромной пропускной способности, требуют столь же зрелых инструментов для управления жизненным циклом данных, реагирования на инциденты и запросов пользователей.
Следующее испытание
Следующие доказательства будут получены из реализации, а не из обещаний. Полезная отчетность должна отслеживать, кто получает доступ, какие меры защиты являются обязательными, как раскрываются ошибки и могут ли клиенты или общественность независимо проверить заявленный результат.
Это различие важно, потому что рынки ИИ быстро переходят от объявления к предположению. Как только возможность считается неизбежной, закупки и политика могут опережать доказательства. Дисциплинированная реакция сохраняет видимость возможности, не воспринимая неопределенность как неудобство.
Расширение хранилища OpenAI в конечном итоге будет оцениваться по тому, что изменится вне цикла запуска: выполненная работа, сниженные риски, поглощенные расходы и люди, сохраняющие полномочия, когда система ошибается. Это более медленные показатели, но именно они определяют, будет ли это развитие долгосрочным.
Темы: OpenAI, ChatGPT, хранилище, инфраструктура