Запуск GLM-5.3-Flash локально на 128 ГБ ОЗУ

Итог

GLM-5.3-Flash внезапно не стал обычной моделью для ноутбука. Но примерно 120 ГБ 3-битного GGUF превращают 320B-совокупную, 18B-активную мультимодальную модель в приватный, локально управляемый эксперимент по кодированию и агентам на серьёзном оборудовании с 128 ГБ памяти. Это кандидат для тестирования, а не проверённое развертывание на 128 ГБ; поддержка во время работы, нагрузка на ОЗУ, диск, скорость и квантизация всё ещё требуют проверки.

Источники проверены 28 октября 2026 года. Это обновление подтверждает документацию, размеры файлов квантования и записи поддержки во время работы. Мы не загружали веса и не запускали вывод; процедура ниже — предложенная оценка, а не заявленная успешная проверка.

Модель с 320 миллиардами параметров, на которую вы вполне можете указывать свои собственные файлы без отправки их в API, — это реальное изменение в разговоре о локальном ИИ. Ее также легко неправильно понять.

Репозиторий Unsloth руководство по локальному развертыванию описывает 3-битный путь для машин с 128 ГБ памяти. Его текущая таблица требований указывает диапазон общей памяти 128–150 ГБ для 3-битных вариантов, подсчет RAM плюс VRAM или объединенной памяти. Это руководство от производителя, а не наше измерение рабочей станции с 128 ГБ.

Практический вопрос в том, подходят ли выбранная вами квантизация, время выполнения и контекст друг к другу на вашей машине.

Во-первых: это разреженная модель, а не плотная модель на 320B.

Z.ai описывает GLM-5.3-Flash как изначально мультимодальную модель смеси экспертов с 320B общих параметров, но 18B активных параметров. В разреженной MoE модель не активирует каждого эксперта для каждого токена. Это снижает вычислительные затраты при выводе по сравнению с плотной моделью того же общего размера; это не делает полные веса исчезающими из памяти.

Базовая модель также использует гибридное разреженное и линейное внимание, которое, по словам Z.ai, предназначено для снижения стоимости обслуживания длинного контекста. Теоретически она поддерживает контекстное окно в миллион токенов, управляемую вычислительную нагрузку и ввод текста с изображением. См. официальную карточку модели для архитектуры, поддерживаемых сред выполнения и настроек оценки.

Поэтому оба утверждения могут быть верны:

GLM-5.3-Flash может вести себя больше как задача с активными вычислениями на 18 млрд параметров при генерации токена.
Тем не менее, вам все еще нужно много памяти, чтобы хранить полезное локальное представление всей модели.

Что на самом деле Unsloth сделал меньше

Репозиторий Unsloth GGUF содержит несколько уровней квантизации. Файлы с 3-битной квантизацией UD-IQ3_XXS в сумме занимают около 120,4 ГБ по десятичной системе (примерно 112.1ГиБ) до того, как ваша операционная система, среда инференса, кэш контекста или другие приложения получат свою долю.

Опция GGUF	Загрузка файлов модели	Что это значит
UD-IQ1_S	~93.1 ГБ	Наименьшая нагрузка на память, с наибольшим ожидаемым риском качества
UD-IQ3_XXS	~120.4 ГБ	Путь, опубликованный Unsloth, «3-бита на 128 ГБ ОЗУ»
UD-IQ4_XS	~156.8 ГБ	Более высококачественное направление, которое явно требует больше запаса

28 октября список файлов репозитория подтверждает четыре фрагмента UD-IQ3_XXS общей емкостью 120 367 571 840 байт. Скачайте каждый фрагмент этой квантизации; один фрагмент не является меньшей автономной моделью. Это суммарные размеры файлов модели, а не обещание плавного выполнения на машине с точно таким объемом установленной памяти.

128 ГБ — это заголовок минимального объема, а не число для планирования емкости. Mac с 128 ГБ объединённой памяти или Linux-станция с большим объёмом ОЗУ могут подойти для ограниченного теста, но запас должен покрывать время выполнения, метаданные модели, операционную систему и особенно KV-кэш, который растёт с контекстом. Долгая сессия агента может превратить «загрузилось» в свопинг, ошибку недостатка памяти или болезненно медленную генерацию.

Если вы покупаете оборудование, оставьте запас. Если у вас уже есть 128 ГБ, начните с короткого теста контекста, а не с миллион-токенного бенчмарка.

Локальный больше не значит маленький

На протяжении многих лет «локальная модель» в основном означала выбор между отзывчивой моделью 7B–32B и гораздо большей удалённой моделью. Этот релиз меняет ситуацию. Серьёзная локальная установка теперь может экспериментировать с разреженной, мультимодальной моделью, чей разработчик публикует показатели кодирования и агентской активности на уровне передовой технологии.

Z.ai утверждает, что GLM-5.3-Flash приближается к Claude Opus 4.8 по некоторым оценкам кодирования и агентных задач, включая DeepSWE, Terminal-Bench и другие тесты использования инструментов. Примечания бенчмарков в карточке модели здесь необычайно важны: несколько оценок используют длинные тайм-ауты, большие контексты и конкретные интерфейсы или судьи. Это сравнения, предоставленные производителем, а не гарантия того, что локальная 3-битная квантизация даст тот же результат.

Квантизация меняет вопрос с «смогу ли я её загрузить?» на «по-прежнему ли она решает мою задачу?» Модель может сохранять достаточно общих возможностей, чтобы отлично работать в чате, и при этом терять надежность в сложном многошаговом кодировании, вызовах инструментов, редких языках или извлечении информации из длинного контекста.

Это не причина отклонять выпуск. Это причина тестировать её как оператор.

Локальный стек все еще движется

В карточке модели Unsloth указано использовать её настольное приложение или связанный pull request llama.cpp для этого семейства моделей. Официальная карточка Z.ai также перечисляет SGLang, vLLM, TokenSpeed, Transformers, KTransformers и Unsloth как возможные пути развертывания.

Этот список полезен, но он не взаимозаменяем:

Настольные приложения GGUF упрощают проведение первого личного эксперимента.
Runtimes в стиле llama.cpp являются практическим решением для одной локальной рабочей станции, но поддержка недавно выпущенной архитектуры может отставать или быстро меняться.
vLLM и SGLang более естественны для обслуживания на Linux и ускорителях, а не автоматически правильный ответ для личной машины с 128 ГБ.
Облачное API всё ещё выигрывает, когда вам нужна предсказуемая производительность, огромный контекст, команды или отсутствие обслуживания оборудования.

Правильная метрика успеха — это не скриншот таблицы лидеров. Это то, выполняет ли модель задачу, важную для вас, в рамках вашей памяти, задержки и требований к приватности.

Проверьте время выполнения перед скачиванием 120 ГБ

Старая ссылка поддержки требует контекста: llama.cpp PR #27754 был закрыт без слияния 1 октября 2026 года, согласно записи PR на GitHub. Это не доказывает, что каждый текущий рантайм не поддерживает это. Однако это означает, что данный PR не является доказательством того, что его реализация была выпущена в upstream релизе.

Руководство Unsloth по-прежнему документирует его glm5next/upstream ветку и Desktop маршрут. Перед выбором сборки проверьте фактическую поддержку архитектуры модели и зафиксируйте версию или коммит. Не следует считать, что стандартная загрузка приложения или знакомый формат API гарантирует совместимость.

Для воспроизводимого запуска сохраните ревизию репозитория модели, имя квантизации, имена файлов шардов, версию рантайм, backend, лимит контекста и настройки рассуждений. Z.ai документирует reasoning_effort значения low, high и max, с max по умолчанию. Держите этот выбор явным при сравнении запусков; ограниченный бюджет ответа может усечь ответ с большим объемом рассуждений. Карта также рекомендует clear_thinking=true для чата. Подтвердите, как ваша среда выполнения передает эти настройки шаблона, прежде чем их менять.

Разумный первый тест

Начните с официальных файлов и поддерживаемой среды выполнения. Не смешивайте случайные файлы квантования из сообщества, шаблоны и форки для инференса в первый день.
Используйте небольшой предел контекста. Установите стабильный первый запуск, прежде чем платить за огромный кэш KV.
Дайте задаче ограниченные рамки. Одно воспроизведение ошибки, одно объяснение репозитория или одно преобразование приватного документа — не «постройте автономную компанию».
Логируйте токены в секунду, пиковую память и сбои. «Он ответил» не является оценкой.
Проведите A/B тестирование на вашей текущей облачной модели. Оценивайте корректность и время на исправление, а не стиль.

Используйте ограниченную задачу с ответом, который вы можете проверить.

После подтверждения поддержки среды выполнения используйте новый чат только с текстом и небольшим лимитом контекста, например 4 096 токенов, если среда выполнения это поддерживает. Это предлагаемый стартовый бюджет, а не проверенный минимум. Зарезервируйте достаточно пространства для вывода как для рассуждений, так и для окончательного ответа. Начинайте без инструментов, внешних соединений или приватных файлов.

Просмотрите эту функцию на Python. Не выполняйте команды и не редактируйте файлы.
Верните исправленную функцию и три утверждения, охватывающие пустой список,
положительная сумма и отрицательная сумма. Объясните ошибку в одном предложении.

def total(values):
    result = 0
    for value in values:
        result = value
    return result

Исправление должно накапливаться с помощью result += value. Проверьте, что предоставленные утверждения охватывают запрошенные случаи и проходят проверку после просмотра кода в отдельной рабочей директории. Успешное выполнение устанавливает только эту узкую текстовую задачу. Оно не подтверждает редактирование репозитория, понимание изображений или надежное использование инструментов.

Сохраните полный ответ, затраченное время, количество токенов по данным выполнения, пиковое использование памяти, изменение swap и любые ошибки. Используйте монитор памяти операционной системы вместе с журналом выполнения; укажите, измеряет ли фигура память процесса, GPU или всю систему. Оставьте недоступные измерения пустыми, а не оценивайте их. Повторите в трёх новых сессиях с теми же настройками и сообщите количество принятых ответов из трёх.

Только после этого подключите агента в временном репозитории. Попросите его прочитать один файл, предложить один патч и выполнить один известный тест, с одобрением перед записью или выполнением команд. Проверьте аргументы инструмента, фактическую разницу и вывод теста. Модель, которая правильно объясняет исправление, всё ещё может выдавать непригодные вызовы инструментов.

Восстановление после первой ошибки

Симптом	Далее проверьте
Неизвестная архитектура модели или ошибка загрузки	Подтвердите, что среда выполнения поддерживает этот контрольный пункт и что все четыре соответствующих шарда присутствуют; зафиксируйте точную ошибку перед сменой сборки.
Истощение памяти или постоянная подкачка	Остановите выполнение, уменьшите контекст и параллелизм и повторите один запрос. Если он все еще не удается, рассмотрите возможность меньшей квантизации или увеличения памяти; повторно проверьте качество.
Ответ обрывается на середине мысли	Проверьте предел вывода и настройки рассуждений, прежде чем считать усечение неправильным ответом.
Чат работает, но инструменты агента не работают	Проверьте шаблон чата и формат вызова инструментов. Поддерживайте выполнение команд отключенным, пока безопасный тестовый обход инструмента не сработает.
Медленное создание хотя загрузка прошла успешно	Проверьте выбор бекенда, разгрузку на ЦП/ГП и нагрузку на память. Только размер файла не может предсказать пропускную способность.

Гарантирует ли локальное инферирование работу приватного агента?

Нет. Проверьте выбранную конечную точку модели и любые удалённые резервные варианты, инструмент веб-поиска, коннектор или конфигурацию телеметрии отдельно. Локальные веса описывают, где может выполняться инферирование; они не доказывают, что каждая часть рабочего процесса агента остаётся на машине. Для любого сравнения с облаком используйте публичный эталон.

Достаточно ли 128 ГБ для заявленного контекста на миллион токенов?

Заявление о 128 ГБ этого не доказывает. Хранение весов, распределения во время выполнения и состояние контекста делят доступную память. Увеличивайте контекст только после измерения стабильного запуска с малым контекстом и записывайте каждую новую конфигурацию отдельно.

Используйте урок на оценка моделей с открытым весом чтобы определить, соответствует ли измеренный локальный результат требованиям вашей задачи.

Источники

Проверено 28 октября 2026 г. Документация издателя и метаданные репозитория; локенный эталонный тест не проводился.

Запустите это в работу

Отдельно учитывайте размер файла модели, активные параметры, затраты памяти, длину контекста и количество токенов в секунду перед выбором локального оборудования.

Попробовать

Проверьте время выполнения и все четыре фрагмента UD-IQ3_XXS, затем попытайтесь выполнить тест текста с коротким контекстом перед подключением инструментов агента.

Докажите, что это сработало

Выполните ту же задачу с реальным репозиторием через вашу облачную модель и локальную установку GLM, затем сравните коэффициент выполнения, время, требования к конфиденциальности и общую стоимость.

Держите в поле зрения

Unsloth опубликовал квантования GGUF для GLM-5.3-Flash, включая вариант 3-бит UD-IQ3_XXS суммарным размером около 120 ГБ файлов модели.
GLM-5.3-Flash — это смесь экспертов с общим количеством параметров 320B и 18B активных параметров на токен, а не плотная модель с 320B параметров.
Модель технически можно запустить локально, но 128 ГБ ОЗУ — это скорее минимальный порог, чем комфортная рекомендация, если учитывать накладные расходы времени выполнения и кэш контекста.
Официальные сравнительные показатели — это данные, предоставленные вендором; воспринимайте сравнение с Claude Opus 4.8 как повод протестировать вашу рабочую нагрузку, а не как решение о замене.

Изучите рабочий процесс: понимание уровней моделей ИИ