GLM 5.3 Flash vs DeepSeek 4.1 Flash на одной задаче
Ищу замену ChatGPT/Claude, которую легко оплатить рублями. Взял на пробу две дешёвые модельки через русского провайдера — GLM 5.3 Flash и DeepSeek 4.1 Flash — и гонял их через Cherry Studio.
Для проверки попросил старшую модель поискать потенциальные баги и косяки в секьюрити в моём сетапе на OpenClaw с доп. сервисом. Из её отчёта взял одну уже достаточно хорошо сформулированную задачку — но не до уровня «сделай а, б и ц» — и отдал её обеим моделям как есть. Если вкратце: утечки, полезность логов, нужная зависимость, ротация логов и проверка реального сценария ошибки.
GLM быстро понял задачу и сделал нормальный фикс: главную утечку закрыл, тесты написал, всё прошло. Но немного «додумал до основной проблемы и остановился»: часть требований из задания не довёл до конца. Результат хороший, но после ревью выяснилось — пару вещей всё равно пришлось бы допиливать.
DeepSeek сделал более полный вариант. Тоже не идеален, но лучше прошёлся именно по чеклисту задачи: не только убрал утечки, но и сохранил полезность логов, добавил нужную зависимость, шире покрыл ротацию логов и лучше проверил реальный сценарий ошибки.
Голые цифры — один прогон на каждую модель, не бенчмарк. Скорость из Cherry Studio, цена от провайдера:
| GLM 5.3 Flash | DeepSeek 4.1 Flash | |
|---|---|---|
| Input | 2.16M | 3.06M |
| Output | 29.4K | 32.6K |
| Reasoning | 23.7K | 21.8K |
| Cache / Uncached | 2.02M / 138K | 2.88M / 182K |
| TTFT | 2.8s | 8.0s |
| Gen / E2E speed | 75.4 / 47.6 tok/s | 137 / 54.8 tok/s |
| Duration | 10:18 | 9:55 |
| Cost | 6.65₽ | 15.29₽ |
По времени почти ничья, DeepSeek был чуть быстрее, но это несущественно. При этом он сожрал заметно больше токенов и при своей более высокой цене вышел в ~2.3 раза дороже.
P.S. Бейзлайном была Luna 5.6 (High) из подписки. Она сделала самый навороченный и лучше всего протестированный вариант — но оставила саму старую небезопасную лазейку рабочей ради совместимости. Выглядит солидно, тестов много, архитектура аккуратная — а security-fix формально закрыт не до конца.
Короче глаз да глаз за ними, проверять и проверять.