В прошлой статье (https://habr.com/ru/articles/1071580/) я показал, как простой дебаунс на Redis спасает бюджет от дробных сообщений: клиент строчит "привет" - "сколько стоит" - "а есть другой размер" пятью сообщениями подряд, а LLM получает один склеенный промпт.
Читать далее