🔥 Prompt Caching: токены LLM в 10 раз дешевле — но за счёт чего? Подготовили перевод просто пушечной статьи про кэширование промтов. Внутри много теоретической базы изложенной простыми словами, с классными примерами и наглядными анимациями (без математики тоже не обошлось 🫠). Вот как сам автор описал свою статью и мы с ним полностью согласны: Не удовлетворившись ответами в документации вендоров ПО для разработчиков, которые хорошо объясняют, как пользоваться кэшированием промптов, но аккуратно обходят вопрос о том, что именно кэшируется, я решил копнуть глубже. Я нырнул в кроличью нору устройства LLM, пока не понял, какие именно данные провайдеры кэшируют, для чего они используются и как это делает всё быстрее и дешевле для всех. К концу этой статьи вы: – глубже поймёте, как работают LLM – сформируете новую интуицию о том, почему LLM устроены именно так – разберётесь, какие именно нули и единицы кэшируются и как это снижает стоимость ваших запросов к LLM 📚 Читайте и комментируйте на Хабр. @ai_for_devs