AI да парень! / Sergei Notevskii

А сколько нам это стоит? Не знаю как у вас, а у меня этот год в ai ассоциируется с фразой "Где деньги Лебовски?" ) И судя по сообществу и докладам на конференциях - похожие ощущения у многих. Те вот до этого вопросы были "а что делать с аи?", "а как делать это с аи?", "а можно траву трогать а не вот это все?" А сейчас все тоже самое но прошитое словом "оптимизация". Мы как то нативно дошли до необходимости попадать в кэш, роутить простые запросы в модель послабее или вообще в Jev-лайк, и считать не стоимость токенов а стоимость выполнения задачи. Про первое и второе поговорим еще, а вот оценку стоимости хочу зацепить. Позвали тут на конференцию AI Native Conf (от тех самых ребят что организуют Highload), и зецепился за доклад Богдана Гарбара про Экономику ИИ. Порадовал в описании тезис о том что ROI тут определяется во многом инференсом (сразу понятно что будет разговор про selfhosted, а значит моя тема). Тут кажется все просто - берем стоимость железки, берем производительность, берем утилизацию, делим, перемножаем и вуаля. Только вот выясняется что производительность у тебя меняется каждый день из-за изменения характера запросов и настроек кэш-роутера. Утилизацию сколько ставить максимальную? 80%? А если ночь пустая? Делать дешевле запросы? А утилизация это что вообще? Сколько запросов в очереди? Сколько запросов в среднем с терпимым ttft, e2e? (На самом деле по уму там порядка 16 параметров одновременно в учете). Короче - я в деле, готов идти только из-за этого доклада, нетворкинга с коллегами и крутой организации)