Google недавно получил отличный буст стоимости компаний, когда стало понятно, что у них не только модель вышла отличная, но и обучена она целиком на собственных GPU, которые они делают уже почти десяток лет и вот вроде начало получаться. То есть они вообще могут послать нафиг Нвидиа (но не сейчас пока). Artificial analysis померил стоимость миллиона токенов генерации для Llama 3.3 70B при скорости 30 output tokens/s на запрос. Пока Nvidia бояться нечего, они выгоднее в 5 раз. NVIDIA H100: $1.06 AMD MI300X: $2.24 Google TPU v6e (Trillium): $5.13 Сравнение основано на текущих облачных ценах. TPU v6e стоит $2.70/chip/hour (сопоставимо с H100 и дешевле B200 при $5.50/hour). MI300X самый дешевый — $2/hour, но все равно получается в 2 раза медленнее. Но интересно будет посмотреть на следующее поколение от Гугла: TPU v7 (Ironwood) выходит в ближайшие недели с серьезным апгрейдом (918→4,614 TFLOPS compute, 32→192GB memory, 1.6→7.4 TB/s bandwidth). Должен существенно обогнать v6e, но цены пока неизвестны. AMD MI355X тоже еще не доступен широко. Плюс гугловые модельки скорее всего оптимизированы как раз для гуглового железа. Больше цифр тут: https://artificialanalysis.ai/benchmarks/hardware?model=llama-3-3-instruct-70b&concurrency-chart=latency#peak-speed