Noam Shazeer переходит в OpenAI. Это легендарная личность в мире современных языковых моделей, и он участвовал буквально в каждом втором архитектурном улучшении, использующемся в трансформерах (со-автором которых он, кстати, тоже был). Он в большей степени причастен к: — Mixture-of-Experts и роутингу — Multi-Query Attention — SwiGLU / GLU — Adafactor — T5 — скейлингу трансформеров Mesh TensorFlow и GShard И он был (и остается) очень ярым сторонником масштабирования моделей. Есть анекдот, когда он пришел в кафетерии к CEO Google и попросил на выходные выделить ему огромное количество серверов: «Мне нужно 10 000 машин прямо сейчас… К выходным я решу задачу общего знания». Он был со-руководителем команды Gemini вместе с не менее легендарным инженером Jeff Dean, настолько высокая позиция. Google купили Noam Shazeer и несколько инженеров из его стартапа character.ai за 2.7 миллиарда долларов чуть меньше 2 лет назад — и вот он насиделся, насмотрелся (возможно даже увидел Gemini 3.5 Pro которую должны показать в июне 😀), завестил какую-то часть стока — и перешёл. Ждём отмасштабированную GPT-6, чтобы потягаться с Mythos 🙏