Глеб Кудрявцев — мастер AI

Еще осенью взял себе Macbook m4 pro 48 гб, в тч чтобы элитно запускать локальные модельки. Докладываюсь: — очень много интересных моделей написаны под cuda или еще какую ерунду, без порта на apple silicon (metal), и для запуска приходится нехило танцевать с бубном. И прироста производительности в итоге получается много меньше, чем по паспорту. — сегодня решил попробовать локальные эмбединги, и мак запищал. Гугление показало что это “coil whine” — звуки электронных компонентов под нагрузкой. Но мне стало его жалко, и эксперимент приостановил 😁 Короче, вердикт, если вам запускать чужие модели из интернета, то старая добрая видеокарта намного практичнее, даже если формально у нее меньше памяти. Если свое, то и под метал напишете, не разломаетесь. Но портов 1:1 нет и о кросс-платформе стоит забыть.