Техножрица 👩‍💻👩‍🏫👩‍🔧

Прохожу новый курс Начал проходить Стэнфордский курс Language Modeling from Scratch Моя цель - проходить по два курса в год. Зимой я проходил курс по программированию на CUDA, теперь вот учусь обучать LLM с нуля. ➡️ Мысль за этим следующая. Во-первых, чтобы хорошо делать свою работу, нужно иметь знания на 1-2 уровня глубже чем используешь в повседневной деятельности. Во-вторых, в части задач я все-таки рассчитываю, что мы начнем использовать легкие зафайнтюненные LLM-ки. Чтобы сэкономить, снизить лейтенси и главное - быть менее зависимыми от внешних API. Но тут хз, непонятно, что будет с областью через пару лет 🤷‍♂️ Прикольный курс. Я пока не смотрю лекции, только делаю домашки. Лекции буду смотреть по факту, когда сделаю. То, что ты не трогаешь руками - не откладывается. На этом курсе абсолютно шикарные домашки с хорошими тестами. Курс рассчитан в том числе и на самостоятельное прохождение. Уже написал и обучил токенизатор с нуля, сейчас пишу компоненты LLM на торче. ➡️ Из интересного, с домашками идут настройки Клода и Кодекса, которые не дают агенту напрямую писать код за студента, но дают отвечать на вопросы и помогать искать ошибки. Супер полезно. Буду делиться впечатлениями!

Блин, что-то тоже захотелось посмотреть этот курс, чё там такое

Да. (видео покрал отсюда)

Поэтому теперь мой системный питон сам объясняет, что им пользоваться не надо

А серьезно, почему опус может делать жестб пафосные научные открытия или писать сверхоптимизированный олимпиадный код для решения алгоритмических задач, но не может догадаться использовать .venv окружение, лежащее прямо в папке с проектом и вместо этого засирает системный pip (ls -a в папке он точно делал и видел этот .venv)? Или в другие разы он не мог прикинуть, запустится ли на карте с известным количеством памяти модель с известным количеством параметров в fp32 и все ронял, не понимая в чем дело, пока я не посмотрела в исходники и не постучала ему по голове. А один раз так вообще по неведомой причине решил обрезать до 8000 символов (именно символов, а не токенов!) тексты, которые подавались для классификации другим моделям (хотя было легко увидеть, что они в десять раз длиннее и полезный сигнал по смыслу находился где-то посередине). При этом он никогда в своей писанине и отчетах явно не упоминал эту обрезку, пока я сама её не обнаружила, пытаясь понять, почему результаты такие странные. И вот как тут заранее угадать, что для него очевидно, а во что надо пальцем тыкать как ребенка малого?

🚀 AI R&D DAY — 17 сентября, Москва 3️⃣ Мы собираемся третий год подряд! Ждём не только исследователей и инженеров, но и тех, кто переводит смелые идеи в реальные продукты: R&D-специалистов, AI-архитекторов, продактов и техлидов, отвечающих за внедрение технологий следующего поколения. Наша R&D-команда поделится результатами флагманского проекта NextGenAI и расскажет о продуктах и технологических треках, над которыми мы работаем для развития ИИ следующего поколения. Также на конференции будут доклады, постеры и демо-стенды от наших коллег из Kandisnky, Physical AI, AIRI, Giga и других. 🔬 О чём: — альтернативные архитектуры — процессы обучения, инструменты и агенты — омнимодальная долгосрочная память и ризонинг — модальности и коммуникации — бенчмаркинг, стандарты качества и производительности AI 🎯 Что вас ждёт: — 22 доклада на двух сценах от ведущих специалистов — живое общение с коллегами и экспертами — интерактивные зоны, которые сделают день по-настоящему запоминающимся Это шанс из первых уст узнать, над какими технологиями работают исследовательские команды Сбера сегодня, обсудить идеи и даже стать частью нашей команды! 💚 📍 Где: Москва (очно или онлайн) ⏰ Когда: 17 сентября 🎁 Цена: Участие бесплатное Количество мест ограничено! 😉 Регистрация: https://airndday.ontico.ru/ #rndml #conference @rndml_team

Ну сколько там ещё надо работать в Сбере, чтобы, наконец-то, дали чит код на бесконечные деньги в приложении Сбербанк онлайн? 😡

Хватит запускать мозг мухи в мушиной матрице , майнкрафте и на рабочем столе .

Почему наблюдение за шебуршанием клод кода перед сном вызывает такое уютное чувство? Как будто ты уже постепенно начинаешь засыпать, и тебя ласково укутывает теплое одеяло нейрослопа, а киберпсихоз тихо и нежно напевает колыбельную на ушко 🥰

Подписчик в комментариях указал на важную проблему популярных алгоритмов оценки внутренней размерности облака точек, за что ему большое спасибо! Выяснилось, что при большой истинной размерности облака они дают систематически заниженную оценку этой размерности. При чем чем больше настоящая размерность, тем сильнее занижается оценка. Я решила проверить это и навайбкодила ноутбук, в котором генерируются облака точек, равномерно заполняющие n-мерные шары: https://colab.research.google.com/drive/1kIRin8sBBNQDFvruXWITU3i5kL7x7Zww?usp=sharing Краткие результаты: - При размерности такого шара 10 и количестве точек 2000, три алгоритма оценки размерности (PHD, TwoNN и MLE) дают что-то между 8.5 и 9, то есть занижают незначительно. А вот при размерности 100, PHD уже даёт оценку в 64, а TwoNN и MLE и вовсе около 50, то есть оценка занижена в целых два раза (см. рис. 1). - Увеличение количества точек в шаре может помочь подтянуть оценку к истинной, но, похоже, что для этого увеличивать их количество нужно экспоненциально с ростом размерности. Интересные выводы, и вообще даже странно, что раньше я не знала о таком явлении. Или знала, но забыла? 😅 Честно говоря, мозг от вайбкодинга уже совсем потек, так что ничего не могу сказать с уверенностью 😅 В любом случае, надеюсь, что эта инфа будет полезна всем, кто интересуется внутренней размерностью и т.д. P S В случае любых ошибок в ноутбуке - все претензии к Клоду 😍 #эксперимент #наука