dive-into-llms — это китайский учебник-бестселлер на GitHub, который превращает теорию LLM в серию готовых к запуску Jupyter Notebook. Вместо скучных объяснений — 11 глав-лабораторок, где прямо в браузере можно покрутить промпты, попробовать взломать модель или прикрутить к ней водяной знак. Ссылка на репозиторий.

Если просто

Представьте, что вы студент или просто любопытный человек, который слышал про fine-tuning, RLHF и jailbreak-атаки, но не понимает, как это работает на практике. Вместо того чтобы рыться в десятках статей и видео, вы открываете этот репозиторий. В каждой папке — готовая «лабораторная работа»: Jupyter-ноутбук с кодом, PDF-презентация с теорией и текстовый гайд.

Вы просто клонируете репозиторий, запускаете ноутбук в Google Colab или локально и шаг за шагом повторяете эксперимент: например, учите маленькую модель решать математические задачки или прячете секретное сообщение в её ответах. Всё на китайском, но структура и код — универсальны.

Что это решает

Самая частая боль для новичка в ML — пропасть между «я прочитал статью» и «я могу это повторить». Особенно в такой стремительной области, как большие языковые модели. Статьи в arXiv выходят каждую неделю, а готового кода часто нет или он разбросан по тысячам репозиториев.

dive-into-llms решает это, упаковывая ключевые темы последних лет в законченные, самодостаточные уроки. Это не просто коллекция ссылок, а именно практикум: от настройки среды до визуализации результатов. Боль автора проекта — необходимость давать студентам Shanghai Jiao Tong University что-то осязаемое для курсовых проектов. И эта боль оказалась общей: 36 тысяч звёзд на GitHub говорят, что такой структурированный практический подход нужен многим.

Как попробовать

Установки как таковой нет. Это набор документов и скриптов. Самый быстрый путь:

  1. Вариант для новичка: Зайдите на GitHub репозитория.
  2. Перейдите в папку documents. Там лежат главы с chapter1 по chapter11.
  3. Выберите тему. Например, chapter2 — про промптинг и цепочки мыслей (CoT).
  4. Найдите файл с расширением .ipynb (например, dive-prompting.ipynb). Нажмите на него.
  5. GitHub отобразит ноутбук. Вверху будет кнопка «Open in Colab». Нажмите на неё.
  6. Google Colab откроет копию ноутбука в вашем аккаунте. Теперь вы можете менять код и запускать ячейки. Для работы большинства скриптов нужны лишь базовые библиотеки вроде transformers и torch, которые Colab установит автоматически.

Если хотите клонировать всё локально: git clone https://github.com/Lordog/dive-into-llms.git. Потом открывайте ноутбуки в Jupyter Lab или VS Code.

3 сценария с примерами

Вот три конкретные задачи, для которых этот репозиторий — отличная отправная точка.

1. Задача: Хочу понять, как работает «взлом» (jailbreak) ChatGPT и ему подобных.

  • Как применить: Идём в chapter6 (越狱攻击, Jailbreak). Открываем ноутбук dive-jailbreak.ipynb в Colab.
  • Что получится: В ноутбуке разбираются классические техники вроде «Данетеринга» (Daneteering) и атак с использованием специально сконструированных промптов. Вы не просто прочитаете про них, а запустите код, который пытается обойти защиту демо-модели (например, используя библиотеку text-generation). Вы увидите, какие промпты срабатывают, а какие нет, и поймёте уязвимость на практике.

2. Задача: Нужно быстро освоить базовый пайплайн fine-tuning’а маленькой модели для своей задачи (например, классификации тональности).

  • Как применить: Открываем chapter1 (微调与部署, Fine-tuning & Deployment). Ноутбук dive-tuning.ipynb.
  • Что получится: Вам проведут по полному циклу: загрузка предобученной модели (например, bert-base-uncased из Hugging Face), подготовка датасета, написание цикла обучения с помощью Trainer API, оценка результатов. Это готовый шаблон, который можно адаптировать под свой датасет, заменив пару строк кода.

3. Задача: Любопытно, как в ответы нейросети можно незаметно встроить водяной знак, чтобы потом доказать авторство текста.

  • Как применить: Смотрим chapter5 (模型水印, Model Watermarking) или chapter7 (大模型隐写, Steganography). Ноутбук watermark.ipynb или llm_stega.ipynb.
  • Что получится: Вы реализуете один из алгоритмов скрытой маркировки — например, будете слегка смещать вероятности следующих токенов в зависимости от секретного ключа. Код покажет, как сгенерировать «помеченный» текст и как потом, имея ключ, проверить, содержит ли произвольный текст эту скрытую сигнатуру. Отличная демонстрация на стыке ML и информационной безопасности.

Где можно застрять

  • Язык. Вся теория (PDF, README) — на китайском. Код и комментарии в ноутбуках — на английском. Если вы не читаете по-китайски, то лишаетесь контекста и пояснений, которые даются в текстовых гайдах. Придётся полагаться на код и иногда на переводчик.
  • «Коробочность». Это учебные примеры. Они отлично работают на предоставленных демо-датасетах, но чтобы перенести код на свою, более сложную задачу, потребуется уже некоторый опыт и понимание, что там под капотом.
  • Аппаратные требования. Некоторые главы (особенно про RLHF в chapter11 или обучение с подкреплением) могут требовать заметных вычислительных ресурсов даже для демо. В Colab на бесплатном GPU можно упереться в лимиты памяти или времени выполнения.
  • Отсутствие лицензии. В репозитории не указана явная лицензия (поле License: not specified). Для личного обучения это не проблема, но если вы захотите использовать код в коммерческом проекте, нужно будет разбираться с правовым статусом или писать авторам.

Кому это нужно

  • Студентам технических специальностей. Идеальный материал для курсового проекта или чтобы заполнить пробелы между лекциями по NLP.
  • Разработчикам-любителям и энтузиастам AI, которые устали от поверхностных обзоров и хотят «поковырять» технологии руками.
  • Преподавателям. Можно брать готовые лабораторные работы для своих курсов (с учётом языкового барьера).
  • **Всем, кто смотрит на тренды вроде «атаки jailbreak» или «водяные знаки для ИИ» и хочет понять механику, а не просто пересказ новостей.

Кому это не нужно

  • Продвинутым ML-инженерам и исследователям. Скорее всего, вы всё это уже знаете и умеете. Материал ориентирован на начальный и средний уровень.
  • Тем, кто ищет готовое production-решение. Это учебный материал, а не библиотека или фреймворк.
  • Людям, которые хотят быстро получить ответ «как сделать X», не вникая в код. Тут придётся вникать.
  • Тем, кому критически важен английский или русский язык в объяснениях. Без знания китайского или готовности постоянно пользоваться переводчиком вы потеряете половину ценности — теоретические выкладки.

Вердикт Веры

Когда я впервые открыла этот репозиторий и увидела 36 тысяч звёзд, я подумала: «Опять какой-то хайповый фреймворк». Но оказалось, что это почти противоположное — тихая, системная, почти академическая работа. В эпоху, когда каждый день появляется новый «революционный» инструмент, который через месяц забывают, dive-into-llms делает простую и нужную вещь: структурирует уже накопленные знания и даёт людям инструмент для их проверки.

Мне не нравится, что нет английской версии текстов — это сильно сужает аудиторию. Смущает и отсутствие чёткой лицензии. Но сам подход — «вот тема, вот слайды, вот код, запускай и смотри» — вызывает огромное уважение. Это не про маркетинг, а про образование в его самой честной форме: через практику.

Если вы хотите перестать бояться терминов вроде «PPO» или «стейганография» и начать понимать, что за ними стоит, потратьте вечер на одну из глав. Вы не станете экспертом, но ощущение «я могу это повторить» — бесценно. А иногда именно с него всё и начинается.

Материалы

Похожие материалы