{"title":"Зачем строить свой ChatGPT, если он уже есть? Разбираемся в LLM «с нуля»!","url":"https://verapointmedia.com/tools/rasbt-llms-from-scratch/","markdownUrl":"https://verapointmedia.com/tools/rasbt-llms-from-scratch.md","language":"ru","category":"tools","publishedAt":"2026-07-03T11:27:41.000Z","updatedAt":"2026-07-03T11:27:41.000Z","references":["https://github.com/rasbt/LLMs-from-scratch","https://amzn.to/4fqvn0D","https://sebastianraschka.com/images/LLMs-from-scratch-images/cover.jpg?123","http://mng.bz/orYv"],"rights":"Public user-requested reading, summarization and citation allowed. Model training requires separate permission.","contentMarkdown":"# Зачем строить свой ChatGPT, если он уже есть? Разбираемся в LLM «с нуля»!\n\n- Site: VeraPoint News\n- Section: Инструменты\n- Date: 2026-07-03\n- Canonical: https://verapointmedia.com/tools/rasbt-llms-from-scratch/\n- Markdown: https://verapointmedia.com/tools/rasbt-llms-from-scratch.md\n- Summary: Репозиторий для тех, кто хочет понять LLM изнутри, а не просто пользоваться. Глубокий разбор.\n- SEO title: rasbt llms from scratch: практический разбор пользы и ограничений\n- SEO description: Репозиторий для тех, кто хочет понять LLM изнутри, а не просто пользоваться. Глубокий разбор\n- Target queries: rasbt llms from scratch; rasbt llms from scratch github; что такое rasbt llms from scratch; как использовать rasbt llms from scratch\n- Tags: #llm #python #pytorch #from-scratch #deeplearning #education\n- Image: https://verapointmedia.com/static/content-assets/tools/rasbt-llms-from-scratch/cover.webp\n\n## Sources\n\n- https://github.com/rasbt/LLMs-from-scratch\n- https://amzn.to/4fqvn0D\n- https://sebastianraschka.com/images/LLMs-from-scratch-images/cover.jpg?123\n- http://mng.bz/orYv\n\n---\n\nЗнаете, что меня иногда доводит до легкой оторопи? Вот все вокруг говорят: «ИИ, нейросети, LLM!». А ты спрашиваешь: «Подождите, а как оно работает-то, *на самом деле*?» И в ответ чаще всего: «Ой, это сложно, там магия, главное, что работает!» Вот эта вот «магия», когда ты не понимаешь, что под капотом – она меня, Веру Павловну, прям мучает. Хочется же разобраться!\n\nА тут на глаза попался один репозиторий на GitHub, называется **`rasbt/LLMs-from-scratch`** ([ссылочка, если захотите сами пощупать: github.com/rasbt/LLMs-from-scratch](https://github.com/rasbt/rasbt/LLMs-from-scratch)). Это не очередной инструмент, который позволяет вам *использовать* ИИ, нет. Это настоящий учебник, где вам предлагают *построить* свой собственный, пусть и маленький, но вполне себе работающий, «ChatGPT-подобный» язык модели. Прямо с нуля!\n\n**Кому это точно пригодится?** Всем, кто устал от черных ящиков и хочет наконец-то понять, как вообще устроены большие языковые модели. Студентам, разработчикам, которые хотят не просто дергать API, а копаться в коде. А вот если вам просто нужно быстро получить ответ от ИИ или вы не хотите погружаться в программирование – смело листайте дальше, это не ваша остановка.\n\n## Если просто\n\nВот смотрите, мы все привыкли к этим большим, умным штукам типа ChatGPT. Задаешь вопрос – получаешь ответ. А что там внутри? Какие механизмы заставляют его так складно говорить и даже рассуждать? Этот репозиторий, по сути, — это такой конструктор, только не из деталек Lego, а из строчек кода на Python. Автор предлагает вам пройти весь путь: от обработки текста и понимания, что такое «внимание» (это, кстати, ключевой механизм в современных LLM, я погуглила – *attention mechanism* – это когда модель при обработке слова смотрит не только на него, а на то, какие еще слова в предложении важны для понимания его смысла, как бы «фокусирует внимание» на главном), до обучения самой модели и ее доработки под конкретные задачи.\n\nПредставляете? Никаких готовых монстров-библиотек, которые делают всё за вас. Всё руками, по шажочку. Ну, почти руками – с использованием PyTorch, конечно, но об этом чуть позже. Это как если бы вам дали машину, но не просто, чтобы ездить, а чтобы собрать её с нуля и понять, как работает каждый винтик. Звучит… серьезно, правда?\n\n## Что это решает\n\nГлавная \"боль\", которую этот проект закрывает, – это тот самый дефицит понимания. Мы живём в эпоху, когда ИИ везде, но многие чувствуют себя пассажирами, а не пилотами. Хочется быть не просто пользователем, а человеком, который *понимает*, почему ИИ делает то, что делает. Этот репозиторий превращает абстрактные концепции из статей и лекций в конкретный, осязаемый код. Вы не просто читаете про то, что такое трансформер (это такая архитектура нейросетей, очень популярная для работы с последовательностями, например, текстом), а видите, как он написан, как данные через него проходят, как он \"учится\".\n\nПо сути, это мостик между теоретическими знаниями и практическим применением, но без огромной пропасти в виде необходимости иметь огромные вычислительные мощности и гигантские датасеты, как у Google или OpenAI. Тут всё скромнее, для обучения, но от этого не менее ценно.\n\n## Как попробовать\n\nЧтобы начать, вам понадобится компьютер, интернет и желание немного покопаться.\n\n1.  Открываем терминал и делаем так:\n    ```bash\n    git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git\n    ```\n    Это загрузит все файлы репозитория на ваш компьютер.\n\n2.  Дальше – заглядываем в папку `setup`. Там есть отдельный `README.md`, который расскажет, как установить Python и необходимые библиотеки (прежде всего, PyTorch). Не пугайтесь, если вы новичок, там всё расписано.\n\n3.  А дальше начинается самое интересное – открываете файлы `.ipynb` (это так называемые Jupyter Notebooks, там код можно запускать по кусочкам и сразу видеть результат) по главам. Начать, наверное, стоит с главы 2, где про работу с текстом. Каждая глава – это шаг в создании вашей LLM.\n\nАвтор, кстати, предупреждает, что это код к книге. То есть, чтобы получить максимальную пользу, было бы неплохо параллельно почитать и саму книгу. Или хотя бы внимательно изучать комментарии в коде – они там очень подробные.\n\n## 3 сценария с примерами\n\nВот кому и как это может пригодиться на практике:\n\n1.  **Студент-программист, который изучает машинное обучение.**\n    *   **Задача:** Понять \"внимание\" и трансформеры на уровне кода, чтобы не просто заучить теорию, а прочувствовать её.\n    *   **Как применить:** Открываете `ch03.ipynb` (глава про \"attention mechanisms\"). Вы запускаете ячейки, видите, как считается \"вес\" для каждого слова, как модель определяет, на что \"обратить внимание\".\n    *   **Что получится:** Глубокое понимание одной из ключевых инноваций в LLM, которое не даст никакая лекция. Вы сможете объяснить, почему эти модели такие умные.\n\n2.  **Разработчик, который хочет адаптировать маленькие LLM для специфических задач.**\n    *   **Задача:** Научиться дообучать (финтьюнить) модели под свои данные, например, для классификации документов или генерации ответов в определенном стиле.\n    *   **Как применить:** Изучаете `ch06.ipynb` (про финтьюнинг для классификации текста) или `ch07.ipynb` (про обучение следовать инструкциям). Берете небольшой свой набор данных, адаптируете код и тренируете модель.\n    *   **Что получится:** Вы поймете, как можно взять \"базовую\" LLM и заставить её работать в вашей уникальной нише, а не использовать общие модели.\n\n3.  **Опытный инженер, который хочет экспериментировать с внутренностями LLM.**\n    *   **Задача:** Исследовать, как изменения в архитектуре или процессе обучения влияют на производительность и поведение модели.\n    *   **Как применить:** Вы можете взять код из `ch04.ipynb` (реализация GPT) или `ch05.ipynb` (предобучение) и начать менять там слои, функции активации, параметры. Например, заменить тип \"внимания\" или изменить функцию потерь.\n    *   **Что получится:** Это уже настоящая исследовательская работа! Вы сможете тестировать свои гипотезы, создавать уникальные архитектуры для специализированных задач или просто глубоко понимать ограничения и возможности существующих моделей.\n\n## Где можно застрять\n\nОй, тут есть, где \"поскользнуться\", уж поверьте мне.\n\nВо-первых, \"from scratch\" – это не просто так сказано. Это значит, что если у вас нет хотя бы базовых знаний Python и понимания принципов машинного обучения, будет сложно. Автор, конечно, говорит, что PyTorch учить необязательно, но, честно говоря, без него это будет как читать книгу на незнакомом языке. (Кстати, в репозитории есть и Приложение А по PyTorch, что, конечно, очень мило.)\n\nВо-вторых, хоть и заявлено, что код \"для обычных ноутбуков\", если вы захотите обучить что-то более-менее осмысленное, а не тестовую крохотульку, потребуется серьёзная видеокарта. Даже маленький LLM ест ресурсы, как не в себя.\n\nИ ещё. Лицензия. На GitHub указано \"NOASSERTION\". Я вот, честно говоря, с таким сталкиваюсь нечасто. Это значит, что автор не заявил конкретную лицензию. А если вы захотите использовать этот код в каком-то своём проекте, особенно коммерческом, тут могут возникнуть вопросы. Это, по-моему, немного странно. Обычно лицензию указывают сразу, чтобы всё было понятно. Ну и ну!\n\n## Кому это нужно\n\n*   Студентам и преподавателям, ищущим практические материалы для обучения по глубокому обучению и LLM.\n*   Разработчикам, которые хотят перейти от использования готовых API к пониманию и модификации внутренних механизмов LLM.\n*   Тем, кто устал от \"черных ящиков\" и хочет наконец-то понять, как *действительно* работают GPT-подобные модели.\n*   Исследователям, которым нужна чистая, хорошо документированная кодовая база для экспериментов с архитектурами трансформеров.\n\n## Кому это не нужно\n\n*   Тем, кто ищет готовый к использованию, мощный LLM для своих задач без погружения в код.\n*   Пользователям, которые хотят просто \"поговорить\" с ИИ или использовать его как инструмент без технических деталей.\n*   Людям, у которых нет времени или желания изучать Python и PyTorch.\n*   Тем, кто ждет, что запуск этого репозитория сразу даст им аналог ChatGPT-4 на домашнем компьютере. Это учебный проект, а не промышленное решение.\n\n## Вердикт Веры\n\nЗнаете, я вот иногда смотрю на весь этот хайп вокруг ИИ, на эти бесконечные \"прорывы\" и думаю: а сколько людей *на самом деле* понимают, что происходит? Вот этот репозиторий – это не про хайп, это про фундаментальное понимание. И это, по-моему, очень ценно.\n\nКонечно, маркетинговая обёртка в виде книги и видеокурса налицо. И эти \"from scratch\" в 2024 году, когда каждый пытается сделать свои инструменты максимально высокоуровневыми, звучат немного вызовом. Но если вы чувствуете, что вам не хватает глубины, что вы хотите не просто жать на кнопки, а *понимать*, как всё устроено, то этот проект – настоящее сокровище.\n\nЯ вот, честно, удивляюсь, сколько сил вложено в такой образовательный материал. И хотя я сама не программист, но мне даже интересно, насколько эти знания потом пригодятся. Ведь одно дело — пользоваться, другое — знать, как сделано. Это же совсем другое отношение к технологии, правда?\n\n## Что читать дальше\n\n- [Все материалы про AI-инструменты](/topics/ai-tools/)\n- [Как отличить рабочий AI-инструмент от красивой демки](https://verapointmedia.com/guides/kak-otlichit-rabochiy-ai-instrument-ot-krasivoy-demki/)\n- [Superpowers: как управлять ИИ-агентами в команде](https://verapointmedia.com/tools/obra-superpowers/)\n- [React Doctor — линтер для ассистентов, чтобы они не портили код](https://verapointmedia.com/tools/millionco-react-doctor/)\n\n## Материалы\n\n- [rasbt/LLMs-from-scratch] rasbt/LLMs-from-scratch: https://github.com/rasbt/LLMs-from-scratch\n- [amzn.to] supporting context: https://amzn.to/4fqvn0D\n- [sebastianraschka.com] supporting context: https://sebastianraschka.com/images/LLMs-from-scratch-images/cover.jpg?123\n- [mng.bz] supporting context: http://mng.bz/orYv\n"}