MinerU: как перестать плакать над PDF и скормить его агенту за 5 минут
Сижу я, значит, вечером, пытаюсь объяснить своему AI-ассистенту содержание годового отчёта на 200 страниц. В отчёте таблицы в три колонки, графики с подписями мелким шрифтом и примечания в сносках, которые разбежались по всему документу. И мой идеальный, умный агент, который только что вёл со мной философскую беседу, на этом отчёте просто ломается. Выдаёт кашу. И я понимаю: проблема не в нём. Проблема в том, что я скормил ему «сырой» PDF, а он не умеет его готовить.
И вот тут на сцену выходит MinerU. Не как панацея, а как профессиональный шеф-повар для ваших документов.
Если вы когда-либо пытались построить поиск по внутренней документации компании, научить чат-бота отвечать по инструкциям или просто хотели навести порядок в архивах договоров — скорее всего, вы уже знаете эту боль. Если нет — вам можно смело пропустить технические детали и просто знать, что такая штука существует. Для всех остальных — давайте разбираться.
GitHub репозиторий: opendatalab/MinerU
Если просто
MinerU — это движок, который берёт «грязный» документ (PDF, Word, PowerPoint, Excel, даже просто картинку или веб-страницу) и преобразует его в «чистый» структурированный текст в формате Markdown или JSON. Чистый — значит, готовый к тому, чтобы его поняла другая программа. Он не просто «читает» текст, он понимает структуру: где заголовок, где таблица, где формула, а где просто колонтитул, который можно выкинуть.
Я погуглила, что стоит за умными словами из документации: внутри у него два «мозга». Первый — классический OCR-пайплайн (оптическое распознавание), быстрый и точный для обычного текста. Второй — VLM-движок (Vision-Language Model, та же технология, что в продвинутых чат-ботах, только для картинок), который включается, когда нужно понять сложный дизайн страницы или рукописный текст. Гибридный режим умело жонглирует ими, чтобы было и быстро, и точно.
Что это решает на практике
Конкретная боль: у вас есть гора документов в разных форматах, и ваша прекрасная RAG-система (поиск с помощью AI) или AI-агент тупит, потому что не может вычленить из них смысл. Проблема почти всегда на этапе «загрузки». PDF — это как пирог с непонятной начинкой: с виду красиво, а внутри может быть что угодно. MinerU аккуратно вытаскивает начинку на тарелку, раскладывая по категориям.
Он убирает колонтитулы, склеивает таблицы, которые разорвало на разные страницы, переводит формулы в LaTeX (специальный язык разметки для математики), а картинки просто сохраняет рядом. Всё. Документ превратился в понятную, линейную историю, которую ваш AI-агент «проглотит» и не подавится. 69 тысяч звёзд на GitHub и всего 26 открытых issue говорят о том, что свою работу он делает и делает хорошо.
Как попробовать
Самый простой способ — вообще ничего не ставить. У них есть онлайн-песочница по ссылке с их сайта: mineru.net. Загружаете документ — получаете результат. Для разового теста — идеально.
Если вы разработчик и хотите встроить это в свой пайплайн, то ставится через pip:
pip install magic-pdf
pip install mineru[all]
После установки обновляете конфигурацию и тянете модели:
mineru-models-download
mineru-config-migrate
Запуск простой. Чтобы превратить PDF в Markdown:
mineru -p /путь/к/вашему.pdf -o /путь/к/папке/результата
Через минуту в папке результата будет лежать чистенький Markdown. Быстро, тихо, без лишней драмы.
3 живых сценария с примерами
Самый важный блок. Где это реально применить прямо сейчас?
Сценарий 1: AI-поиск по архиву договоров Задача: У вас в компании тысячи отсканированных договоров в PDF, и юристам нужно мгновенно находить пункты про форс-мажор за 2023 год. Как применить: Пишете простой скрипт, который прогоняет все PDF через MinerU, получая на выходе папку с Markdown-файлами. Дальше загружаете эти файлы в любой RAG-фреймворк (например, Dify, LangChain или RAGFlow, с которыми MinerU дружит из коробки). Результат: Ваш внутренний поисковик начинает видеть текст внутри сканов и находить нужные пункты за секунды, а не за часы ручного поиска.
Сценарий 2: Чат-бот службы поддержки на инструкциях Задача: Создать бота, который отвечает клиентам, основываясь на внутренних инструкциях, но инструкции — это сложные PDF с картинками и таблицами совместимости. Как применить: Направляете папку с инструкциями на вход MinerU. Он преобразует их, сохранив все таблицы как HTML, а картинки — как отдельные файлы. Затем «скармливаете» эти Markdown-файлы в LlamaIndex или Flowise для создания базы знаний бота. Результат: Бот не просто ищет ключевые слова, а «понимает» контекст и данные из таблиц. На вопрос «какой картридж подходит к модели X?» он даёт точный ответ из таблицы совместимости, а не ссылку на 40-страничный документ.
Сценарий 3: Подготовка данных для тонкой настройки (fine-tuning) своей модели
Задача: У вас есть коллекция сложных аналитических отчётов в PowerPoint, и вы хотите обучить свою маленькую модель генерировать похожие отчёты или отвечать на вопросы по их методологии.
Как применить: MinerU, начиная с версии 3.1.0, умеет «нативно» парсить PPTX и XLSX. Это значит, он не просто делает скриншот слайда и читает с него текст. Он понимает, где заголовок, где буллиты, а где таблица. Прогоняете презентации через него командой mineru -p отчет.pptx -o отчет.md.
Результат: На выходе — структурно идеальные пары «вопрос-контекст» или чистый набор данных для обучения. Ваша модель учится не на «плохом» тексте с потерянной вёрсткой, а на отлично структурированном материале.
Где можно застрять
Идеальных инструментов не бывает, и будет честно сказать о нюансах, которые я заметила.
Первое — лицензия. Она обозначена как NOASSERTION на GitHub, но внимательное чтение документации говорит, что с версии 3.1.0 они перешли на собственную лицензию на базе Apache 2.0. Это не страшно, но для коммерческого использования я бы на вашем месте прочитала её сама, а не полагалась на пересказ. Вот прямая ссылка.
Второе — гибридный режим effort=medium, который стоит по умолчанию и даёт сумасшедший прирост скорости (до 220% на Mac!), может не распознать какие-то сложные картинки и диаграммы. Это сознательный компромисс скорости и качества. Если документ критически важный, всегда переключайтесь на effort=high.
Третье — установка. Несмотря на простой pip install, загрузка моделей — это скачивание нескольких гигабайт. Если у вас медленный или нестабильный интернет, первая настройка может занять время. Автоматический выбор зеркала помогает, но не решает проблему плохого канала полностью.
Кому это нужно
Разработчикам и AI-инженерам, которые строят RAG-приложения и знают, что 90% успеха — это чистые данные на входе. Архитекторам данных, которые устали от регулярных выражений и поломавшихся PDF-парсеров. И всем, кто делает AI-инструменты для «не-айтишников» — юристов, бухгалтеров, HR — и хочет, чтобы оно работало без шаманства с форматами.
Кому это не нужно
Если ваша задача — распарсить 10 PDF в месяц руками, онлайн-версии на сайте хватит за глаза. Не нужно городить пайплайн. Если у вас совсем простые текстовые PDF без таблиц, вёрстки и картинок, то и стандартных библиотек в Python будет достаточно. И если вы только начинаете изучать AI и слово «терминал» вызывает лёгкий холодок — начните с no-code инструментов по ссылке с их сайта, а к MinerU вернётесь, когда поймёте, зачем он вам нужен.
Вердикт Веры
MinerU — это тот случай, когда за высокими оценками и звёздами скрывается не просто хайп, а реально полезная инженерная работа. Он закрывает собой самую скучную, неблагодарную, но критически важную задачу в AI-пайплайнах: превращение хаоса в порядок. На него можно положиться как на фундамент, перестав постоянно думать: «А точно ли моя модель прочитала
Что читать дальше
- Все материалы про AI-агентов
- Что такое AI-агент простыми словами
- Все материалы про AI-инструменты
- Как отличить рабочий AI-инструмент от красивой демки
Материалы
- [opendatalab/MinerU] opendatalab/MinerU: https://github.com/opendatalab/MinerU
- [opendatalab.github.io] supporting context: https://opendatalab.github.io/MinerU/
- [trendshift.io] supporting context: https://trendshift.io/repositories/11174
- [trendshift.io] supporting context: https://trendshift.io/api/badge/repositories/11174
Обсуждение
Комментарии
Напишите, что думаете: согласны, спорите, увидели ошибку или хотите добавить пример. Комментарии появляются сразу; спам и мусор мы удаляем вручную.
Пока комментариев нет. Можно быть первым.