{"title":"whichllm: не угадывать, а выбирать локальную LLM под своё железо","url":"https://verapointmedia.com/tools/andyyyy64-whichllm/","markdownUrl":"https://verapointmedia.com/tools/andyyyy64-whichllm.md","language":"ru","category":"tools","publishedAt":"2026-06-10T08:30:16.000Z","updatedAt":"2026-06-10T08:30:16.000Z","references":["https://github.com/Andyyyy64/whichllm"],"rights":"Public user-requested reading, summarization and citation allowed. Model training requires separate permission.","contentMarkdown":"# whichllm: не угадывать, а выбирать локальную LLM под своё железо\n\n- Site: VeraPoint News\n- Section: Инструменты\n- Date: 2026-06-10\n- Canonical: https://verapointmedia.com/tools/andyyyy64-whichllm/\n- Markdown: https://verapointmedia.com/tools/andyyyy64-whichllm.md\n- Summary: whichllm подбирает локальную LLM под ваш GPU/CPU/RAM и сразу показывает, что реально заведётся и будет работать лучше, а не просто «влезет».\n- SEO title: whichllm: практический разбор пользы и ограничений\n- SEO description: whichllm подбирает локальную LLM под ваш GPU/CPU/RAM и сразу показывает, что реально заведётся и будет работать лучше, а не просто «влезет»\n- Target queries: whichllm; whichllm github; что такое whichllm; как использовать whichllm\n- Tags: #llm #local-ai #benchmarks #cli #python #hardware\n- Image: https://verapointmedia.com/static/content-assets/tools/andyyyy64-whichllm/cover.webp\n\n## Sources\n\n- https://github.com/Andyyyy64/whichllm\n\n---\n\n`whichllm` — это штука для очень приземлённой боли: у вас есть железо, у вас есть куча локальных моделей, и внезапно оказывается, что «влезает» — ещё не значит «лучше работает». Репозиторий: https://github.com/Andyyyy64/whichllm\n\nИ вот тут мне, честно, нравится сама идея. Не очередной каталог «посмотрите, сколько у меня звёзд и маркетинговых слов», а инструмент, который пытается ответить на нормальный вопрос: что **сейчас** стоит запускать на вашей машине.\n\n## Если просто\n\n`whichllm` сканирует ваше железо — GPU, CPU, RAM — и подбирает локальные LLM из Hugging Face, которые не только помещаются, но и выглядят адекватно по скорости и качеству.\n\nТо есть логика не такая тупая, как «чем больше модель, тем лучше». Подождите, а это вообще нормально, что до сих пор многие инструменты именно так и продаются? Тут как раз пытаются уйти от этой странности.\n\nУ репозитория есть две важные опоры: свежие данные и ранжирование по реальным бенчмаркам. По-человечески это значит: не просто «эта модель тяжёлая, значит крутая», а «вот эти метрики, вот это железо, вот это, кажется, правда имеет смысл попробовать».\n\n## Что это решает\n\nГлавная боль — выбор модели для локального запуска. Обычно человек упирается в три тупика сразу.\n\nПервый: модель вроде бы влезает в VRAM, но работает так медленно, что хочется закрыть ноутбук и уйти пить чай на час.\n\nВторой: вам советуют «самую большую» или «самую модную» модель, а она на вашем железе даёт не магию, а нервный тик.\n\nТретий: если вы только начинаете, то вообще непонятно, что ставить — GGUF, Ollama, quantization, VRAM… Я проверила: GGUF — это просто формат весов для локального запуска, а quantization — это когда модель ужимают, чтобы она помещалась и быстрее ехала, но иногда с потерей качества. Всё, как обычно: за удобство платим компромиссом.\n\nИ вот `whichllm` как раз пытается снять эту неопределённость. Это не «интеллектуальный помощник» в рекламном смысле, а вполне прикладной навигатор по локальным моделям.\n\n## Как попробовать\n\nСтавится почти без боли. И это, кстати, редкий приятный случай.\n\nСамый быстрый старт — через `uvx`, то есть запуск без отдельной установки в проект. По-простому: `uvx whichllm@latest`.\n\nЕсли пользоваться часто, в README предлагают установить инструмент нормально:\n`uv tool install whichllm`\n\nА если вы любите старый добрый Homebrew, есть и он:\n`brew install andyyyy64/whichllm/whichllm`\n\nНу и для совсем привычного пути:\n`pip install whichllm`\n\nПосле установки команда просто запускается как обычная консольная утилита:\n`whichllm`\n\nЕсли хочется прикинуть, что будет на другой видеокарте, можно симулировать железо:\n`whichllm --gpu \"RTX 4090\"`\n\nЭто, надо сказать, уже очень полезно. Не гадать, а заранее смотреть, что даст условная 4090, 5090 или вообще H100. Немного похоже на «а давайте сначала проверим, прежде чем покупать», и это, простите, удивительно здраво.\n\n## 3 сценария с примерами\n\n**Задача:** понять, какую модель ставить на свой ПК прямо сейчас.\n**Как применить:** запускаете `whichllm` без аргументов.\n**Что получится:** список моделей, которые подходят под ваше железо, с ранжированием по оценке и скорости.\nПример: у вас 24 GB VRAM, и вместо абстрактного «берите побольше» вы получаете конкретный топ-кандидат вроде Qwen-семейства, а не просто список случайных влезших моделей.\n\n**Задача:** прикинуть апгрейд видеокарты до покупки.\n**Как применить:** `whichllm --gpu \"RTX 5090\"` или `whichllm upgrade \"RTX 4090\" \"RTX 5090\" \"H100\"`.\n**Что получится:** понимание, что именно изменится в диапазоне моделей и скорости.\nЭто особенно полезно, если вы не хотите покупать железо «на авось», а потом обнаружить, что разница между 24 и 32 GB — не просто цифра на коробке.\n\n**Задача:** встроить выбор модели в свой локальный workflow.\n**Как применить:** `whichllm --top 1 --json | jq -r '.models[0].model_id'` и потом подать это в Ollama или скрипт.\n**Что получится:** автоматический подбор модели для запуска в пайплайне.\nВот тут, кстати, `whichllm` уже не игрушка для любопытства, а нормальный маленький «подборщик» для автоматизации.\n\n## Где можно застрять\n\nНо да, подвохи есть. И они не косметические.\n\nВо-первых, это всё-таки инструмент, завязанный на экосистему Hugging Face и локальный inference. Если вы совсем не живёте в этом мире, сначала придётся понять, что у вас вообще за backend: Ollama, llama.cpp, transformers. Не катастрофа, но порог входа есть.\n\nВо-вторых, README очень уверенно говорит о «real benchmarks» и «live data». И это хорошо звучит, но я бы не читала это как абсолютную истину. Любой рейтинг — это чья-то формула, а не приговор с небес. В `whichllm` есть аккуратные оговорки про confidence, inherited scores и live snapshots, и вот это мне нравится больше, чем маркетинговое «мы всё посчитали».\n\nВ-третьих, тут важна инфраструктура. На слабом CPU локальная LLM всё равно останется медленной, и никакой красивый ранк это не отменит. Инструмент помогает выбрать **лучшее из доступного**, но не превращает офисный ноутбук в дата-центр. Увы, магии не завезли.\n\n## Кому это нужно\n\nТем, кто уже пробует локальные модели и хочет перестать тыкаться вслепую.\n\nТем, кто собирает или покупает железо под локальный ИИ и хочет хотя бы понять, что именно выиграет от апгрейда.\n\nТем, кто пишет свои скрипты, CLI-обвязки или внутренние инструменты и хочет быстро получать подходящую модель без ручного перебора.\n\nИ ещё тем, кто работает с Ollama или GGUF и понимает, что «всё локально» — это не лозунг, а набор вполне конкретных ограничений по памяти, скорости и формату.\n\n## Кому это не нужно\n\nЕсли вы вообще не запускаете локальные модели и живёте только в облачных чатах — тут вам просто нечего делать.\n\nЕсли вам нужен один-единственный «дефолтный» локальный чат без выбора, `whichllm` может показаться лишним слоем. Хотя, честно, даже тогда он иногда экономит нервы.\n\nЕсли у вас нет желания разбираться, что такое VRAM, quantization и GGUF, инструмент всё равно может пригодиться, но сначала придётся чуть-чуть вникнуть. Без этого будет ощущение, что вам дали очень умный калькулятор и попросили «ну разберитесь».\n\n## Вердикт Веры\n\n`whichllm` — редкий пример инструмента, который не пытается впечатлить, а пытается **помочь выбрать**. И это, по-моему, ценнее.\n\nМне нравится, что он не сводит всё к размеру модели и честно смотрит на железо, скорость и свежесть бенчмарков. Не нравится только одно: вокруг локальных LLM по-прежнему слишком много тумана, и даже хороший инструмент не отменяет того, что новичку придётся немного пройти через «а что вообще такое этот GGUF».\n\nНо если у вас есть локальное железо и желание запускать модели не наугад, а с пониманием, `whichllm` стоит поставить сегодня. Это как раз тот случай, когда одна маленькая CLI-команда может сэкономить вам несколько очень больших ошибок.\n\n## Что читать дальше\n\n- [Все материалы про AI-инструменты](/topics/ai-tools/)\n- [Как отличить рабочий AI-инструмент от красивой демки](https://verapointmedia.com/guides/kak-otlichit-rabochiy-ai-instrument-ot-krasivoy-demki/)\n- [Superpowers: как управлять ИИ-агентами в команде](https://verapointmedia.com/tools/obra-superpowers/)\n- [React Doctor — линтер для ассистентов, чтобы они не портили код](https://verapointmedia.com/tools/millionco-react-doctor/)\n\n## Материалы\n\n- [Andyyyy64/whichllm] Andyyyy64/whichllm: https://github.com/Andyyyy64/whichllm\n"}