Как запустить нейросеть локально на своём компьютере: гид по локальным LLM

Какие модели брать в 2025 году

Для домашнего использования подходят компактные открытые модели. Среди актуальных вариантов — семейства Llama, Qwen, Gemma, а также Phi и DeepSeek. Важная деталь: у каждой модели свои условия лицензии, поэтому перед коммерческим применением стоит их прочитать.

Размер модели измеряется в миллиардах параметров (B). Чем больше параметров, тем умнее модель и тем больше памяти ей нужно. Для начала разумно взять модель на 7–8B: она ощутимо полезна и при этом не требует топового железа.

Сколько нужно памяти и какое железо

Главный показатель для локального запуска — объём видеопамяти (VRAM). Грубая оценка для популярного формата сжатия Q4: примерно 0,6–0,7 ГБ видеопамяти на каждый миллиард параметров. Отсюда практические цифры:

• Модель на 7B в сжатии Q4 требует примерно 4–6 ГБ VRAM.
• Модель на 13B — около 8–10 ГБ.
• Модели на 1–3B можно гонять и без видеокарты, на одном процессоре.

Для комфортной работы с моделями от 7B и выше видеокарта практически обязательна. Лучше всего поддерживаются видеокарты NVIDIA с CUDA. У AMD прогресс есть, но стабильнее всего он на Linux через ROCm. На компьютерах Apple с чипами M-серии ускорение через Metal включается само, а общая память делится между процессором и графикой — это удобно для крупных моделей.

Что такое квантизация и зачем она нужна

Квантизация — это сжатие модели за счёт снижения точности чисел внутри неё. Формат вроде Q4_K_M уменьшает размер модели в несколько раз почти без заметной потери качества ответов. Именно благодаря квантизации модели, которые в исходном виде требуют десятки гигабайт, помещаются на бытовую видеокарту. Если модель не влезает в память, берите более сжатую версию того же файла.

Есть простое правило баланса: чем сильнее сжата модель, тем меньше памяти ей нужно, но тем заметнее может страдать качество. Q4 считается разумной серединой — модель остаётся умной и при этом экономной по памяти. Более лёгкие варианты (Q3, Q2) берут, только если железо совсем не тянет, а более «тяжёлые» (Q5, Q6, Q8) — когда памяти в избытке и хочется выжать максимум точности.

Чего ждать по скорости

Скорость генерации зависит прежде всего от того, поместилась ли модель целиком в видеопамять. Если да — ответы идут бодро. Если часть модели вытесняется в обычную оперативную память, скорость резко падает, потому что процессор и видеокарта обмениваются данными медленно. Поэтому при выборе модели ориентируйтесь не на «сколько максимально влезет», а на «что комфортно работает». Лучше уверенно быстрая модель на 7B, чем еле ползущая на 13B.

С чего начать прямо сейчас

1. Установите LM Studio, если хотите интерфейс, или Ollama, если привыкли к терминалу.
2. Скачайте модель на 7–8B в формате Q4 — это безопасный старт.
3. Проверьте скорость ответов. Если медленно — берите модель поменьше или более сжатую версию.
4. Когда освоитесь, пробуйте более крупные модели под свои задачи.

Локальные модели за последние пару лет стали по-настоящему доступными: установка занимает минуты, а железа среднего игрового ПК хватает для уверенной работы. Начните с компактной модели, оцените скорость на своём оборудовании и наращивайте размер по мере необходимости.