Запустить языковую модель на собственном ноутбуке — это уже не эксперимент ради эксперимента. Локальная модель работает офлайн, не отправляет данные в чужое облако и не считает токены. Расплата — за качество и скорость отвечает ваше железо, а не дата-центр. Разберём, что реально помещается в ноутбук и какими инструментами это запускать.

Главный лимит — это память, а не процессор

Выбирать модель стоит не по числу параметров, а по тому, влезает ли она в оперативную память (для CPU) или видеопамять (для GPU). Грубый ориентир: модель в квантовании Q4 занимает примерно половину гигабайта на каждый миллиард параметров. Значит, модель на 7–8 млрд параметров требует около 5–6 ГБ свободной памяти, а на 14 млрд — уже 9–10 ГБ.

  • 8 ГБ ОЗУ — комфортно идут модели на 3–4 млрд параметров, например Gemma 3 4B.
  • 16 ГБ ОЗУ — рабочий минимум для моделей на 7–8 млрд параметров.
  • 32 ГБ и выше или мощная видеокарта — открывают модели на 14 млрд и крупнее.

Отдельная история — ноутбуки Apple с единой памятью: 64 ГБ позволяют крутить даже модели на десятки миллиардов параметров, потому что чип использует всю память как видеопамять.

Чем запускать: Ollama против LM Studio

Два самых ходовых инструмента решают разные задачи.

  • Ollama — утилита командной строки. Одна команда скачивает и запускает модель, а встроенный API совместим с форматом OpenAI. Это выбор для тех, кто хочет встроить модель в свой код или скрипт.
  • LM Studio — приложение с графическим интерфейсом. Есть визуальный каталог моделей, окно чата и тот же OpenAI-совместимый сервер. Удобно, когда нужно просто пощупать разные модели мышкой, без терминала.

Многие держат оба: в LM Studio подбирают модель, а через Ollama гоняют её из приложений.

Какие семейства моделей брать под задачу

Шесть семейств покрывают почти все сценарии: Llama, Qwen, Mistral, DeepSeek, Gemma и Phi. Универсальный выбор по умолчанию — Qwen: у него сильная многоязычность, включая русский, и достойный код. Если работа упирается в логику и математику, берут DeepSeek с упором на рассуждения. Для слабого железа и мультимодальных задач хорошо подходит Gemma. Llama проще всего найти и запустить — её поддерживают все инструменты.