В третьем выпуске руководства по сборке локального AI-стека рассматривается этап наполнения папки моделей и создания удобной навигации. После установки базового сервера и тестовой модели Qwen3.5-2B, пользователю необходимо развернуть набор специализированных моделей для кодинга, ролевого общения, работы с русским языком и OCR. Чтобы избежать путаницы при выборе и не заходить в документацию, предлагается создать статическую HTML-страницу-шпаргалку, которая работает локально через протокол file:// и не требует интернета.
Для организации файлов вводится четкая структура: обычные модели размещаются в корне папки models/, а мультимодальные модели — в подпапках, содержащих файлы проекторов (mmproj). Примером структуры служит наличие папок для Gemma-4 и Qwen3.5 с соответствующими файлами моделей и проекторами. Важно отметить, что имя файла проектора не должно строго совпадать с именем модели, достаточно, чтобы оно начиналось с префикса mmproj. Скрипт запуска llama-server автоматически отсекает папку media/, содержащую диффузионные модели, чтобы они не попадали в список доступных для чата LLM.
Все представленные модели находятся в квантовании Q4_K_M, что обеспечивает оптимальный баланс между качеством и размером для работы на CPU. В категорию универсальных моделей входят Qwen3.5-9B (~6 ГБ) как основная рабочая лошадка, Qwen3.5-4B (~3 ГБ) для быстрых задач и Qwen3.5-2B (~1.5 ГБ) для черновиков. Для кодинга рекомендуются Blitzar-Coder-4B (~4.5 ГБ) и OxCoder-9B (~6 ГБ), а для ролевого общения — Gemma-4-E4B (~3 ГБ). Специализированные модели, такие как RusMind-Momentum-4.7 (~3.4 ГБ) для русского языка и Qwen3VL-4B (~3 ГБ) для OCR и работы с изображениями, также включены в набор.
Для удобства пользователей создается веб-страница web/models.html, содержащая таблицу быстрого выбора по задачам и фильтры для сортировки карточек моделей. Каждая карточка содержит описание, плюсы и минусы, а также кнопку копирования команды запуска. Страница адаптивна для мобильных устройств и поддерживает печать. Добавление новых моделей или задач осуществляется путем редактирования JavaScript-массивов в коде страницы, что позволяет легко обновлять базу без изменения структуры HTML. В качестве приоритетных для скачивания выделены четыре модели: Qwen3.5-9B, OxCoder-9B, Gemma-4-E4B и Qwen3VL-4B, которые покрывают 90% типовых задач.
