125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентом

По статистике, среди рядовых пользователей настольных компов самая распространенная видеокарта имеет 16 ГБ видеопамяти. По опросам GaugeDB, такие карты занимают 27,21% рынка. У меня как раз видеокарта NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ видеопамяти GDDR6X, которая на текущий момент стоит 900$. До сего момента главной проблемой было то, что на видеокарте такого класса невозможно было запустить LLM-агента, который будет достаточно умным и дост

Первые 450 знаков материала. Читать далее у источника →

Читайте также

Похожие новости

[Habr] · Москва

Сборка локального AI-стека: правила размещения моделей и HTML-шпаргалка

На этом шаге мы наполняем папку models/ моделями под разные задачи, раскладываем их по правилам (плоско vs подпапки с mmproj) и делаем HTML…

Вчера, 17:09 · 1 мин

[Habr] · Москва

Сборка локального AI-стека для работы с LLM и генерацией изображений на CPU

Часть 1. План реализации запуска локальных LLM моделей на CPU. Рассматриваем коротко весь стек технологий, которые будем использовать в сле…

Вчера, 16:42 · 1 мин

[Habr] · Москва

Запуск локального AI-стека: сборка llama.cpp и запуск сервера с моделью Qwen3.5

На этом шаге мы соберём llama.cpp, скачаем компактную модель для теста, разберёмся с ключевыми опциями (mmap, лимиты памяти, mmproj) и запу…

Вчера, 16:55 · 1 мин

[Habr] · Москва

Токеномика для самых маленьких

Кажется, мы довольно быстро привыкли к тому, что с нейросетью можно разговаривать почти как с человеком. Попросить написать код, пересказат…

Вчера, 02:51 · 1 мин

[Tproger] · Забайкальский край

Что такое токены и как они влияют на стоимость запросов к нейросети

Что такое токены в нейросетях, как считаются входные и выходные токены, от чего зависит стоимость API-запросов и как снизить расходы с помо…

05.10, 17:34 · 1 мин