Свои GPU плюс облако: как LLM-шлюз живёт в продакшене — ноды, отказы, ключи, обновления
В прошлой статье я рассказывал про маршрутизацию и деньги в Keystone. The Model Switchboard. (KTMS), нашем open-source LLM-шлюзе на Go. Эта статья про эксплуатацию: как подключить свои видеокарты, что происходит, когда отказывает каждая зависимость, как менять ключи шифрования, как проверять, что вы скачали именно наш релиз, и как обновляться без простоя. Читать далее
Описание из RSS.
Читать у источника →
Темы
# cosign# GPU# LLM# ollama# postgres# Redis# self-hosted# supply chain# vLLM# отказоустойчивость
Читайте также
Похожие новости
Имя модели в коде устаревает в день выхода следующей модели. Если у вас десять сервисов, вы перепишете его десять раз и десять раз разнесёт…
По статистике, среди рядовых пользователей настольных компов самая распространенная видеокарта имеет 16 ГБ видеопамяти. По опросам GaugeDB,…
На этом шаге мы соберём llama.cpp, скачаем компактную модель для теста, разберёмся с ключевыми опциями (mmap, лимиты памяти, mmproj) и запу…
Сравниваем immers.cloud, Selectel, Cloud.ru, VK Cloud и Timeweb Cloud: GPU, обучение и инференс моделей, инструменты ML, условия оплаты и о…
Часть 1. План реализации запуска локальных LLM моделей на CPU. Рассматриваем коротко весь стек технологий, которые будем использовать в сле…
Реклама
Материал партнёра, не новость
Дебетовая карта Black: кэшбэк до 30% и 500 ₽
Оформи по ссылке и получи 500 ₽. Доставка карты бесплатно, внутри — кэшбэк до 30%, предложения от партнеров и поддержка 24/7.
Финансовые услуги оказывает АО «ТБанк».
❗ Важно · 0
👍 Полезно · 0
🔥 Горячо · 0
