Keystone 1.0: LLM-шлюз, который не хардкодит модели, держит свои GPU и не теряет ключи

Источник
Keystone 1.0: LLM-шлюз, который не хардкодит модели, держит свои GPU и не теряет ключи

Имя модели в коде устаревает в день выхода следующей модели. Если у вас десять сервисов, вы перепишете его десять раз и десять раз разнесёте по конфигам ключи вендоров. Keystone. The Model Switchboard. (KTMS) убирает это из кода. Сервис говорит, насколько сложна задача, а шлюз решает, какую модель позвать, с каким ключом и не отдать ли запрос вашей собственной GPU. В простое он занимает 7 МиБ памяти, а с версии 1.0 его API в пределах 1.x не ломае

Первые 450 знаков материала. Читать далее у источника →

Читайте также

Похожие новости

Поиск по Loople

Назад