Инструкция для запуска функционала LLM в Box (llm-integration:1.0.7)
Важные переменные:
- LLM_INTEGRATION_VERSION
- ENABLE_LLM_EVENT_VERIFICATION – если на сервере LLM планируют использовать для верификации евентов, то переменную нужно указать в TRUE, также в statictics/event-storage нужно указать эту же переменную ENABLE_LLM_EVENT_VERIFICATION=true
- USE_OLLAMA_DIRECT – если планируется использование локально запущенной LLM БЕЗ агента со стороны DS, то требуется указать USE_OLLAMA_DIRECT=true и OLLAMA_URL_PREFIX=/api/generate
- LLM_REQUEST_TIMEOUT – таймаут ожидания ответа от LLM (указывается в секундах)
ВАЖНО!
Работа функционала LLM также зависит от fontend-a, поэтому требуется уточнить у них версию и конфиг со всеми правками и использованием нового API по LLM.