Интелигентният мозък на Вашия бизнес

🟢 Вариант A: Ollama (най-лесният, за Windows/Mac/Linux)

Стъпка 1: Отидете на ollama.com/download и изтеглете инсталатора за вашата операционна система.

Стъпка 2: Инсталирайте Ollama като нормална програма (Next → Next → Finish).

Стъпка 3: Отворете терминал (Command Prompt на Windows, Terminal на Mac/Linux) и напишете:

ollama pull llama3.1:8b

Това ще изтегли Llama 3.1 (8B параметра, ~4.7 GB). Може да ползвате и mistral:7b или deepseek-coder-v2:16b.

Стъпка 4: Проверете дали работи:

ollama run llama3.1:8b

Ако видите >>> Send a message (/? for help) — Ollama работи на http://localhost:11434

Сега в URL полето горе въведете: http://localhost:11434, а в полето за модел: llama3.1:8b

🔵 Вариант B: LM Studio (с графичен интерфейс, Windows/Mac)

Стъпка 1: Изтеглете LM Studio за вашата ОС.

Стъпка 2: Стартирайте LM Studio. В лентата за търсене напишете Mistral и изберете Mistral 7B Instruct v0.3. Натиснете Download.

Стъпка 3: След като се изтегли, отидете в таба Local Server (вляво, икона със стрелки).

Стъпка 4: Изберете модела от падащото меню и натиснете Start Server.

LM Studio слуша на http://localhost:1234/v1. Въведете този URL в полето горе, а за модел — името на изтегления модел.

🟣 Вариант C: vLLM (за Linux сървъри с GPU)

pip install vllm
vllm serve mistralai/Mistral-7B-Instruct-v0.3 --host 0.0.0.0 --port 8000

vLLM слуша на http://вашият-сървър:8000/v1. Задайте IP адреса на сървъра в полето за URL.

✅ След конфигурация

След като запазите URL и модела, рестартирайте RagCompany AI:

docker compose restart

Системата автоматично ще използва локалния ви модел. Ако оставите полетата празни — ще продължи да работи с облачния DeepSeek API.

💡 Препоръки за хардуер

Mistral 7B / Llama 3.1 8B	8-16 GB RAM, CPU-only OK
DeepSeek Coder V2 16B	16-32 GB RAM, GPU препоръчително
Llama 3.1 70B / Mixtral 8x7B	64+ GB RAM, GPU задължително (24+ GB VRAM)