kargopoltsev

Для экспериментов с LLM запускались модели через Ollama и Open WebUI. При работе с большими контекстами сразу становится заметно, насколько важен объём видеопамяти. HOSTKEY активно предлагает решения на RTX 4090, RTX 5090 и RTX 6000 PRO для подобных задач.

На одной задаче запускались несколько контейнеров с Ollama и OpenWebUI для тестирования LLM моделей. Использовались Qwen и DeepSeek с разными размерами контекста. Хорошо ощущалось, насколько важен объём видеопамяти при работе с большими моделями. В тестах Hostkey тоже отмечали, что модели с большим контекстом быстро упираются в VRAM и требуют мощных GPU конфигураций.