Aller au contenu

Problemes LLM Connect

Erreur Ollama 500

Une erreur 500 d'Ollama signifie generalement que le modele est trop gros pour votre memoire disponible.

Diagnostic

ollama list    # Modeles installes
ollama ps      # Modele charge + utilisation GPU
ollama run qwen3.5:4b  # Tester directement

Si ollama ps affiche 0% GPU, l'inference est entierement sur CPU et sera lente.

Solution : Utiliser un modele plus petit

RAM/VRAM disponible Modele recommande
4 Go qwen3.5:2b
8 Go qwen3.5:4b
16+ Go (ou 8+ Go VRAM) qwen3.5:8b 
ollama pull qwen3.5:4b

Puis selectionnez le nouveau modele dans les parametres LLM Connect.

Ollama non detecte

Solution : Renseignez manuellement l'URL dans LLM Connect :

  • Ollama local : http://localhost:11434
  • Ollama distant : http://<ip-serveur>:11434

Le LLM ajoute des guillemets ou des balises

Certains modeles enveloppent leur sortie dans des guillemets ("...") ou ajoutent des balises <think>...</think>.

Solutions :

  1. Utilisez les modeles recommandes : Qwen 3.5, Ministral
  2. Ajoutez a votre prompt systeme : "Donne uniquement le resultat. Pas de guillemets, pas de reflexion, pas d'explication."

Le LLM est tres lent

  • Pas de GPU : L'inference sur CPU est lente. Essayez un modele plus petit.
  • Modele trop gros : S'il ne tient pas en VRAM, il tombe sur le CPU. Verifiez avec ollama ps.
  • Premiere requete : Plus lente (chargement du modele). Les suivantes sont plus rapides.

Problemes de connexion au serveur distant

  1. Verifiez que le serveur est accessible : curl http://<serveur>:<port>/api/tags
  2. Verifiez les pare-feu des deux machines
  3. L'URL dans Murmure doit inclure le protocole (http:// ou https://)
  4. Pour Ollama, assurez-vous que OLLAMA_HOST=0.0.0.0 est defini sur le serveur

Serveur sans endpoint /models

Certains serveurs compatibles OpenAI, comme l'API Claude, n'exposent pas /models. Le test de connexion echoue alors sur la liste des modeles, mais le serveur reste utilisable : saisissez le nom exact du modele dans le champ modele et le fournisseur Remote reste disponible. Une liste de modeles indisponible ne verrouille jamais le fournisseur.

Support proxy

Le proxy HTTP pour LLM Connect n'est pas encore supporte. Commentez sur #286 si vous en avez besoin.