Fournisseurs IA et modèles

Une source est une connexion fournisseur : URL, identifiant et modèles disponibles. Vous pouvez conserver plusieurs sources, choisir un défaut puis sélectionner un autre modèle pour une conversation. Les embeddings se configurent séparément.

Où configurer le fournisseur

Mono-user : Settings → AI provider. Mode partagé : Admin → AI provider, accessible à l’administrateur global. Les membres ne sélectionnent que les modèles autorisés ; ils ne règlent pas les clés du déploiement dans leurs Settings personnels.

Ajouter et connecter une source

• + Add source ouvre un éditeur. Donnez un Source name utile, comme Ollama local ou vLLM partagé.
• Provider choisit OpenAI, Anthropic, Ollama ou Other compatible. Ce dernier couvre vLLM, SGLang, llama.cpp et les passerelles qui implémentent le même contrat d’API.
• Ollama utilise une racine comme http://ollama:11434 sans /v1. Other compatible utilise une racine comme http://host-gateway:8000/v1. OpenAI et Anthropic proposent leurs adresses officielles.
• Renseignez la clé si nécessaire puis Connect. La liste des modèles apparaît ou une erreur de connexion est affichée ; connecter seul ne sauvegarde pas la source.
• Choisissez un modèle pour sauvegarder automatiquement le formulaire. S’il manque dans la liste, ouvrez Model not listed? Enter its ID puis Save model ID. Utilisez l’identifiant exact servi.

Modèle par défaut, sauvegarde et identifiants

Use as default enregistre la source et le modèle comme défaut des nouvelles conversations. La liste des sources identifie le défaut actuel. Les autres sources restent dans le sélecteur du chat. Save other changes enregistre noms de sources et options d’embeddings ; attendez All changes saved avant de quitter.

Une clé laissée vide conserve le secret enregistré pour la même connexion uniquement. Remove saved key le supprime explicitement à l’enregistrement. Remove source retire immédiatement une source non sauvegardée ; une suppression enregistrée demande confirmation et doit conserver un défaut utilisable. Use server settings restaure les valeurs d’environnement lorsque disponible.

Contexte et images par modèle

Ouvrez Model settings… sous le sélecteur. Context window → Automatic utilise les métadonnées ; Set token limit enregistre le contexte effectif du serveur en tokens, par exemple 500000 seulement si le serveur le permet réellement. Cela n’agrandit pas le contexte du fournisseur.

Vision support propose Automatic, Supports images ou Text only. L’interface distingue auto-detected, manual et not detected. Des métadonnées absentes/nulles ne prouvent pas qu’un modèle est textuel. Utilisez les capacités effectives de la source et du modèle exacts ; deux noms identiques sur des serveurs différents peuvent avoir des limites différentes. Save dans cette fenêtre ne change pas le modèle par défaut.

Prism compacte le contexte ancien près de la limite effective en réservant de la place aux instructions, outils et génération. Le transcript visible reste conservé. LIVE_CONTEXT_CHAR_BUDGET explicite ajoute un plafond de déploiement, pas une limite de tokens par modèle.

Recherche documentaire et embeddings

Use same provider réutilise la connexion et la clé de conversation par défaut ; cela ne transforme pas un modèle de chat en modèle d’embeddings. Choisissez un modèle qui implémente cet endpoint. Décochez pour choisir une autre source configurée ou une connexion dédiée. Anthropic exige un autre fournisseur d’embeddings.

Connect récupère les candidats. Test embeddings envoie une véritable requête et indique la dimension ; un catalogue peut mélanger modèles de chat et d’embeddings. Laissez le modèle d’embeddings vide pour désactiver la recherche après sauvegarde. Le chat reste utilisable sans index.

Changer de fournisseur sans perdre l’index

Pour changer le modèle ou l’endpoint d’un index existant, cochez Rebuild the document index when saving. Tout le texte indexé est envoyé au nouveau fournisseur, avec des frais API éventuels. L’enregistrement applique le changement sans redémarrer Prism ; une reconstruction échouée conserve l’index précédent. Corrigez endpoint/clé puis sauvegardez à nouveau.

Dépanner la connexion et le modèle

• Connection refused : vérifiez accès depuis le conteneur, interface d’écoute, DNS et pare-feu. localhost dans Prism désigne Prism, pas l’hôte Docker.
• 401/403 : vérifiez clé, droits du compte et URL. Une clé d’un fournisseur n’est pas valide chez un autre.
• Model not found : comparez l’ID au catalogue serveur et à l’alias du modèle servi.
• Les appels d’outils apparaissent comme du texte : vérifiez la capacité du modèle et le template de chat/parser d’outils de votre serveur.
• Image rejetée : choisissez Text only pour ce modèle ou corrigez la prise en charge des images côté serveur. Un test textuel réussi ne valide pas la vision.