Le fournisseur `jan` se connecte au serveur local [Jan](https://jan.ai/).
Le fournisseur jan
se connecte au serveur local Jan.
Ouvrez Jan et téléchargez les modèles que vous envisagez d’utiliser. Vous trouverez l’identifiant du modèle dans la page de description du modèle.
Cliquez sur l’icône Serveur API Local (en bas à gauche), puis sur Démarrer le serveur.
Laissez l’application de bureau ouverte !
Pour utiliser les modèles Jan, employez la syntaxe jan:modelid
.
Si vous changez l’URL par défaut du serveur, vous pouvez définir la variable d’environnement JAN_API_BASE
.
JAN_API_BASE=http://localhost:1234/v1
Limitations
- Ignore prediction of output tokens
- top_p ignored