LM Studio

Le fournisseur lmstudio se connecte au serveur sans interface LMStudio et permet de faire fonctionner des LLM locaux.

Installez LMStudio (v0.3.5+)
Ouvrez LMStudio
Ouvrez le Catalogue de modèles, sélectionnez votre modèle et chargez-le au moins une fois afin qu’il soit téléchargé localement.
Ouvrez les paramètres (icône roue dentée) et activez Activer le service LLM local.
GenAIScript suppose que le serveur local est par défaut à l’adresse http://localhost:1234/v1. Ajoutez une variable d’environnement LMSTUDIO_API_BASE pour changer l’URL du serveur.
.env
```
LMSTUDIO_API_BASE=http://localhost:2345/v1
```

Trouvez l’identifiant API du modèle dans la fenêtre des modèles chargés, puis utilisez cet identifiant dans votre script :

script({
  model: "lmstudio:llama-3.2-1b-instruct",
});

GenAIScript utilise la CLI LMStudio pour télécharger les modèles à la demande.
La spécification de la quantification n’est actuellement pas prise en charge.

Aliases

The following model aliases are attempted by default in GenAIScript.

Alias	Model identifier
embeddings	text-embedding-nomic-embed-text-v1.5

Limitations

Ignore prediction of output tokens

LM Studio et les modèles Hugging Face

Suivez ce guide pour charger des modèles Hugging Face dans LMStudio.

Jan

Le fournisseur jan se connecte au serveur local Jan.

Jan
Ouvrez Jan et téléchargez les modèles que vous envisagez d’utiliser. Vous trouverez l’identifiant du modèle dans la page de description du modèle.
Cliquez sur l’icône Serveur API Local (en bas à gauche), puis sur Démarrer le serveur.
Laissez l’application de bureau ouverte !

Pour utiliser les modèles Jan, employez la syntaxe jan:modelid. Si vous changez l’URL par défaut du serveur, vous pouvez définir la variable d’environnement JAN_API_BASE.

JAN_API_BASE=http://localhost:1234/v1

Limitations

Ignore prediction of output tokens
top_p ignored