Hugging Face

Le fournisseur huggingface vous permet d’utiliser les modèles Hugging Face via Text Generation Inference.

script({
  model: "huggingface:microsoft/Phi-3-mini-4k-instruct",
});

Pour utiliser les modèles Hugging Face avec GenAIScript, suivez ces étapes :

Inscrivez-vous pour un compte Hugging Face et obtenez une clé API depuis leur console. Si vous créez un token Fined Grained, activez l’option Make calls to the serverless inference API.
Ajoutez votre clé API Hugging Face au fichier .env en tant que variables HUGGINGFACE_API_KEY, HF_TOKEN ou HUGGINGFACE_TOKEN.
.env
```
HUGGINGFACE_API_KEY=hf_...
```
Trouvez le modèle qui correspond le mieux à vos besoins en visitant les modèles HuggingFace.

Mettez à jour votre script pour utiliser le model de votre choix.

script({
    ...
    model: "huggingface:microsoft/Phi-3-mini-4k-instruct",
})

Journalisation

Vous pouvez activer les espaces de noms de journalisation genaiscript:huggingface et genaiscript:huggingface:msg pour obtenir plus d’informations sur les requêtes et réponses :

Aliases

The following model aliases are attempted by default in GenAIScript.

Alias	Model identifier
large	meta-llama/Llama-3.3-70B-Instruct
small	microsoft/phi-4
vision	meta-llama/Llama-3.2-11B-Vision-Instruct
embeddings	nomic-ai/nomic-embed-text-v1.5

Limitations

Uses OpenAI compatibility layer
listModels
Ignore prediction of output tokens