Ollama

Ollama est une application de bureau qui vous permet de télécharger et d’exécuter des modèles localement.

L’exécution d’outils localement peut nécessiter des ressources GPU supplémentaires selon le modèle que vous utilisez.

Utilisez le fournisseur ollama pour accéder aux modèles Ollama.

Lancez l’application Ollama ou
Fenêtre de terminal
```
ollama serve
```
Mettez à jour votre script pour utiliser le modèle ollama:phi3.5 (ou tout autre modèle ou provenant de Hugging Face).
```
script({
    ...,
    model: "ollama:phi3.5",
})
```
GenAIScript téléchargera automatiquement le modèle, ce qui peut prendre un certain temps en fonction de la taille du modèle. Le modèle est mis en cache localement par Ollama.
Si Ollama s’exécute sur un serveur, un autre ordinateur ou sur un port différent, vous devez configurer la variable d’environnement OLLAMA_HOST pour vous connecter à un serveur Ollama distant.
.env
```
OLLAMA_HOST=https://<IP or domain>:<port>/ # server url
OLLAMA_HOST=0.0.0.0:12345 # different port
```

Vous pouvez spécifier la taille du modèle en l’ajoutant au nom du modèle, comme ollama:llama3.2:3b.

script({
    ...,
    model: "ollama:llama3.2:3b",
})

Ollama avec les modèles Hugging Face

Vous pouvez également utiliser les modèles GGUF de Hugging Face.

script({
    ...,
    model: "ollama:hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF",
})

Ollama avec Docker

Vous pouvez facilement exécuter Ollama dans un conteneur Docker.

si vous utilisez un devcontainer ou un GitHub Codespace, assurez-vous d’ajouter l’option docker-in-docker dans votre fichier devcontainer.json.

{
  "features": {
    "docker-in-docker": "latest"
  }
}

démarrez le conteneur Ollama

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

arrêtez et supprimez les conteneurs Ollama

docker stop ollama && docker rm ollama

Ajoutez ces scripts à votre fichier package.json pour faciliter le démarrage et l’arrêt du conteneur Ollama.

{
  "scripts": {
    "ollama:start": "docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama",
    "ollama:stop": "docker stop ollama && docker rm ollama"
  }
}

Aliases

The following model aliases are attempted by default in GenAIScript.

Alias	Model identifier
embeddings	nomic-embed-text

Limitations

Uses OpenAI compatibility layer
logit_bias ignored
Ignore prediction of output tokens