Exécuteur de Modèle Docker

Le fournisseur docker se connecte au serveur local Docker Model Runner. Il suppose que GenAIScript s’exécute dans un conteneur et utilise par défaut le point de terminaison http://model-runner.docker.internal/engines/v1/.

1. Installez Docker

Pour utiliser les modèles Docker Model Runner, utilisez la syntaxe docker:modelid. Si vous changez l’URL du serveur par défaut, vous pouvez définir la variable d’environnement DOCKER_MODEL_RUNNER_API_BASE.

.env

DOCKER_MODEL_RUNNER_API_BASE=...

Limitations

• listModels
• Ignore prediction of output tokens
• top_p ignored