LocalAI
LocalAI agit comme une API REST de remplacement prête à l’emploi, compatible avec les spécifications de l’API OpenAI pour l’inférence locale. Il utilise des modèles Open Source gratuits et fonctionne sur des CPU.
LocalAI agit comme un remplacement d’OpenAI, vous pouvez consulter le mapping des noms de modèles utilisé dans le conteneur, par exemple gpt-4
est mappé à phi-2
.
Installez Docker. Voir la documentation LocalAI pour plus d’informations.
Mettez à jour le fichier
.env
et définissez le type d’API àlocalai
..env OPENAI_API_TYPE=localai
Pour démarrer LocalAI dans Docker, exécutez la commande suivante :
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpudocker start local-aidocker statsecho "LocalAI is running at http://127.0.0.1:8080"