Aller au contenu

LocalAI agit comme une API REST de remplacement prête à l’emploi, compatible avec les spécifications de l’API OpenAI pour l’inférence locale. Il utilise des modèles Open Source gratuits et fonctionne sur des CPU.

LocalAI agit comme un remplacement d’OpenAI, vous pouvez consulter le mapping des noms de modèles utilisé dans le conteneur, par exemple gpt-4 est mappé à phi-2.

  1. Installez Docker. Voir la documentation LocalAI pour plus d’informations.

  2. Mettez à jour le fichier .env et définissez le type d’API à localai.

    .env
    OPENAI_API_TYPE=localai

Pour démarrer LocalAI dans Docker, exécutez la commande suivante :

Fenêtre de terminal
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu
docker start local-ai
docker stats
echo "LocalAI is running at http://127.0.0.1:8080"