A simple pixelated image displays a geometric computer monitor with three distinct colored rectangles, a file icon, and a checklist icon. A dotted line visually connects the file, checklist, and colored model options. The design uses five clear corporate colors on a flat, plain background, with no text, people, or shading. The style is 8-bit and highly simplified at a small scale.

Test des scripts

Il est possible de déclarer des tests dans la fonction script pour valider la sortie du script.

Déclaration des tests

Les tests sont ajoutés sous forme d’un tableau d’objets dans la clé tests de la fonction script.

script({
  ...,
  tests: {
    files: "src/rag/testcode.ts",
    rubrics: "is a report with a list of issues",
    facts: `The report says that the input string
      should be validated before use.`,
  }
})

Spécification des modèles

Vous pouvez également spécifier un ensemble de modèles (et d’alias de modèles) pour exécuter les tests. Chaque test sera exécuté pour chaque modèle.

script({
  ...,
    testModels: [
        "azure_ai_inference:gpt-4o",
        "azure_ai_inference:gpt-4o-mini",
        "azure_ai_inference:deepseek-r1",
    ],
})

Les testModels peuvent aussi être remplacés via la ligne de commande.

Exécution des tests

Visual Studio Code

Ouvrez la vue Test Explorer.
Sélectionnez votre script dans l’arborescence et cliquez sur le bouton avec l’icône play.

Visual Studio Test Explorer opened with a few genaiscript tests.

Ligne de commande

Exécutez cette commande depuis la racine de l’espace de travail.

npx genaiscript test proofreader

Limitations connues

Actuellement, promptfoo considère la source du script comme le texte de l’invite. Par conséquent, il n’est pas possible d’utiliser des assertions qui dépendent également du texte d’entrée, comme answer_relevance.

En savoir plus sur les tests dans la référence.

Étapes suivantes

Automatisez l’exécution de scripts en utilisant l’interface en ligne de commande (CLI).