An image in 8-bit minimalist style shows two flat-colored square tokens: one with a checkmark symbolizing "OK", and one with an "X" for "ERR". The squares are joined by lines indicating adjustment or transition between states. The design uses five distinct colors, features bold, basic shapes, and has no text, people, or background details.

Choix

Vous pouvez spécifier une liste de mots préférés (choix) dans les métadonnées du script. Cela augmentera la probabilité que le modèle génère les mots spécifiés.

Chaque mot doit correspondre à un seul jeton pour le modèle souhaité !
Pour certains modèles, GenAIScript n’a pas de codeur de jetons et ne pourra donc pas calculer le biais logit pour les choix.

script({
    choices: ["OK", "ERR"],
})
...

ERR

Poids personnalisés

Vous pouvez ajuster la probabilité de chaque choix en fournissant un poids pour chaque choix. Le poids par défaut est 5.

script({
    choices: ["OK", { token: "ERR", weight: 10 }],
})

Jetons pré-encodés

Pour les modèles où GenAIScript n’a pas de codeur de jetons, vous pouvez fournir les jetons pré-encodés.

script({
    choices: [{ token: 12345, weight: 10 }],
})

Biais Logit

En interne, GenAIScript tokenize le mot et construit le logit_bias pour chaque jeton.

choix : OK, ERR
biais logit : {"5175":5,"5392":5}

Logprobs

Vous pouvez activer logprobs pour visualiser la confiance des jetons générés par le modèle.

ERR .