Aller au contenu
GenAIScript
Blog
A flat, minimalistic 8-bit computer screen shows a horizontal row of colored blocks, each representing a language model token with colors shifting from blue to red to indicate high to low probability. Next to each main block are a few smaller differently colored blocks showing alternate tokens with top log probability. The design uses only five distinct colors and is simple, geometric, and corporate in style, with sharp edges and no background or extra effects. There are no people, text, shadows, gradients, or 3D elements.

LogProbs

AI generated translation.

logprobs est un mode où les modèles LLM retournent la probabilité de chaque jeton. topLogProbs retourne également une liste de jetons alternatifs et leurs probabilités logarithmiques. Cela peut être utile pour le débogage et pour comprendre le comportement du modèle.

Logprobs

Section intitulée « Logprobs »

Vous pouvez activer logprobs de la manière suivante :

  • Utilisez l’option logprobs lors de la commande d’exécution.
Fenêtre de terminal
npx genaiscript run ... --logprobs
  • Ajoutez l’option logprobs aux métadonnées du script.
script({ logprobs: true, ...})

Sortie colorée

Section intitulée « Sortie colorée »

Quand logprobs est activé, le cli colorera la sortie en fonction de la probabilité de chaque jeton. Une couleur bleue indique une probabilité élevée et une couleur rouge indique une probabilité faible.

Voici un exemple de logprobs en action lors de l’exécution d’une commande de poème avec gpt-4o.

Dans le murmure des arbres, la nuit parle doucement, où la lumière de la lune ondule parmi les ombres qu’elle cherche. Les étoiles scintillent au-dessus, comme des rêves lointains, peignant la nuit avec l’aube bercée doucement.

Top logprobs

Section intitulée « Top logprobs »

Vous pouvez activer top-logprobs de la manière suivante :

  • Utilisez l’option top-logprobs lors de la commande d’exécution. Elle active également logprobs.
Fenêtre de terminal
npx genaiscript run ... --top-logprobs 4
  • Ajoutez l’option topLogprobs aux métadonnées du script.
script({ topLogProbs: 4, ...})

Sortie colorée

Section intitulée « Sortie colorée »

Quand top-logprobs est activé, la fenêtre de console est colorée avec l’entropie des jetons alternatifs.

Dans le murmure des arbres, la nuit parle doucement, où la lumière de la lune ondule parmi les ombres qu’elle cherche. Les étoiles scintillent au-dessus, comme des rêves lointains, peignant la nuit avec l’aube bercée doucement.

Jetons alternatifs

Section intitulée « Jetons alternatifs »

La trace contient un rendu des jetons alternatifs avec une sortie colorée basée sur les logprobs.

Consultez l’exemple suivant dans le tableau pour illustrer la probabilité des jetons alternatifs.


Extrait illustrant des suggestions de jetons alternatifs et leurs probabilités associées.


Les probabilités logarithmiques affichent les autres jetons possibles pour chaque segment d’un texte proposé.


Des exemples additionnels de tokens alternatifs sont affichés ci-dessous avec des probabilités logarithmiques.