Transcription audio

GenAIScript prend en charge la transcription et les traductions depuis les API similaires à OpenAI.

const { text } = await transcribe("video.mp4")

Configuration

L’API de transcription utilise automatiquement ffmpeg pour convertir les vidéos en fichiers audio (codec opus dans un conteneur ogg).

Vous devez installer ffmpeg sur votre système. Si la variable d’environnement FFMPEG_PATH est définie, GenAIScript l’utilisera comme chemin complet vers l’exécutable ffmpeg. Sinon, il tentera d’appeler ffmpeg directement (il doit donc être dans votre PATH).

Modèle

Par défaut, l’API utilise l’alias de modèle transcription pour transcrire l’audio. Vous pouvez également spécifier un alias de modèle différent en utilisant l’option model.

const { text } = await transcribe("...", { model: "openai:whisper-1" })

Astuce

Vous pouvez utiliser le service Web Whisper ASR pour exécuter Whisper localement ou dans un conteneur docker.

Segments

Pour les modèles qui le supportent, vous pouvez récupérer les segments individuels.

const { segments } = await transcribe("...")
for (const segment of segments) {
    const { start, text } = segment
    console.log(`[${start}] ${text}`)
}

SRT et VTT

GenAIScript génère également les segments aux formats SRT et WebVTT.

const { srt, vtt } = await transcribe("...")

Traduction

Certains modèles prennent également en charge la transcription et la traduction en anglais en une seule passe. Dans ce cas, activez l’option translate: true.

const { srt } = await transcribe("...", { translate: true })

Cache

Vous pouvez mettre en cache les résultats de la transcription en définissant l’option cache à true (ou un nom personnalisé).

const { srt } = await transcribe("...", { cache: true })

ou un sel personnalisé

const { srt } = await transcribe("...", { cache: "whisper" })

Parseurs VTT et SRT

Vous pouvez analyser les fichiers VTT et SRT en utilisant la fonction parsers.transcription.

const segments = parsers.transcription("WEBVTT...")