3: 字幕和配音
音频轨道不仅仅是时钟;它是等待发生的文本。Presentation 将其转录、翻译,并可以重新配音。
3.1: 转录
Whisper 将音频转录为定时段落,并自动检测源语言。结果是一个与音频时钟锁定的字幕轨道和一个可以下载的 SRT 文件。由于这些段落是定时的,它们也作为其他所有内容的支柱:配音和 AI 导演的工作都基于这些段落进行。
3.2: 翻译
从转录中,GPT 调用将字幕翻译成另一种语言,同时保留时间戳。每种语言都有自己的 SRT 文件和独立的轨道,播放器提供语言切换功能,以便观众在播放时选择他们的字幕。
3.3: AI 配音
字幕是阅读的;配音是听到的。Presentation 按句子对文本进行分组,并生成预设声音的 TTS 叙述,放回文本时间线中而不在句中切断。配音作为音频的语言替代附加,因此同一 Presentation 可以以原始声音或配音播放。
3.4: 语言选择无处不在
语言不仅仅是音频。每个媒体项目可以携带每种类型的语言替代品:每种语言不同的图像、不同的视频或不同的字幕。播放器的语言切换功能会同时切换音频、字幕和每个项目的替代品,因此一个展示是真正的多语言,而不是每种语言一个展示。