Voice Agent 的 STT + LLM 校正架构：为什么语音转文字不能只靠 Whisper
从 Voice Agent 的实现思路看，中文技术语音输入需要 STT 初稿、LLM 语义校正、术语库和上下文增强共同工作，而不是只把 faster-whisper 当成最终答案。
需要继续找相关内容？
如果你想继续查工具名、术语、对比页或相关问题，可以直接搜全站，不用回到博客列表页重找。
核心结论
Voice Agent 的关键设计，是把 STT 当成初稿生成层，把 MiniMax 这类 LLM 当成语义校正层，再用术语库和上下文减少中文技术词错误。
适合谁看
适合正在评估 Whisper、本地 STT、LLM 校正和开发者语音输入方案的人。
关键判断
项目围绕 faster-whisper、Vosk、MiniMax 校正、glossary.json 和 corrections.json 形成一条可验证的语音输入链路。
下一步建议
理解架构后，再看自我学习纠错系统如何让用户修正变成长期资产。
你将学到
- + 为什么 STT 初稿不等于最终技术文本
- + faster-whisper 和 Vosk 在这类系统里更适合承担什么角色
- + MiniMax LLM 校正层解决什么问题
- + 术语库和上下文为什么是技术语音输入的关键
Voice Agent 的 STT + LLM 校正架构
很多人做语音转文字项目时，第一反应是：
选一个最强 STT 模型，然后直接用它的结果。
这个思路在普通口述场景里可以工作，但在中文技术语境里很快会遇到边界。
Voice Agent 的价值，是它没有把 faster-whisper 或 Vosk 当成全部答案，而是把它们放进一条更完整的链路里：
https://github.com/kunpeng-ai-lab/voice-agent
第一层：STT 生成初稿
STT 的任务是先把声音转成文字。
在 Voice Agent 这类项目里，faster-whisper 和 Vosk 更像是“初稿生成层”：
- faster-whisper 适合追求更强识别质量的路径。
- Vosk 适合本地、轻量、离线或低依赖路径。
- 两者都可以把语音转成基础文本。
但这一步生成的文本，通常还不是最终可用文本。
原因很简单：STT 模型主要解决“听到了什么”，但技术语境还需要解决“这里应该写成什么”。
第二层：LLM 做语义校正
Voice Agent 引入 MiniMax 这类 LLM 校正层，解决的是 STT 很难单独处理的问题：
- 同音词错误。
- 英文工具名误写。
- 项目名被拆成普通词。
- 中文口语句子需要整理成技术表达。
- 前后文里已经出现过的术语需要保持一致。
例如用户说的是一个项目名，STT 可能按发音写成普通中文词。
LLM 校正层如果知道上下文里正在讨论 AI coding、Agent workflow、OpenClaw 或 Voice Agent，就更容易把文本修回来。
这也是为什么“语音转文字不能只靠 Whisper”。
Whisper 很强，但它不是你的项目术语库，也不是你的个人纠错记忆。
第三层：glossary.json 术语库
在开发者语音输入里，术语库非常关键。
glossary.json 的价值，是把项目里长期会出现的专有词固定下来。
它可以帮助校正层判断：
- 这个词是不是工具名？
- 这个词是不是项目名？
- 这个词是不是英文缩写？
- 这个词是不是团队内部的固定叫法？
对普通用户来说，术语库可能只是锦上添花。
但对技术用户来说，术语库常常决定转写结果能不能直接用。
第四层：corrections.json 纠错记录
一次错误如果只修一次，那它只是人工修稿。
一次错误如果被记录下来，并在后续自动影响校正结果，它才开始变成系统能力。
Voice Agent 里的 corrections.json 就是这个思路：把用户纠正过的错误保存下来，让系统以后更容易识别类似问题。
这让语音输入从“一次性识别”变成“可学习输入”。
一个更合理的职责划分
可以把 Voice Agent 的架构理解成四层职责：
- STT 层：生成语音初稿。
- LLM 校正层：结合语义和上下文修正文本。
- 术语层：固定项目、工具、模型和团队词表。
- 学习层：把用户纠正沉淀成后续规则。
这个拆法的好处是，每一层都可以单独迭代。
你可以换 STT 引擎，可以换 LLM 服务，可以扩充术语库，也可以改进 auto_learn() 的学习策略，而不用把所有能力揉进一个黑盒。
对 AI coding 的启发
如果你想把语音输入接入 Agent workflow，不要只问“哪个模型转写最准”。
更应该问：
- 能不能稳定识别我的项目名？
- 能不能修正常见同音错误？
- 能不能记住我纠正过的词？
- 能不能把口语整理成 Agent 能处理的任务描述？
这就是 Voice Agent 对开发者更有参考价值的地方。
下一篇可以继续看：
继续延伸
要点总结
- - STT 负责听见，LLM 校正负责理解语境。
- - 中文技术语音输入要特别处理英文工具名、项目名和同音错误。
- - Voice Agent 的架构价值在于把识别、校正、术语和学习拆成可迭代层。
常见问题
有了 faster-whisper，为什么还需要 LLM 校正？
因为 STT 能生成可读初稿，但不一定知道某个发音在当前上下文里应该是项目名、工具名还是普通词。LLM 校正层可以结合上下文和术语库修正这类语义错误。
Vosk 在这类项目里还有价值吗？
有。Vosk 更适合作为本地、轻量或离线路径的一部分。不同 STT 引擎可以服务不同硬件、隐私和延迟需求。
