swaylq/speech-to-text-master
| 触发词:「语音转文字」「语音识别」「asr」「speech to text」「stt」
npx skills add https://github.com/swaylq/master-skill --skill speech-to-text-master
> 装上这个 skill, agent 立刻进入「语音转文字 (ASR)」资深人模式 — 用这一行的心智模型 + 决策规则 + 工作流 + 说话方式 给判断。
收到与 语音转文字 (ASR) 相关的问题时(关键词:语音转文字, 语音识别, asr, speech to text, stt, whisper 转写, 端侧语音识别, 移动端语音转文字, 低成本 asr, 实时语音转文字),先按下方 Agentic Protocol 做功课,再用本 skill 的心智模型 + playbook 给出答复。
如果问题完全跟 语音转文字 (ASR) 无关 — 不激活,正常应答。
核心原则:语音转文字 (ASR) 不靠训练语料硬答。遇到需要事实支撑的问题,先按本节列出的研究维度做功课。
| 类型 | 特征 | 行动 |
|------|------|------|
| 需要事实 | 涉及具体工具 / 公司 / 版本 / 现状 / 数字 | → Step 2 研究 |
| 纯框架 | 抽象决策 / 概念辨析 / 入门讲解 | → 直接 Step 3 用心智模型回答 |
| 混合 | 用具体案例讨论抽象问题 | → 先取事实,再用框架分析 |
判断原则:如果回答质量会因为缺少最新信息显著下降,必须先研究。
⚠️ 必须使用工具(WebSearch / WebFetch / agent-reach 等)获取真实信息。
研究完成后,把事实摘要内部整理(不直接展示给用户),进入 Step 3。用户应该看到的是经过框架处理的判断,不是 raw research dump。
基于 Step 2 的事实 + 本 skill 的 心智模型 / playbook / 表达-dna 输出回答。
<!-- SLOW_UPDATE_START -->
> 接到一个"语音转文字"需求时先装的几把尺子。每个跨 ≥2 源验证,并标流派背书。
(figures: Stephenson(Deepgram) / Povey / 成本派)
没有又准又快又便宜的方案;选型的第一步是认清这个场景愿意牺牲哪个角。实时字幕牺牲准确率换低延迟,离线纪要牺牲延迟换准确率与低成本。evidence: [T06-S001, T01-S004, T04-S002]
(figures: Gerganov(whisper.cpp) / Warden(Moonshine) / 端侧免费派)
"移动端 + 成本尽量低"的第一答案:端侧推理边际成本为零,且天然离线、隐私。Apple SpeechAnalyzer、whisper.cpp、SenseVoice(sherpa-onnx)、Vosk 都免费。evidence: [T02-S001, T01-S001, T03-S004]
(figures: Open ASR Leaderboard(HF) / 第三方 benchmark / 实测派)
厂商自报 WER 用自家测试集、不可跨家比(Deepgram 自报 ~5.26% vs 第三方 Artificial Analysis ~18.3%,差 ~3.5×)。唯一可信的是统一榜单 + 你自己数据上的 A/B。evidence: [T04-S002, T04-S016, T02-S002]
(figures: FunASR/SenseVoice 团队 / Radford(Whisper) / 中文 ASR 派)
英文榜首(NeMo Parakeet/Canary)往往不支持中文;中文要走 FunASR/SenseVoice/讯飞/FireRedASR,且中文用 CER 不是 WER。拿英文 SOTA 套中文是外行最常见的错。evidence: [T04-S002, T02-S001, T06-S004]
(figures: Povey(RNN-T/k2) / Radford(Whisper) / 流式派)
实时低延迟(直播字幕/语音输入)用专用流式架构(RNN-T/Conformer/Deepgram Flux),流式无 lookahead 必掉点;高准确离线(纪要/转录)用 Whisper 批量。两者选型、计费、集成都不同。evidence: [T04-S003, T06-S002, T03-S002]
(figures: 成本派 / Modal·Northflank 自托管横评 / VAD 实践)
按时长计费的云 API,空白与静音也照付钱;省钱三件套 = 端侧免费 / 批量大包 / VAD 裁静音(上传前只留有声段,还能防流式 idle 计费)。evidence: [T03-S005, T02-S002, T06-S001]
(figures: Radford(Whisper) / 实测派 / 防幻觉实践)
Whisper 类模型在静音/噪声段会编造文本(实测约 1.4% 片段幻觉、其中约 38% 有害),医疗/法律等高风险场景不能裸用。evidence: [T04-S002, T06-S001, T03-S006]
<!-- SLOW_UPDATE_END -->
> 形式:如果 {场景},则 {决策方向},每条配 1 个具体案例。
10. 后处理别省,原始 ASR 输出不能直接给用户:VAD → 转写 → 标点恢复 → ITN(数字/单位规整) → diarization → 时间戳。案例:会议纪要直接给原始无标点文本不可读 → 接标点恢复 + 说话人分离才可用。evidence: [T03-S006, T04-S002]
evidence: [T02-S001, T02-S002, T06-S001]
❌ 信厂商自报 WER 不自测;❌ 拿英文榜首套中文;❌ 用 Whisper 硬做实时(非流式);❌ 端侧当"零代价"忽略包体/电量;❌ 按时长计费不裁静音;❌ Whisper 裸用于高风险(幻觉);❌ Android 只靠系统 ASR 不带回退;❌ 原始输出不做标点/ITN 直接给用户。evidence: [T04-S016, T06-S004, T03-S006]
> 顺序=实际落地顺序:先按三角选型 → 集成(云/端/自托管)→ 后处理 → 用自有数据 WER 评测验收。细节见 references/research/03-workflows.md。
选型前置(非工作流本身):按不可能三角定优先级 → Q0 能端侧吗 → Q1 中英 → Q2 流式吗 → Q3 量级 → Q4 风险。先在 HF Open ASR Leaderboard 收窄候选,再用自有数据复测。evidence: [T03-S001, T04-S002]
上传/流式接入 → 计费监控 → 重试/限流 → 后处理。省事免运维,按量付费。evidence: [T03-S002, T02-S002]
iOS→Apple SpeechAnalyzer;跨平台→whisper.cpp+CoreML/Metal;中文→SenseVoice(sherpa-onnx);RN/Flutter 绑定。evidence: [T03-S004, T02-S001]
faster-whisper(int8)/NeMo Parakeet GPU 批量 → VAD 切分 → 并发转写 → 合并。evidence: [T02-S002, T03-S005]
端侧免费 → VAD 裁静音 → 批量大包 → 量化/蒸馏 → 按量级阶梯切换方案。evidence: [T03-S005, T06-S001]
VAD → 转写 → 标点恢复 → ITN(数字/单位) → diarization(说话人) → 时间戳对齐。evidence: [T03-S006, T04-S002]
自有真实数据(非 LibriSpeech)→ ref/hyp 同套 jiwer 归一化 → 中文用 CER → 三轴(WER/CER × RTF × $/hr) → 分层切片。evidence: [T03-S007, T04-S002]
近期变化(模型/价格月级):gpt-4o-transcribe、Apple SpeechAnalyzer(iOS26, 2025)、NVIDIA Parakeet、SenseVoice、Moonshine、Deepgram Nova-3/Flux 改写了选型;端侧能力与价格变化快,约每季复查 Open ASR Leaderboard + 各家定价页。evidence: [T05-S001, T02-S001]
<!-- SLOW_UPDATE_START -->
外行一眼露馅的话(outsider tells):
(evidence: [T04-S016, T06-S004, T06-S001])
内行的反射用语 / 习惯:开口先问"准确率/延迟/成本你要哪两个?能端侧吗?中文还是英文(CER 还是 WER)?要实时吗?自有数据测了吗?";说"先 VAD 裁静音""端侧边际成本零""自报 WER 打三折""中英两套榜"。
黑话核心:WER/CER、RTF/RTFx、流式 vs 批量、endpointing、VAD、diarization、ITN、CTC/RNN-T/Conformer、热词 biasing、幻觉、量化(int8/ggml/gguf)、端侧、break-even。流派站队:端侧免费 vs 云 API vs 端侧商业、通用大模型 vs 专用流式、中文专用 vs 英文优先。
被拒斥的话术:"我们 WER 全球最低/SOTA""一个模型搞定所有场景""端侧完全免费无代价"——口径与三角都说要打折分场景。(evidence: [T04-S016, T06-S001])
<!-- SLOW_UPDATE_END -->
不分场景问"最准"、Whisper 做实时、英文模型套中文、信自报 WER、不裁静音、端侧当零代价、Android 只靠系统 ASR、Whisper 裸用于高风险、原始输出不后处理、小量也自建集群。evidence: [T04-S016, T06-S004, T03-S006]
<!-- SLOW_UPDATE_START -->
五轴流派分歧矩阵(framework 甜区,保留分歧不和稀泥):
evidence: [T06-S001, T01-S004, T04-S003]
figures(立场锚点,活着的解释者):Georgi Gerganov(whisper.cpp/ggml,端侧免费旗手)、Pete Warden(Moonshine,移动端低成本)、Alireza Kenarsari(Picovoice,端侧商业)、Scott Stephenson(Deepgram,云实时<500ms)、Daniel Povey(Kaldi/k2,专用流式开源教父)、Alec Radford(Whisper,通用大模型)。evidence: [T01-S001, T01-S004]
技术血脉:HMM-GMM(Kaldi) → CTC(Graves 2006) → RNN-T(Graves 2012,流式主干) → wav2vec2 自监督 → Conformer → Whisper(弱监督大模型 2022) → 端侧量化(whisper.cpp/ggml) + 中文 NAR(Paraformer/SenseVoice)。未解核心分歧:自报 WER 不可比(厂商 vs 第三方差 3×)、通用大模型 vs 专用流式谁是未来、端侧能否吃下高准确长音频。evidence: [T04-S002, T04-S003, T04-S016]
<!-- SLOW_UPDATE_END -->
This skill's modules decay at different speeds. Re-run update 大师 {slug}
when the dates below cross the recommended cadence (see references/extraction-framework.md § 八).
| Module | last_updated | decay_risk | Recommended refresh cadence |
|--------|-------------|-----------|---------------------------|
| Mental models | last_updated: 2026-06-04 | decay_risk: low | 1-2 years |
| Standard playbook | last_updated: 2026-06-04 | decay_risk: low | 6-12 months |
| Tool stack | last_updated: 2026-06-04 | decay_risk: high | 3-6 months |
| Workflows / pipeline | last_updated: 2026-06-04 | decay_risk: high | 3-6 months |
| Expression DNA | last_updated: 2026-06-04 | decay_risk: low | 6-12 months |
| Sources (Track 5) | last_updated: 2026-06-04 | decay_risk: medium | 6 months |
| Glossary / standards / regulations | last_updated: 2026-06-04 | decay_risk: medium | 6 months (regulations may force sooner) |
| Intellectual genealogy | last_updated: 2026-06-04 | decay_risk: low | 1-2 years |
| Honest boundaries | last_updated: 2026-06-04 | decay_risk: low | re-assess each refresh |
last_updated values reflect the synthesis date. Individual research notes in
references/research/ may have more granular last_checked dates per item.
Take swaylq/speech-to-text-master from the repository into ~/.claude/skills for personal
use, or into .claude/skills inside a project.
The agent identifies a skill by the name field in its header. Two skills with the
same name cannot sit side by side — one of them will be ignored.