一位 SMA(脊髓性肌肉萎缩症)玩家的真实需求
用声音,
打出下一招。
身体活动受限,也想畅快玩游戏。
我们希望用简短的声音,实时触发电脑按键,让每一次操作都跟得上自己的判断。
正在寻找更好的方案,欢迎一起想办法。
完整技术需求想实现什么,试过什么,需要什么帮助
我们想实现什么?
有没有一种办法,让声音像按键一样,反应快、能连续操作,也不容易被环境声音干扰?
一位 SMA(脊髓性肌萎缩症)玩家,因为身体运动功能受限,难以用键盘完成游戏中的实时操作。他希望保留鼠标操作,用简单的声音控制按键。
连续发出几个短口令,电脑就准确、依次按下对应的键。两条口令之间不必刻意停顿,按键时机由玩家自己决定。
我们还没有找到能同时满足这些要求的办法,希望懂技术的朋友帮忙看看,还有没有更合适的实现方式。
试过的方案:VoiceAttack
VoiceAttack 可以把语音口令映射成键盘等操作。在目前使用的配置里,两条短口令之间需要明显停顿,估计约 0.5 秒才比较稳定。
连续口令也可能被合并。比如希望“一”和“百”分别触发两个键,连续说时却被识别成“一百”,导致两条指令无法分别执行。
约 0.5 秒是个人使用估计,未做统一测量。这里描述的是当前配置下的体验,不代表所有版本或配置,也没有确认其底层架构。
试过的方案:云端流式 ASR
也尝试过云端流式语音识别,例如豆包流式识别。它可以边说边输出文字,但试用中的单字短口令不够稳定,响应延迟估计约 600 毫秒,仍影响即时操作。
约 600 毫秒是个人试用估计,不是服务商的官方指标。网络、模型、接口及实现方式都会影响结果。
试过的方案:民间声音匹配工具
这款尚未开源的民间软件,可以先录入声音样本,再关联到按键。检测到相似声音时就触发对应操作,使用中响应较快,也能连续触发不同按键。
目前主要问题是抗干扰弱:附近有人说话、电视声、游戏音效或其他相似声音,都可能导致误按,有时还会同时触发多个键。
这个方向值得继续探索,希望有更多开发者一起改善。
以上是软件外部表现。未了解源码,无法确定它具体采用什么算法,也不能将它直接称为“声纹识别”。
为什么不能直接用宏?
“用 VoiceAttack 设一句口令,自动完成整套连招,不就可以了吗?”
宏按预设的顺序和间隔执行。游戏里的时机却不断变化:Boss 快速出刀,需要及时格挡;慢速蓄力,要等到合适的一刻再按。固定节奏难以适应这些变化。
玩家自己看画面、判断时机,声音负责触发那一次按键。
技术目标与待测指标
| 低延迟 | 从发声到键盘执行尽量快。100~200 毫秒可作为讨论中的候选目标,尚待需求提出者确认,未实现或测量验证。 |
|---|---|
| 连续触发 | 短口令可以快速连续输入,尽量避免漏识别、合并或重复触发。最短可用间隔待测试。 |
| 抗干扰 | 区分玩家指令与旁人说话、游戏音效、电视及环境杂音。误触发率、漏触发率、准确率目前没有严格实测数据。 |
| 实际使用 | 考虑 Windows、普通麦克风、自定义口令与标准键盘事件。离线、在线及长期运行方式可以继续讨论。 |
约 800 毫秒指部分游戏场景的操作窗口举例,不等于已经确定的语音系统延迟上限。
测试时,把几种延迟分开记录
- 发声起点到按键触发。
- 口令结束到按键触发。
- 游戏收到按键到出现画面反馈。
在相同设备、麦克风与环境下,分别测试连续口令、背景人声和游戏音效,记录漏按、误按以及一次触发多个键的情况。
现场可以体验什么?
现场有一个语音操控小游戏,可以尝试攻击、踢击和闪避,感受延迟、连续输入和环境声音带来的影响。
小游戏用于帮助大家理解需求和发现问题。现场可体验的外部方案,以当时实际运行情况为准。
想请懂技术的朋友帮帮忙
低延迟、连续触发、抗干扰,这三个要求能不能同时做到?
我们已经试过一些办法,但还没解决这个问题。希望在这里遇到懂语音识别或软件开发的朋友,一起聊聊有没有可行的方向。
如果你愿意进一步帮忙实现,也很期待与你交流。我们可以配合试用,把实际遇到的问题反馈给你。
PPT 演示资料原有 10 页,展开后左右滑动浏览










有想法,欢迎一起聊聊。
如果你对这个问题有想法,或愿意帮我们一起想办法,欢迎来聊。
