语音操控铺

一位 SMA(脊髓性肌肉萎缩症)玩家的真实需求

用声音,
打出下一招。

身体活动受限,也想畅快玩游戏。
我们希望用简短的声音,实时触发电脑按键,让每一次操作都跟得上自己的判断。

低延迟连续触发抗干扰

正在寻找更好的方案,欢迎一起想办法。

完整技术需求想实现什么,试过什么,需要什么帮助

我们想实现什么?

有没有一种办法,让声音像按键一样,反应快、能连续操作,也不容易被环境声音干扰?

一位 SMA(脊髓性肌萎缩症)玩家,因为身体运动功能受限,难以用键盘完成游戏中的实时操作。他希望保留鼠标操作,用简单的声音控制按键。

连续发出几个短口令,电脑就准确、依次按下对应的键。两条口令之间不必刻意停顿,按键时机由玩家自己决定。

Q→W→E→R

我们还没有找到能同时满足这些要求的办法,希望懂技术的朋友帮忙看看,还有没有更合适的实现方式。

试过的方案:VoiceAttack

VoiceAttack 可以把语音口令映射成键盘等操作。在目前使用的配置里,两条短口令之间需要明显停顿,估计约 0.5 秒才比较稳定。

连续口令也可能被合并。比如希望“一”和“百”分别触发两个键,连续说时却被识别成“一百”,导致两条指令无法分别执行。

约 0.5 秒是个人使用估计,未做统一测量。这里描述的是当前配置下的体验,不代表所有版本或配置,也没有确认其底层架构。

试过的方案:云端流式 ASR

也尝试过云端流式语音识别,例如豆包流式识别。它可以边说边输出文字,但试用中的单字短口令不够稳定,响应延迟估计约 600 毫秒,仍影响即时操作。

约 600 毫秒是个人试用估计,不是服务商的官方指标。网络、模型、接口及实现方式都会影响结果。

试过的方案:民间声音匹配工具

这款尚未开源的民间软件,可以先录入声音样本,再关联到按键。检测到相似声音时就触发对应操作,使用中响应较快,也能连续触发不同按键。

目前主要问题是抗干扰弱:附近有人说话、电视声、游戏音效或其他相似声音,都可能导致误按,有时还会同时触发多个键。

这个方向值得继续探索,希望有更多开发者一起改善。

以上是软件外部表现。未了解源码,无法确定它具体采用什么算法,也不能将它直接称为“声纹识别”。

为什么不能直接用宏?

“用 VoiceAttack 设一句口令,自动完成整套连招,不就可以了吗?”

宏按预设的顺序和间隔执行。游戏里的时机却不断变化:Boss 快速出刀,需要及时格挡;慢速蓄力,要等到合适的一刻再按。固定节奏难以适应这些变化。

玩家自己看画面、判断时机,声音负责触发那一次按键。

技术目标与待测指标

游戏语音操控的技术目标
低延迟从发声到键盘执行尽量快。100~200 毫秒可作为讨论中的候选目标,尚待需求提出者确认,未实现或测量验证。
连续触发短口令可以快速连续输入,尽量避免漏识别、合并或重复触发。最短可用间隔待测试。
抗干扰区分玩家指令与旁人说话、游戏音效、电视及环境杂音。误触发率、漏触发率、准确率目前没有严格实测数据。
实际使用考虑 Windows、普通麦克风、自定义口令与标准键盘事件。离线、在线及长期运行方式可以继续讨论。

约 800 毫秒指部分游戏场景的操作窗口举例,不等于已经确定的语音系统延迟上限。

测试时,把几种延迟分开记录

  1. 发声起点到按键触发。
  2. 口令结束到按键触发。
  3. 游戏收到按键到出现画面反馈。

在相同设备、麦克风与环境下,分别测试连续口令、背景人声和游戏音效,记录漏按、误按以及一次触发多个键的情况。

现场可以体验什么?

现场有一个语音操控小游戏,可以尝试攻击、踢击和闪避,感受延迟、连续输入和环境声音带来的影响。

小游戏用于帮助大家理解需求和发现问题。现场可体验的外部方案,以当时实际运行情况为准。

想请懂技术的朋友帮帮忙

低延迟、连续触发、抗干扰,这三个要求能不能同时做到?

我们已经试过一些办法,但还没解决这个问题。希望在这里遇到懂语音识别或软件开发的朋友,一起聊聊有没有可行的方向。

如果你愿意进一步帮忙实现,也很期待与你交流。我们可以配合试用,把实际遇到的问题反馈给你。

PPT 演示资料原有 10 页,展开后左右滑动浏览
01 / 10左右滑动 ↔
第 1 页:游戏语音操控
游戏语音操控
第 2 页:说到哪一个,按下哪一个
说到哪一个,按下哪一个
第 3 页:VoiceAttack:指令之间的停顿
VoiceAttack:指令之间的停顿
第 4 页:VoiceAttack:连续口令可能被合并
VoiceAttack:连续口令可能被合并
第 5 页:云端流式识别
云端流式识别
第 6 页:民间方案:声音样本匹配
民间方案:声音样本匹配
第 7 页:民间方案:环境声音误触发
民间方案:环境声音误触发
第 8 页:为什么不能直接使用宏
为什么不能直接使用宏
第 9 页:希望实现的效果
希望实现的效果
第 10 页:一起寻找解决方案
一起寻找解决方案

有想法,欢迎一起聊聊。

如果你对这个问题有想法,或愿意帮我们一起想办法,欢迎来聊。

微信二维码长按二维码保存
语音操控铺 · 现场对接现场可以直接来摊位交流,
也可以进一步联系需求提出者。