使用肌电图检测手势和肌肉活动的可控假手。该项目的目标是经济实惠、可升级、可修复和灵活。为了使其价格合理，它由3D打印部件组成，仅使用普通电子部件。手是通过前臂上部肌肉活动读取的肌电信号来控制的。然后，这些肌电信号通过蓝牙传输到Raspberry Pi。树莓皮然后处理这些信号并相应地移动伺服电机。该项目仍处于早期阶段，许多方面有待改进。电生物信号由于其隐藏的性质并允许活体检测而被视为生物特征。本研究探讨了表面肌电图 (sEMG)（肌肉活动的电表现）作为生物特征的可行性。sEMG 的准确手势识别提供了优于两种传统电生物信号特征心电图 (ECG) 和脑电图 (EEG) 的独特优势，使用户能够自定义自己的手势代码。在两种身份管理模式下系统地研究了 16 种静态手腕和手势的性能：验证和识别。结果表明，对于单个固定手势，仅使用 0.8 秒的数据，验证的平均等错误率 (EER) 为 3.5%，识别的平均 rank-1 为 90.3%，两者都与报告的心电图和脑电图的性能相当。自定义手势代码功能可进一步将验证性能提升至 1.1% EER。这项工作证明了 sEMG 作为生物特征在用户验证和识别中的潜力和有效性，有利于未来生物特征系统的设计。追忆当年的VR设备,面对着眩晕、画质差、玩一会儿就烫手、板砖重量、价格高等各种各样的问题,随着产业链完善和技术发展这些问题已经被解决。而后没两年VR又进入了低谷期,那时候关键话题是“如何让更多的人看到VR、使用VR“,从这时起VR开始越来越重视生态。而随着Quest 2的大热,VR走进千家万户的正确方法得到了验证。

在Metaverse火的一塌糊涂的2021,VR/AR面对的新问题是什么? 有一个有趣的现象,不论是网络红人马斯克还是社交AI扎克伯格,甚至(从你口袋)淘金大手G胖,这两年都越发关注“交互”,三者都通过收购等方式入局脑机接口,扎克伯格在Quest里装上好用的手势识别,乃至一直在VR圈赫赫有名的HTC也联合了声网,打算从底层更新语音交互。这释放了一个信号,VR/AR在2021,可能也包括接下来的几年,要解决的首要问题就是交互。

脑机接口应用广泛,但距离商用还太远;手势识别需要的算力太强,如何放在AR眼镜里仍是个问题;语音交互涉及隐私、公共场合尴尬的问题,对消费者不友好……除此之外,还有最近风很大的一个选择——肌电手环。

海外大厂近期发力肌电技术

国内齐头并进稳步发展

进入2021年之后,苹果、Facebook纷纷更新动向。扎克伯格在媒体场合活跃,数次表态将继续深耕VR/AR领域交互体验,并认为这是下一代计算平台。苹果则习惯“先抑后扬”,但产品硬件、技术的迭代,仍旧能够看出苹果对AR的信心,特别是今年硬件产品实装肌电技术后。

今年5月,Apple Watch展示最新Assistive Touch(辅助功能,俗称小白点),用户可以通过手势操作界面。通过简单的连续2次握拳、抬腕、轻捏指尖就能够实现选择、滑动和确认,苹果表示,这是为了帮助障碍人士更好地使用产品。

图源:VR陀螺

在随后的WWDC21上,苹果进一步对Apple Watch的Assistive Touch进行介绍。在介绍中看到,即便无法使用手势,也可以通过轻微改变抬腕角度来进行滑动、停留进行选择。

就在今日,苹果曝光最新专利涉及用于确定用户手腕轴向方向和位置的系统和方法。该专利显示Apple Watch增加多个传感器,其中包括在表带部分的多个EMG(肌电图)传感器。这项专利支持运动性能分析,例如抓握棒球棒、足球、高尔夫球杆等运动器材等等。

也就是说,苹果对肌电技术的使用从辅助障碍人士使用电子产品,向运动健康领域进阶。以苹果“步步为营”的风格,几乎可以确定,苹果正在为肌电技术在AR眼镜上的使用进行测试和铺垫。外网分析人士也表示,该功能或将能够搭配未来的HMD使用。

图源:patentlyapple

无独有偶,6月上旬,Facebook曝出计划在2022年夏季推出首款智能手表。结合3月Facebook的肌电手环消息可以推断,Facebook着眼于使用类似手表、手环的设备作为将来AR眼镜的交互终端——而这一技术来自于2019年Facebook斥资10亿美元收购的脑机接口初创公司CTRL-Labs。

同样的,从2019年开始,谷歌收购了AR眼镜公司North．Inc后,又陆续更新了关于手表使用手势和EMG功能的专利。

图源:patentlyapple

再来看看国内的机电技术发展形势。 2013年,全球有两大肌电技术知名企业,Thalmic Labs和OYMotion,前者就是被谷歌收购的North．Inc,而后者则是国内的傲意科技。在2016年,傲意科技就正式发布首款肌电手环产品——gForce EMG肌电手环Beta版,在2017年的CES上也受到了广泛关注。在同一时期,来自西安的比奇创新也发布了千元级肌电产品DTing。

此外,从2017年左右开始,还有关于肌电技术应用于手势识别交互的众多科研项目、创业项目在同步进行。 国内方面,技术的发展与国外同时起步,虽没有大厂催生,但仍在稳步发展。即使把海外的时间线拉到2016年,在核心技术的发展上,国内技术也并没有落后。

整体来看,机电技术的C端商业化落地重点还是落在海外大型企业身上。在它们的影响下,谷歌里随便搜一搜类似的肌电手环的关键词,发现在最近它的用途开始逐渐发散,不仅有包含Assistive Touch功能的第三方肌电表带配件正在众筹,甚至发展出了成人业务。 可以看出,一方面,从19年大厂入局肌电技术后,海外相关行业开始快速增长,应用领域也逐渐增多;而另一方面,也代表着像苹果、Facebook这样的企业,开始将肌电技术作为未来AR交互方式的答案。那么这一技术到底发展到什么程度,在这一赛道上,如果没有大厂催化,小公司能实现技术落地吗?

商用肌电技术的内涵:

人体是一块“电池”

严格来说,肌电手环只是使用肌电信号控制设备的仪器。所谓肌电信号,维基百科给出的解释是,当肌肉细胞被生物电或者神经激活时产生的电能。 而将单个或者多个肌肉细胞或者部分肌肉组织活动时产生的生物电变化,经电极引导,放大、记录和显示所获得的电压变化的一维时间序列信号图形,就是肌电图(electromyogram,简称EMG),也就是我们今天能看到的肌电手环等使用的关键概念。

肌电图示意(图源:ResearchGate)

从释义中看,EMG展示了人体肌肉活动时神经细胞的变化图形。用通俗的理解就是,把人比作巨大的电池,在肌肉活动时会释放出一些电量,记录并显示这电量变化的图形就是肌电图。

测量获取肌电图的方式有两种,一种是针电极肌电图,一种是表面电机肌电图。前者通过侵入人体采集信息,又分为单针电极、单极同芯电极、双极同芯电极等。而表面电极肌电图则通过贴在人体表面的电极采集信息,其包含表面EMG(sEMG)与阵列式电极sEMG。

针电极肌电图是通过在人体特定的肌肉插入针或者细线,获取深层肌肉活跃信号,但因为会造成疼痛、操作难度大等问题,难以推广至大面积使用。现在一般科技公司较为常用的是sEMG,也就是表面肌电图,只需要在特定的肌肉部位放置电极即可,无创的同时操作和成本降低。

说完了肌电图的获取,我们再来看看实际把肌电图用起来需要什么。一般来讲,在科技领域使用肌电图是用来控制某种外部装置,如机械手,仿生手臂等;或者用来实现外部设备的无线手势操作、远程控制,比如用肌电手环在VR里实现手势识别。

肌电信息在医用领域的过程步骤较少,经过数次测量获得肌电图后,即可进入分析阶段。可以用来分析药物、毒物、食品和疾病等引起的肌肉功能障碍等等,常用于临床神经生理学、物理医学和医疗康复等领域。

而应用在商业化落地、改变交互方式上,步骤则要更复杂。通常的肌电手环开发商从获取信号到变成功能,需要经历获取肌电信息——处理信息(降噪、放大等)——翻译处理器能够识别的信息——传输到终端——翻译成具体操作——输出等复杂流程,不仅每一步都需要大量运算,跨平台数据传输,而且在过程中还可能产生误差。

这样的基础技术想要实现商业化落地,对开发商的能力要求很高,要么就是需要强大的技术实践背景,不仅掌握肌电相关技术,还了解如手机、电脑、平板、VR/AR技术知识;或者有强大的财力,能够从0开始搭建相关的产业链、技术、生态等环境。

目前有关于肌电技术商业化落地的公司,以上两种类型都有,特别是在苹果、谷歌、Facebook等巨头宣布入场之后,肌电技术市场开始新一轮“风起云涌”。

海外巨头和国内初创PK?

不,是各行其道

前文提到了,虽然海外巨头搅起了风云,但从技术角度讲,国内外实力不相上下,那么新的问题又出现了,难道在肌电技术改变交互形态这一仗,我们要和海外“刚”上了吗? 答案是,非也。在这点上,海内外企业有不同的选择。

首先,方向不同。无论是苹果、谷歌还是Facebook,三巨头对肌电技术的应用都聚焦在同一个领域——智能手表。眼光再长远一些推测,那就是三方共同看好的AR眼镜。

基于苹果给手机搭载UWB定位模块,从Macbook到iPad逐渐替换到性能强大的M1芯片,再到给手表加入手势识别等,我们不难推测,苹果AR眼镜的形态很可能是以搭载M1芯片的智能手机为总计算单元,负责复杂的定位、空间计算等,AR眼镜搭载次级芯片辅助计算,而手表作为主要的手势交互终端,三位一体构成苹果想要的AR体验。

Facebook和谷歌也有类似的想法,在消费级终端加入手势识别,为的就是进一步升级设备,带来更好的用户体验。在日前的AMA问答中,Facebook CEO扎克伯格也明确表示,Facebook未来10年目标是把XR带给更多的人,首先就是要无线体验,其次就是要为更多的人服务。 国内与海外不同,国内的开发者更讲求实际,公司规模小,就要以项目带动技术成长。据VR陀螺采访了解,像傲意科技的肌电设备主要服务于人工智能、医疗康复、机器人等B端领域,以B端的需求来服务公司技术发展。

同样,DTing的设备则多用于运动健康数据监测、分析,辅助康复和治疗、义肢操控等医疗领域。

事实上,海内外发展方向不同的背后,是产业链构成不同。苹果、谷歌和Facebook背后是巨额的财富、可以忽略成本的“豪情”、一条条精美成熟24小时运转的产线、一个个合作数年的靠谱供应商、以及一家家嗷嗷待哺的新伙伴——这代表着产业链上的各个环节,大厂更加优质,能够迅速运行,大批量生产,用产品迭代教育市场。

国内初创企业呢?面对的是因为量小而压不下来的采购成本、上下摆动的供应商地位关系、“东拼西凑”的供应链,以及“嗷嗷待哺”的员工,这一切决定了国内一些初创企业无法像三巨头一样一掷千金的“教育市场”,转而走向以项目、养技术的路线。

此外,更重要的一点是技术内涵不同。巨头因为巨额财富和高社会地位,可以通过收购来实现在技术累积的弯道超车,以庞大的用户数据喂养AI,再用AI弥补理想场景和技术现实的差距。

比如苹果。在上文的科普部分提到,不管是侵入式还是表面的肌电监测,都需要在特定的肌肉上放置检测设备。但苹果的手表——显然是在手腕,不管底部有多少传感器,都是聚焦在手腕那一部分。但为什么效果看起来那么好?合理推测的结果就是,靠AI。

谷歌、Facebook也较为类似。也就是说,巨头在利用新技术时,展示给我们的不是技术本身,而是一套解决方案。

而国内初创公司,比如傲意科技、比奇创新这样的企业,更多的是关注技术的累积和成长,在一次次实践中,优化解决方案。在VR陀螺走访的众多初创企业中,不管受访人身居何位,都对公司的技术、项目了如指掌。 如果说巨头做的是享誉世界的解决方案,国内初创就是从头开始、关注小而美的技术成果。这一切无论好坏,也无关对错,只是选择不同。

总结

讨论完技术内涵、市场形势,再看看实际的——肌电技术还有很多问题。比如人体最自然的出汗,可能严重影响导电效果,虽说导电凝胶能解决,但不能指望大家出门带瓶凝胶;不断对人体信号、机器信号进行翻译,可能会导致误差;市场认知度太低,推广起来不是创业公司就能做到的等等。

说到这里,大家不难发现,“慷慨激昂”了半天,实际肌电技术距离大规模商业化落地还有一段距离,但仍旧值得关注。因为陀螺君始终觉得,保持对新技术的关注,是科技行业昂扬向上的动力。