张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,戳此立抢

剑桥大学的研究人员设计了一个AI“偷听”算法

新智元 2019-04-08 08:46 次阅读

获取用户在虚拟屏幕上的文本输入,需要克服两个难题:首先是通过声音判断敲击的位置;其次是消除噪音干扰。剑桥大学的研究人员设计了一个AI“偷听”算法,可以通过监听手指敲击屏幕的声音窃取手机密码。

盗取密码,只要听听你敲键盘的声音就够了。

曾经,通过键盘记录程序来盗取密码就已经非常可怕了;然而,现在更骇人听闻的黑科技诞生了!

剑桥大学的研究人员设计了一个AI“偷听”算法,只需要通过监听手指敲击屏幕的声音,就能够窃取到手机密码:

论文地址:

https://arxiv.org/pdf/1903.11137.pdf

这个新颖的攻击方法的原理是将手指敲击屏幕所产生的声音,在虚拟键盘上恢复成对应的输入字符

论文作者表示:

敲击屏幕的声波可以通过设备的麦克风进行恢复,就像“听到”了手指的触摸一样,虚拟屏幕上声波的失真的这一特征便是敲击键盘的位置。因此,只需要通过内置麦克风录下声音,恶意程序就可以在用户输入时推断出对应的字符。

实验原理

针对键盘的声学攻击并不新鲜。

利用麦克风,根据键盘独特的物理特性或缺陷来识别物理按键的方法已经很成熟了,但是在虚拟键盘的识别上存在着很大的困难。因为虚拟键盘上的点击发生在同一个表面上,需要通过一些特殊的方法来确定手指敲击的位置。

剑桥大学的研究团队开发了一款app,可以复原敲击的声音,并将其与击键联系起来。该程序使用的机器学习算法是离线训练的,并针对特定的智能手机或平板电脑模型进行调整。

这个算法需要克服一个重大的工程挑战在于:如何解释敲击时,指尖所产生的干扰振动。事实上,当用手指敲击屏幕的时候,声波不仅在空气中传播,更重要的是在设备本身之间传播。敲击会导致屏幕震动,而这种震动模式,可以被多麦克风捕获并进行区分。

实际应用场景中,噪声会极大的影响麦克风对敲击声的探测。为了解决这一问题,研究人员将反馈声音与振动反馈进行交叉关联,消除振动反馈的歧义,同时除去了振动数据。

结果显示,对于平板电脑,在20次尝试中回收了200个4位pin码中的61%,即使模型没有使用受害者的数据进行训练;对于智能手机,恢复了9个大小为7-13个字母的单词,在一个常见的侧通道攻击基准中尝试了50次。

实验设计

实验设置

剑桥研究团队开发了一个 Android 应用程序,参与者分别使用全键盘和9宫格数字键盘输入单词、任意数字或4位数字(PIN码),横屏或者竖屏都可以。该app应用程序通过内置麦克风收集音频

9宫格数字键盘的尺寸和形态是固定的,因此只需要在智能手机上测试竖屏状态下的数字输入即可。而全键盘则需要在手机和平板上,对横屏和竖屏状态分别进行测试。

参与测试的志愿者在三个不同的地方完成了这项任务,分别是

公共休息室。背景中有人在聊天,偶尔会有一台咖啡机做咖啡的吵声

阅览室。背景中人们要么在电脑上打字,要么用很轻的声音说话

图书馆。都很安静,但是附近的笔记本电脑持续发出咔哒咔哒的声音

这三个地方都开着窗户,因此室外的噪音也掺杂其中。

空气中声音的速度取决于温度,因此数据只在白天室内收集,温度在22-25摄氏度之间。实验设备关闭了所有运行中的其他app,只打开实验用的app。

实验使用的设备Nexus 5和Nexus 9,尺寸分别为137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。两款设备都有两个麦克风,拥有标准的采样率。Nexus 5的主麦克风位于设备底部,副麦克风位于顶部。Nexus 9一个在底部,另一个在右侧。两台设备均基于Android 5.1.1 Lollipop系统,该系统目前市场占有率约20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止对PIN输入使用反馈机制,所以只对文本输入进行了测试。值得注意的是:由于该方式比较新颖,缺乏标准的基准测试,读者可以自行评估以下两个结论:

对小型虚拟键盘的攻击与对大型物理键盘的攻击效果差不多

尽管面对噪音这一强干扰项,该方式仍然能够获得同使用其他探测器类似的效果

数据收集

实验共有45名参与者,其中21位女性、24位男性;实验共获得30个小时的音频数据。实验分为4个部分:

第一组测试者每人随机敲击9宫格数字键盘10次,每次1个数字

第二组测试者每人敲击9宫格键盘200次,每次4个数字

第三组测试者随机敲击全键盘上的字母

第四组测试者敲击全键盘,输入NPS聊天语料库中的5个字母的单词

表1所有字母和单词输入实验的摘要

单个数字推断

第一次尝试进行单一数字分类时的训练、测试和与主题无关(即LOSO)的准确性如表2所示。

表2Nexus 5智能手机的个位数分类精度

对于与主题无关的情况(LOSO),标准偏差更高。

在最坏的情况下,仅使用底部麦克风,预测数字会比随机猜测略好;但在最好的情况下,几乎一半的数字在第一次尝试时被正确预测。 顶部麦克风的结果仍然较高,在最差情况下为两倍,在最佳情况下为85%。 使用两个麦克风,正确预测在最坏情况下比随机猜测好3倍;和100%的数字在最好的情况下。

当一个数字预测不正确时,分类器会快速纠正它(根据分类器生成的预测的置信值对猜测进行排序)。例如,使用两个麦克风(如上图所示),30%的错误预测在第一次尝试后被修正,另外20%在第二次尝试时被修正。固定的速度然后变得平缓。这意味着,在三次尝试中,分类器正确地预测了80%以上的数字。

4位数字推断

4位PIN的预测结果如下图所示。

使用单个麦克风,10次尝试后可以恢复54%的PIN。通和先前工作进行了比较发现,在很多情况下往往表现的更好,在其他方面也不输给先前工作。例如,使用两个麦克风,只需20次尝试就可以恢复91/150个PIN码,并不需要知道PIN码的分布情况,也不需要知道后续点击之间的时间间隔。

字母和单词推断

全键盘的预测结果,如表3所示。

表3单字符分类精度为26类

如果同时使用一个麦克风进行LOSO和测试,要比随机猜测高出三倍。顶部麦克风捕获的声音,比来底部麦克风产生更好的效果。

实验还发现,在手机上竖屏要比横屏效果更好;而平板上则没有太大区别。

实验结果表明,依靠TrustZone等隔离机制来保护用户输入并不总是足够的。

移动设备可能需要更丰富的功能模型,更加用户友好的传感器使用通知系统以及对底层硬件泄漏的信息的更全面评估。

原文标题:剑桥大学AI“偷听”算法:按屏幕听声音,手机密码不保

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

AI 客服新时代现在来了吗

随着互联网、大数据等技术的飞速发展,人工智能应用也在不断提升。
发表于 06-20 17:46 41次 阅读
AI 客服新时代现在来了吗

云计算的贪吃蛇游戏

这正是计算的一种趋势。此前,海量的数据无时无刻都在云中诞生,并有很多工作负载不断迁移到云中,云计算吞....
的头像 知IN 发表于 06-20 17:16 80次 阅读
云计算的贪吃蛇游戏

华为三屏双折叠智能手机设计专利曝光

近日,外媒LetsGoDigital发现了华为三屏双折叠智能手机设计专利,该专利于2018年夏季的专....
的头像 芯智讯 发表于 06-20 17:13 171次 阅读
华为三屏双折叠智能手机设计专利曝光

AI芯片及平台你了解多少

无论是城市级解决方案还是行业解决方案,其系统平台都需要承载、接收处理、反馈庞大的信息数据量,无疑AI....
发表于 06-20 16:57 37次 阅读
AI芯片及平台你了解多少

仅仅100天,合力泰打出布局印度手机市场的“王炸”

3月启动投资,3月开始建厂,6月14日投产。
的头像 第一手机界 发表于 06-20 16:42 134次 阅读
仅仅100天,合力泰打出布局印度手机市场的“王炸”

手机电池供应商飞毛腿5000万港元布局印度

中国手机供应链布局印度的步伐,在2019年猛然加速。
的头像 第一手机界 发表于 06-20 16:39 104次 阅读
手机电池供应商飞毛腿5000万港元布局印度

索尼后置六摄手机相机配置及渲染图曝光 前后八摄

此前,爆料称日本科技巨头索尼正在研发一款背面有六颗摄像头的Xperia智能手机。现在,推特上有爆料达....
的头像 摄像头观察 发表于 06-20 16:38 86次 阅读
索尼后置六摄手机相机配置及渲染图曝光 前后八摄

人工智能会为视觉行业带来什么

人工智能促使视觉系统中的硬件发生变化,并且对一些已经细分的市场产生了重要影响。
发表于 06-20 16:32 33次 阅读
人工智能会为视觉行业带来什么

怎样才能让AI有记忆和反应

记忆是当前人工智能所不具备的,但这对于预测未来的任务非常重要。
发表于 06-20 16:13 23次 阅读
怎样才能让AI有记忆和反应

华为手机海外市场跌20%,任正非:现正恢复中

华为在国内市场的持续高速增长,能够缓解华为在国际市场的出货下降。
的头像 DIGITIMES 发表于 06-20 16:12 171次 阅读
华为手机海外市场跌20%,任正非:现正恢复中

你对于AI的分类与演进了解吗

是人工通过高强度的计算能力,并基于大量的环境数据、行为数据、历史数据等大数据支持,或是一定规则的自学....
发表于 06-20 16:06 28次 阅读
你对于AI的分类与演进了解吗

你愿意让AI来帮你养老吗

需求+技术+商业机构+政府福利性投入,或许全面的AI养老也将不再遥远。
发表于 06-20 16:01 24次 阅读
你愿意让AI来帮你养老吗

IBM | AI时代,你的孩子能跑赢“机器”吗?

AI时代究竟是什么样,1000个人可以有1000种想象。
的头像 IBM中国 发表于 06-20 15:54 119次 阅读
IBM | AI时代,你的孩子能跑赢“机器”吗?

你愿意让机器人记录你的一生吗

需求+技术+商业机构+政府福利性投入,或许全面的AI养老也将不再遥远。
发表于 06-20 15:54 21次 阅读
你愿意让机器人记录你的一生吗

如何让AI变得有味道

眼耳鼻舌身意,这些结合起来,才是我们想象中AI完整的样子。
发表于 06-20 15:29 22次 阅读
如何让AI变得有味道

工信部网泄露6/12GB内存版本华为P30 Pro 即将发布

近日据工信部网站显示,工信部泄露了新款的华为P30 Pro手机,分为低中高配三个版本,RAM容量变成....
的头像 MCA手机联盟 发表于 06-20 15:29 199次 阅读
工信部网泄露6/12GB内存版本华为P30 Pro 即将发布

中兴高管回应新支点操作系统应用适配少 需要长期过程

针对网友关于中兴新支点操作系统应用适配少的评价,中兴手机战略发展部主管吕钱浩作了回应。
的头像 MCA手机联盟 发表于 06-20 15:26 140次 阅读
中兴高管回应新支点操作系统应用适配少 需要长期过程

59%的中国籍AI研究人员隶属美国研究机构

大多数在中国国籍的高级研究人员就读于美国的高校,其中大多数毕业后在美国工作。
的头像 大数据文摘 发表于 06-20 15:21 64次 阅读
59%的中国籍AI研究人员隶属美国研究机构

小米高管回应Realme推骁龙855旗舰传闻 对用户来说是好事

被不少人看作是对标Redmi的Realme,近日传出了要推出骁龙855旗舰机的消息,对此小米高管进行....
的头像 MCA手机联盟 发表于 06-20 15:20 137次 阅读
小米高管回应Realme推骁龙855旗舰传闻 对用户来说是好事

Facebook进行虚拟环境中的AI化身模拟

Facebook AI Research刚刚推出一个名为AI Habitat的项目,研究对象为一款可....
的头像 AR联盟 发表于 06-20 15:16 103次 阅读
Facebook进行虚拟环境中的AI化身模拟

全球AI专利之王——微软AI专利数可能比你论文字数都多!

全球AI专利之王竟然不是谷歌?
的头像 网易智能 发表于 06-20 15:13 153次 阅读
全球AI专利之王——微软AI专利数可能比你论文字数都多!

研究人员提出了用于活动检测可穿戴设备的AI框架

活动检测可穿戴设备并不完全新颖 - Apple Watch,Fitbit的健身可穿戴设备阵容,以及运....
的头像 OFweek可穿戴设备网 发表于 06-20 15:12 111次 阅读
研究人员提出了用于活动检测可穿戴设备的AI框架

中国AI语音芯片现在处于什么阶段

发展逻辑,各自对应了新的技术挑战与变化机遇。
发表于 06-20 15:11 12次 阅读
中国AI语音芯片现在处于什么阶段

使用iOS 13「深色模式」可以保护我们的双眼?

如果真的想保护双眼健康,不如先说服自己,睡前放下手机试试?
的头像 网易智能 发表于 06-20 15:10 93次 阅读
使用iOS 13「深色模式」可以保护我们的双眼?

依图医疗携手华为率先进入医疗智能云时代

依图医疗与华为联合发布智能医疗云,深度融合了世界级领先的“大数据、AI、云” 技术,真正激活千千万万....
发表于 06-20 15:10 39次 阅读
依图医疗携手华为率先进入医疗智能云时代

人工智能如何让科幻和现实交融

人工智能的起源可以追溯到哲学、虚构和想象。
发表于 06-20 15:03 20次 阅读
人工智能如何让科幻和现实交融

人工智能现在可以怎样改变医疗保健领域

医疗是一个几乎和人工智能一样宽泛的术语,所以当你将两者结合起来时,知道从哪里开始可能是一个挑战。
发表于 06-20 14:59 13次 阅读
人工智能现在可以怎样改变医疗保健领域

你敢让AI在你身上动刀吗

外科手术机器人快速成长的背后,不仅折射出已经重构了的医疗行业,同时也揭示,在人工智能的浪潮之中,人类....
发表于 06-20 14:53 18次 阅读
你敢让AI在你身上动刀吗

牧星智能“软”“硬”结合 打造更高效的智能仓储物流

牧星通过优化算法实时动态计算搬运车辆的行走路径,从而保证路径的最优,自动规避拥堵路段,实现仓储机器人....
的头像 新战略机器人 发表于 06-20 14:50 102次 阅读
牧星智能“软”“硬”结合 打造更高效的智能仓储物流

如何让AI变成一个厨神

通过给人工智能提供制作比萨饼的各种步骤,例如擀面团、添加酱汁、奶酪和配料等完成的。
发表于 06-20 14:33 27次 阅读
如何让AI变成一个厨神

最强拍照手机 荣耀20 Pro首销3秒破亿

近日,荣耀20 Pro正式首发开售,根据荣耀手机官方公布的战报显示,荣耀20 PRO首销3秒破亿,1....
的头像 MCA手机联盟 发表于 06-20 14:24 236次 阅读
最强拍照手机 荣耀20 Pro首销3秒破亿

2023年全球5G智能手机出货量或将达到10.8亿台!

据台湾经济日报报道,群智咨询(Sigmaintell)最新5G专题分析预估,今年全球5G终端手机销量....
的头像 MCA手机联盟 发表于 06-20 14:17 297次 阅读
2023年全球5G智能手机出货量或将达到10.8亿台!

小米获胜 小米生活被判侵权且需要赔偿5000万元

小米打官司获胜了,那个山寨小米的小米生活被判侵权,且还需要赔偿小米公司5000万元。
的头像 MCA手机联盟 发表于 06-20 14:12 99次 阅读
小米获胜 小米生活被判侵权且需要赔偿5000万元

AI+自动驾如何成为夜空中最闪亮的星

5G和AI将能感知覆盖更多场景、弥补路测数据的不足,将无人驾驶的安全性提高一个数量级,从而可以更快实....
发表于 06-20 11:30 31次 阅读
AI+自动驾如何成为夜空中最闪亮的星

英特尔以数据为中心产品组合 加速HPC和AI工作负载不断融合

英特尔公司副总裁兼企业与政府事业部总经理Rajeeb Hazra博士在近日于德国法兰克福举行的201....
的头像 知IN 发表于 06-20 11:19 319次 阅读
英特尔以数据为中心产品组合 加速HPC和AI工作负载不断融合

阿里“AI助理法官”在杭州互联网法院试点上岗

近日,阿里达摩院发布了一项新研究:其AI技术进化到助理法官的水平,具备自主判案能力,判案时间最快仅需....
的头像 机器人技术与应用 发表于 06-20 11:10 220次 阅读
阿里“AI助理法官”在杭州互联网法院试点上岗

华为开启全球智能手机的压力触控时代

国内安卓智能机市场竞争惨烈,产品同质化问题越来越严重,创新成为杀出重围的*根本力量,大家开始发问:什....
发表于 06-20 10:12 50次 阅读
华为开启全球智能手机的压力触控时代

智能可穿戴产品持续快速增长 一季度出货量同比增长三成

尽管智能手机的增长停滞不前,但有报告指出,智能可穿戴产品在今年一季度继续快速增长。业内分析认为,随着....
的头像 第一手机界 发表于 06-20 09:53 233次 阅读
智能可穿戴产品持续快速增长 一季度出货量同比增长三成

人工智能改变教育行业已成为全球共识

当前社会正处于教育系统变革的关键时期,联合国教科文组织提出的可持续发展目标(SDG4)可作为教育变革....
发表于 06-20 09:52 30次 阅读
人工智能改变教育行业已成为全球共识

手机渠道暗战汹涌 小米三年50亿元破题

近日,小米集团董事长雷军在小米中国区团队举办的闭门动员会上宣布,未来三年将在新零售建设方面追加总额5....
的头像 第一手机界 发表于 06-20 09:46 132次 阅读
手机渠道暗战汹涌 小米三年50亿元破题

相机大厂徕卡宣布裁员百人 未来研发重心以软体为主

日前,百年的德国相机大厂徕卡(LEICA) 就宣布,将裁员百人,并将把发展重心集中在软体的研发上,以....
的头像 摄像头观察 发表于 06-20 09:38 159次 阅读
相机大厂徕卡宣布裁员百人 未来研发重心以软体为主

索尼后置六摄手机再曝光 这样的手机DxO排名得多少分?

近日我们了解到索尼将推出一款后置六摄的手机,不过对于用户来说更多的是持保守态度的观望状态。
的头像 科技美学 发表于 06-20 09:27 177次 阅读
索尼后置六摄手机再曝光 这样的手机DxO排名得多少分?

华为nova系列三款齐发 还将首发麒麟810

距离21日华为nova5系列正式发布还有不到两天的时间了。关于华为nova5系列的机型配置信息目前已....
的头像 科技美学 发表于 06-20 09:23 185次 阅读
华为nova系列三款齐发 还将首发麒麟810

小米美图官宣小仙女 采用后置浴霸式三摄

近日,小米正式“官宣”美图,宣布了小米和美图一同研发的新机即将诞生,是一款女性专属定制手机,命名为“....
的头像 科技美学 发表于 06-20 09:14 183次 阅读
小米美图官宣小仙女 采用后置浴霸式三摄

生物识别技术落地应用将面临的挑战有哪些

生物识别技术的广泛应用很大程度上是为了提升各场景下个人身份认证的安全性、认证效率及认证过程中的用户体....
发表于 06-20 09:09 31次 阅读
生物识别技术落地应用将面临的挑战有哪些

如何利用人工智能来管理道路标志基础设施

使用人工智能(AI)从谷歌图像中识别街道标志,以确定是否需要更换。
发表于 06-20 08:39 32次 阅读
如何利用人工智能来管理道路标志基础设施

AI与广告结合改变零售行业的方式有哪些

随着技术的逐渐成熟,AI技术也开始向数字标牌领域渗透,并悄然改变着零售业的运作模式。
发表于 06-20 08:33 21次 阅读
AI与广告结合改变零售行业的方式有哪些

无所不能的“GAN”究竟是什么?

虽然近期对GAN存在着大量炒作,但它显然是近年来从AI领域出现的最有趣的新概念之一,我们可以期待在不....
的头像 新智元 发表于 06-19 17:27 372次 阅读
无所不能的“GAN”究竟是什么?

新机外观设计遭“实锤”!三星 GalaxyNote10 Pro的保护壳曝光

虽然还有一个多月三星GalaxyNote10系列才会正式发布,但是目前详细的外观设计以及大致的配置信....
的头像 大健康产业情报 发表于 06-19 17:21 342次 阅读
新机外观设计遭“实锤”!三星 GalaxyNote10 Pro的保护壳曝光

华为 | 旗舰新机Mate30 Pro高清渲染图曝光

全新的华为Mate30系列旗舰将在9月份左右亮相,依旧将提供Mate30和Mate30 Pro两款。
的头像 摄像头观察 发表于 06-19 17:19 460次 阅读
华为 | 旗舰新机Mate30 Pro高清渲染图曝光

32 W Type-C接口QC-3.0适配器解决方案设计说明

DN05099 / D,Design Note描述了一个36瓦的Type-C接口QC-3.0,通用交流输入,用于智能手机的恒压电...
发表于 06-19 08:10 35次 阅读
32 W Type-C接口QC-3.0适配器解决方案设计说明

基于NFC技术的智能手机设计

智能手机已成为终端厂商最关注的IT产品之一,如何以最有效率的方式推出各种不同新机型,满足客户营销及市场需求,已成为最重要...
发表于 06-19 06:30 17次 阅读
基于NFC技术的智能手机设计

可重构波束天线技术在增加网络容量应用

  随着数据服务用户数量的不断增加和单位用户流量的增加,全球市场上的无线数据流量正以指数级的趋势不断增加。由于其增大的容...
发表于 06-11 07:31 71次 阅读
可重构波束天线技术在增加网络容量应用

智能手机射频前端控制协议如何调试和测试

近年来智能手机的发展,使射频前端设备的需求量大幅增加,而要兼容所有这些设备非常困难。目前MIPI联盟制定了一套RFFE标...
发表于 06-10 08:09 64次 阅读
智能手机射频前端控制协议如何调试和测试

多模LTE智能手机评估的问题

下一代LTE 移动通讯产品有望成为新的全球标准。但是,因为在初始阶段LTE 的服务范围有限,所以LTE 智能手机还必须支持其...
发表于 06-05 07:16 83次 阅读
多模LTE智能手机评估的问题

CMMB移动电视系统结构设计

0 引言 中国移动多媒体广播电视(CMMB)标准作为中国自行研发、完全掌握自主知识产权的移动多媒体标准,以其高速率、低功...
发表于 05-31 05:00 73次 阅读
CMMB移动电视系统结构设计

请问有智能手机设计方案吗?

想找找看有没有关于智能手机的资料
发表于 05-23 01:09 94次 阅读
请问有智能手机设计方案吗?

智能手机上的七大传感器你了解吗

随着技术的进步,手机已经不再是一个简单的通信工具,而是具有综合功能的便携式电子设备。手机中常见的传感器,其原理和用途,你...
发表于 05-08 06:21 124次 阅读
智能手机上的七大传感器你了解吗

Data Dashboard for LabVIEW的优势

1.有什么优势?         智能手机和平板电脑的全球销量已经超越了传统的笔记本电脑和台式电脑...
发表于 04-19 09:40 195次 阅读
Data Dashboard for LabVIEW的优势

无线蓝牙耳机推荐 2019引爆数码圈的五大品牌

无线蓝牙耳机推荐 2019引爆数码圈的五大品牌         对于一个及其的懒人来说,用惯了蓝...
发表于 04-18 15:50 568次 阅读
无线蓝牙耳机推荐 2019引爆数码圈的五大品牌