(原标题:行业首次!南财召开AI手机隐私保护研讨会 聚焦端侧治理)
21世纪经济报道记者王俊 肖潇 实习生崔嘉豪 北京报道
2023年起,从苹果到三星的手机厂商争相推出AI手机。DeepSeek大模型的火爆更是掀起了新一轮合作热潮,华为、荣耀、vivo等国内厂商陆续宣布接入,为疲软的手机行业注入一剂强心针。
在AI手机里,我们看到了一种近乎“全自动生活”的可能:一句指令可以点咖啡、自动导航路线、AI群发微信红包。
但在享受科技红利的同时,隐私焦虑也在升温。AI手机所面临的考验,不仅来自技术能力的局限,更是安全和规则。
2月15日,21世纪经济报道、南财合规科技研究院主办学术交流会“AI手机隐私危机:新秩序中的安全挑战与抉择”,探讨AI手机时代面临的隐私挑战,推动手机终端厂商、大模型提供者、开发者、政策制定者与消费者寻求共识,探索解决方案。
这也是业内首个端侧AI治理的研讨会,基于21世纪经济报道、南财合规科技研究院此前关于端侧AI长期的关注与研究。
要理解AI手机如何运作,必须从两张“技术地图”开始:端侧AI与云侧AI。
端侧指的是AI在手机等终端设备上进行计算和处理,响应快、隐私保护能力强、网络依赖性低。中国法学会网络与信息法学研究会常务副秘书长周辉在会上指出,端侧AI理论上能够最大限度地减少数据传输,避免用户敏感信息被上传至云端。如果管理到位,这是一种“更私密”的解决方案。
相较之下,云侧AI依托强大的云计算资源,能提供更强的性能,但数据必须频繁上传云端,隐私暴露的风险随之上升。
南财合规科技研究院院长、21世纪经济报道总裁虞伟提及,在此前实测中发现,尽管手机厂商都宣称自己的端侧AI大模型能力,但普遍来看,仍依赖云侧大模型。端云协同中,用户与模型交互数据密切,较多涉及个人隐私。而大模型数据黑箱化,数据处理方多元,交互数据如何流动、是否涉及第三方,种种数据链路都不够透明。
在当前的AI手机开发中,端侧、自研AI的端云配合,第三方AI的端云配合三条技术路线的优劣势各不相同。
尚隐科技有限公司CEO张仁卓指出,纯端侧的模式能完全在本地处理用户的数据,安全性是比较可控。但其风险是,在第三方App介入时,隐私保护的边界往往模糊不清,也容易引发数据滥用或过度采集的问题。
而且受限于算力问题,端侧AI往往难以独立完成所有任务。张仁卓表示,当前的主流模式依然是端云配合,即将数据处理分散到本地与云端。
苹果就是一个典型案例。苹果努力采用本地AI处理数据,但也与其私有云计算(Private Cloud Compute, PCC)紧密配合,由于其具有高度的安全性,被视作“最好的人工智能实现”。
如果接入了第三方AI,情况还会更加复杂。第三方AI模型通常需要访问大量用户数据,增加了数据泄露的可能性。数据在端侧、云端和第三方AI之间的流动复杂,透明度较低,责任分配也不明确,出现问题后也难以追责。
即便是苹果这样的科技巨头,涉及第三方AI的时候,PCC的保护程度也稍显捉襟见肘,仅能保证数据的预处理安全。虽然苹果和谷歌等公司宣称会保护用户数据,但张仁卓指出,这些声明往往缺乏具体细节,潜藏着诸多不确定性与隐患。国内厂商数据保护举措的透明度亦不充分。
无论技术路线如何,要让AI智能体操作手机,大部分厂商依赖一把万能钥匙:无障碍权限。
北京汉华飞天信安科技有限公司总经理彭根介绍,无障碍权限原本是为方便残障人士使用手机而设置的特殊功能,它涵盖视觉、听觉、肢体残疾辅助等多方面功能,比如可以监控屏幕内容,模拟用户点击、滑动、输入等操作,从而帮助残障人士也能使用手机。
为了帮残障人士“打破障碍”,无障碍权限能够打破各个App之间的沙箱隔离机制,具有极高的权限,彭根称之为手机里的“上帝模式”。
可以想象,“上帝模式”也容易被不法分子滥用为窃取用户信息的工具。例如,恶意程序能够利用该权限监控用户屏幕,窃取银行密码、短信验证码等信息。同时,还能够在用户不知情的情况下静默安装恶意软件,伪造用户行为(如自动刷单、点赞),带来极大的安全风险。
以上种种都使得无障碍权限成为高危权限。尽管启用无障碍权限时手机系统会有提醒,但这些提醒通常只有一次,而且警告内容模糊,用户很难真正理解其潜在风险。更糟糕的是,一些AI手机自带的内置应用权限高于普通App,且难以察觉其运行状态。
于是,常见的两难困境正在出现:无障碍权限的本意便是去障碍,更好地辅助残障人士使用智能手机,但便利带来更大的危机,AI手机的隐蔽式调用可能反而让安全和隐私陷入危险。
彭根坦率地说,目前针对无障碍权限带来的风险,还没有完善的防御方案。他的建议是用户保持警惕,关闭非必要权限,定期查看手机权限功能列表,防止安装第三方应用形式的智能助手等。这些措施也仅能在一定程度上降低风险,并不能从根本上解决问题。
南财合规科技研究院在此前测评中发现,OPPO、vivo、荣耀手机的隐私政策里,无障碍权限的说明不够清晰。而且,还发现了部分厂商滥用无障碍权限的情况,该实测结果将在后续公布。
中国信通院互联网法律研究中心主任何波表示,人工智能是引领这一轮科技革命和产业变革的战略性技术,相关产业正在向多智能融合新阶段发展,成为发展新质生产力的重要引擎。AI手机作为创新应用的探索和尝试,是值得肯定和鼓励的。
何波指出,AI手机隐私保护并非“法律裸奔地带”,现有监管法律法规对此已有相关规定。例如,《网络安全法》《数据安全法》《个人信息保护法》明确规定了处理个人信息的要求,包括知情同意规则,最小必要原则等;今年1月1日生效的《网络数据安全管理条例》进一步对涉及自动化工具、生成式人工智能等新兴技术的数据处理活动作出了特殊规定,这些都可以作为AI手机的监管依据。但与此同时,AI手机涉及主体众多,数据在不同主体间流动,导致各环节责任难以区分,也确实存在监管挑战。
何波还提到,AI手机作为一个新应用新事物,对很多普通用户而言目前还难以清晰认知到可能带来的安全风险,尤其是在用户信息被抓取和隐私权限被开启时。此外,虽然现在的隐私政策更加细致了,但对普通用户而言也更加复杂难懂了。
“与此前以App为抓手的隐私保护不同,AI手机行业生态更为复杂,涵盖手机终端、第三方大模型、APP以及云服务等参与方,各方在数据安全上的责任关系仍不明确,挑战更大。”虞伟指出。
北京大学政府管理学院教授马亮进一步指出,在他看来,AI手机带来的另一大新挑战是市场竞争秩序的变化,厂商和App将为用户权限展开激烈争夺,涉及权限的定义、掌控及优先级划分等问题。他强调,当前亟需形成共识,探索合理的权限治理模式。
对外经贸大学数字经济与法律创新研究中心主任许可也认同这一观点。AI智能体在手机中的作用日益重要,它决定了资源的调配方式,可能改变传统的App主导模式。如果未来某些AI大模型在手机市场上占据主导地位,可能会给市场竞争带来新的挑战,甚至触及现有《反垄断法》和《反不正当竞争法》未曾涉及的问题。
此外,AI智能体逐渐成为智能生活的核心中枢,如何在AI能力超越人类的情况下,始终让AI Agent以服从人类命令为前提工作,保持人类的主体地位?当我们与AI越走越近,或许更应该思考以人为本的路径。这一传统上未完全回应的问题,亟待在制度和伦理层面进行思考。