谨防AI沦为“电诈神器”

2024年02月20日

近年来,AI深度伪造技术被犯罪分子用于电信诈骗,引发社会广泛关注。

如何规制AI深度伪造技术被滥用?如何升级反制技术破除监管难点?这些问题的有效破解,不仅关乎社会治安和国家安全,也影响着新一代人工智能技术的发展走向。

AI深伪诈骗危害性更大

近年来,一些网络犯罪分子使用“深度伪造”的文本、图像、音频或视频,进行欺诈活动。记者从公安机关采访获悉,依靠深度伪造技术工具,AI客服可以同时给上万人打电话,从事电信诈骗的危害性更强、数额更大。

——假冒熟人进行诈骗。2023年4月20日发生在内蒙古包头市的一起金额高达430万元的诈骗案件,竟是利用AI换脸技术得手的。当天,郭先生接到来自好友的求助电话,对方称自己在外地竞标,需要430万元保证金。巨大的金额也让郭先生产生了怀疑,于是拨打视频通话确认对方身份,近乎一模一样的面容与声音让郭先生消除了疑虑。短短十分钟,430万元便已被转入骗子账户。好在事后经再次打电话确认,郭先生识破骗局及时报警,300多万元受骗金额被冻结。

——假冒官方网站或账户发布不实信息。有的犯罪分子利用AI技术伪造各大知名企业、平台或社交媒体官方账户进行诈骗。互联网上的“V”字认证往往是官方认证的标识,可当官方认证也能被AI深度伪造技术造假,一模一样的头像主页和认证标识,会让公众无法分辨“真假美猴王”。近期,职场社交平台领英发现,其平台上有1000多个用AI生成的虚假“V”字认证账户,发送大量推销信息及钓鱼邮件,甚至形成了相关产业链。

——假冒他人身份实施诈骗。利用虚拟或合成身份,犯罪分子可以盗用或注册他人账号,实现骗取养老金、骗取人寿保险的犯罪目的,潜在风险极大。业内人士提醒,保险行业很可能成为遭遇AI深度伪造欺诈风险最高的行业。

升级反制技术“道高一丈”

面对不断升级的AI深度伪造欺诈手段,需要尽快升级技术手段,“道高一丈”实现反制破局。揭秘AI换脸、语音变声等深度伪造手段的网络安全科普,以量子加密技术保障金融、电力等基础设施安全,用大数据反诈系统守护公民人身财产安全……我国正多措并举,升级反制技术,加强网络安全防护。

随着湖北省黄石市公安局联合科大讯飞股份有限公司、电信运营商联合研发的反诈智能语音机器人“小飞”在黄石“上岗”,一些“不听劝”的受害者回过神来,避免了经济损失。

“以往开展劝阻,一名民警每天拨打几十个电话,累得嗓子冒烟。换成‘小飞’之后,一天可以拨打几百乃至上千个电话,效率大大提升。”黄石市公安局科信支队大数据中心负责人李雪松说。

据了解,以前,民警拨打电诈劝阻电话,一般通过公安局座机或者自己的手机,容易被当成普通来电甚至是推销电话。而“小飞”系统可以筛查出电信网络诈骗高危级潜在受害人,自动通过反电诈专用号码96110联系对方;联系劝阻形成的大数据又进一步训练“小飞”升级反电诈劝阻办法,提升劝阻精准度和成功率。此外,“小飞”还会有针对性地向劝阻对象推送防范诈骗小知识、介绍最新诈骗手段和类型、提供防范小技巧等。

以技治网,更多与“小飞”一样的技术创新,正在破解技术滥用带来的负面问题。

近年来,工业和信息化部网络安全管理局积极组织信息通信行业防范治理电信网络诈骗创新技术应用遴选活动,通过示范引领,不断加强科技创新投入,力争解决涉诈“黑灰产”迭代更新快、用户预警提醒实时性低等行业反诈痛点难点问题。

依法治理亟需细化配套措施

电信网络诈骗的潜在受害人面广量大,通过法律加强对“事前(内容源头监管)-事中(诈骗快速查处)-事后(追偿、救济)”的全方位规制,源头规范深度伪造技术的使用和发展,具有较强的必要性和紧迫性。

目前,我国现行法律法规,已对深度伪造作出一定规制:2022年12月施行的反电信网络诈骗法加强预防性法律制度构建,加大对违法犯罪人员的处罚。2023年1月施行的《互联网信息服务深度合成管理规定》明确规定,“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息”;“提供人脸、人声等生物识别信息编辑功能的,应当提示深度合成服务使用者依法告知被编辑的个人,并取得其单独同意”;“可能导致公众混淆或者误认的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识”,等等。

受访专家认为,从现有司法实践来看,还需在多个方面进一步完善法律规范配套措施。比如,深度伪造技术风险最有可能涉及肖像权和名誉权侵权,但根据《民法典·侵权责任编》的规定,在被侵权人对损害后果难以准确证明的情况下,损害赔偿数额难以确定,精神损害赔偿不易实现,被侵权人难以得到充分救济。为进一步防止不法分子利用AI深度伪造等技术实施犯罪活动,仍需细化配套措施,让法律条款的落实更加简便易行。 据新华社