吴宇森执导的电影《变脸》（1997年）海报。当年片中主人公换脸通过外科手术实现，如今在网上可以通过AI技术做到。 （资料图/图）

眼前的黑不是黑，你说的白是什么白？这是罗雅萱半年来的内心写照。因意外卷入一场AI骗局，罗雅萱成为一名互联网志愿反诈者。

2023年2月，在意大利生活的罗雅萱在网络上认识了一位年轻男士。对方自称宁波人，生活在法国，从事古董生意。一个多月里，罗雅萱常常与他交流工作和生活，以“弟弟”相称。3月份，她一度怀疑对方身份的真实性，于是托国内朋友核实相关信息，一无所得。

罗雅萱提出两人视频通话，没想到对方直接答应。在视频中，这位“弟弟”与她全程互动无碍，相貌也与他之前提供的照片无异。如果没打这次视频，是否会建立信任？罗雅萱明确地告诉南方周末记者，“不会！”“（互动时）跟他说什么、问什么，他都会回答什么”，并非提前录制好的短视频。

十几分钟的视频通话后，罗雅萱彻底打消疑虑。一个月后，罗雅萱提出两人在法国见面，当天晚上，对方的电话便无法打通了。那时，罗雅萱已经被骗投资，转出了第一笔汇款，两千多欧元（约合人民币16000元）。

罗雅萱报警，警察追踪到诈骗者的IP来自中国港澳地区。罗雅萱在网络中寻找线索时，偶然发现了“正主”（照片本人）。他是个台湾人，在港澳地区小有名气，从2021年开始，他的照片便被诈骗者频繁盗用。

据警方分析，诈骗者的声音并非合成的。罗雅萱意识到，自己受到了AI换脸诈骗。当时与自己视频通话的是真人，那张脸，则是诈骗者用软件替换生成的。

反诈时，罗雅萱接触到一位杭州女生，后者被骗上百万元，诈骗者盗用的照片也来自那个“正主”。不同的是，这位杭州女生全程仅仅是和诈骗者语音交流，两人尚未视频通话。

“（正主）长得帅，是女孩子都喜欢的那种类型。”罗雅萱对南方周末记者说。据她调查，互联网上有123个盗用该“正主”图片的账号。国内的诈骗账号经罗雅萱举报后注销，但是仍然有大量海外平台诈骗账号逍遥法外。罗雅萱担忧的是，诈骗者如果使用“素人”的照片，受害者根本无迹可寻。

AI换脸、变声等深度合成技术在互联网上已经被广泛利用，近几年逐渐流入色情影像、网络诈骗等领域，带来肖像侵权、名誉侵权乃至诈骗犯罪等一系列问题。随着AI技术普及，更多成熟的换脸、变声软件出现。至于其使用难度，技术专家、AI行业从业者曾辛告诉南方周末记者，“几乎零门槛”。

换脸技术门槛不断降低，日益普及。图为2021年浙江某景区用于展示换脸应用的智能设备。 （视觉中国/图）

不过，就目前来看，利用AI技术进行的诈骗比例极低。另据新华社报道，公安机关研判，近期网上“AI换脸换声诈骗在全国爆发”传言不实，全国此类案件发生不到10起，但该动向值得高度关注。

掌握大量人脸、声音数据的机构和平台正受到进一步监管，保证公民个人隐私数据安全。同时，深度合成技术带来的隐患问题受到重视。2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》，自2023年1月10日起施行。

视频通话里的熟人是假的

最近，一起AI诈骗事件曾引发广泛关注：福州市某科技公司法定代表人郭先生10分钟内被骗430万元。诈骗者正是利用AI换脸术，在视频通话中冒充郭先生好友。

2023年5月，“平安包头”发布通报。郭先生接到好友的视频聊天，对方称朋友在外投标，需要公对公转账，想借用郭先生公司账户。为表真实性，对方事先伪造了银行转账截图。郭先生基于视频聊天的信任，并未核实钱是否到账，便将430万元分两次打入诈骗者提供的账号。郭先生称事已办妥，好友微信却回问号，方知受骗。

由于该事件涉及微信号盗用、实时视频换脸、实时声音合成等的综合运用，存在技术上的疑点，AI技术在该案中究竟被运用到哪种程度、是否已成为骗局关键，引发网络讨论。据媒体报道，公安部门正对该案件的诈骗手法和受骗过程进行再确认。

实际上，在如今的技术下，通过视频通话进行实时换脸和实时拟声并非不可实现，但难以做到毫无破绽。

曾辛提到一款国外AI实时换脸软件，“只要给一个视频源，可以是文件，也可以是实时摄像头，便可以实时转成另外一张脸”。经过曾辛团队测试，这款软件“可以做到人感觉不到的程度，一两帧左右的延时就能给你换脸”。至于声音，一些AI实时换声技术可以做到“大汉声换为萝莉声”，经过素材训练后，同样可以得到想要的音色，“AI有了新的模型和算法后，这种变声能力只会更强”。

但是，上述案件中，诈骗者不仅要盗取微信号、掌握受害者的社会关系，还要花一定的时间去盗取、训练AI学习诈骗目标的好友图像和声音素材，并模仿好友的说话方式。曾辛由此推测，如此多的巧合，很大可能是熟人作案。

无独有偶，发生在2023年的另一起AI诈骗案中，安徽安庆的何先生同样接到熟人视频通话，仅九秒后，对方以“在会议中，不方便”为由挂断电话，使用话术最终诈骗何先生132万元。此前还有一些案例，诈骗者仅仅通过AI换声的语音就骗取了受害者的信任。

如何分辨AI换音和换脸？曾辛提供了相对简易的方法：注意语气、停顿和语态是否有明显的电音或者修音痕迹；视频聊天时，对方面部频繁部分遮挡、频繁转动角度时是否出现人脸抖动，互动时是否实时给予回应。

“实时换脸技术的逻辑和原理是获取脸的特征点。当你脸部的特征点被遮挡了一半以上，它就会迟疑这个还是不是一张人脸，呈现出来的画面就可能有几帧失灵，一失灵，原来的脸就露出来，这个就是破绽。”曾辛对南方周末记者说。

“零基础学换脸”

如今，深度合成技术的使用门槛已经降得很低。

南方周末记者在电商平台看到，提供“换脸”软件服务的商家不在少数。有的卖家提供详细教程，承诺“0基础学习”。一位卖家向南方周末记者表示，可以“换任意视频和任意人脸”。该店家为市场上一款较受欢迎的AI换脸软件提供指导服务，使用者需要提供源视频和目标视频，在经过自主训练后，便可以合成一段人脸替换的视频。该店家同时售卖预训练模型（训练AI进行人脸替换的模型和算法），使用该模型能够“更快成像，换出来更逼真”。

美国企业家扎克伯格的实拍视频与深度合成视频对比。 （视觉中国/图）

如果要实时直播换脸，价格在1500元左右，需要在该软件的基础上，“配合其他技术实现”。这位店家称“（直播换脸）任何人脸都可以，你准备素材训练制作就行”。南方周末记者还注意到，在知乎、B站、小红书等平台存在大量关于AI实时换脸的技术教程。从教学内容来看，入门难度较低。

AI换脸和换声的仿真度取决于训练工作的精细程度。“AI基于训练模型训练，数据越多，训练的时间越长，就越像真人。”曾辛说，得益于云服务技术的发展，算力的成本也大大降低。如今，稍微懂些技术，拥有一些开发能力，便可以下载开源项目，进行训练。曾辛曾经训练“马保国”的脸和声音，训练了两千次左右，仍然有一些“硬伤”，但是训练到一万次、两万次以上，结果便显然不同了。

从一些受访者的回答来看，AI诈骗者利用的仍然是初级、粗糙的AI换脸术居多，但已具有迷惑性。对于大部分普通人，一时间难以分清视频中的人是真人还是AI，是实时视频还是录制视频，往往看到视频便下意识认为是对方本人。

而且，一些AI换脸诈骗案例不像罗雅萱、郭先生等遭遇的那样复杂，甚至不是实时视频诈骗。从案件披露的细节来看，诈骗者应该是对一段视频进行换脸，视频通话时向受骗者播放了该录制视频，受骗者也并未进行实时互动。据曾辛介绍，该技术无需使用电脑，直接使用手机可以实现，不过这种手段无法互动，容易露出破绽。

一位险些被骗的受害者向南方周末记者讲述了其经历。诈骗者盗取了受害者好友的QQ账号，称自己要转账到受害者银行卡，请她代为充值Q币，并发来伪造的转账截图。其间，受害者曾要求视频通话，结果看到一个和朋友一模一样的人拿着身份证，但没几秒便挂断电话。受害者通过微信向朋友求证，得知对方的QQ账号被盗。这位受害者后续和诈骗者聊天时讽刺道：“本人是本人，你嘴巴哑了，不会说话？”诈骗者发来一连串辱骂。

这位受害者当天发了朋友圈，发现一位朋友曾遭遇类似的诈骗。事后想起，这位受害者仍然心有余悸，想起电视剧《猎罪图鉴》中的AI换脸骗局，如今虚构的故事已然成真。

新技术，老骗局

曾辛过去在体制内从事网络安全技术工作。多年来，他接触过大量电信诈骗案例。新技术使得诈骗杀伤力更大。但曾辛认为，诈骗的底层逻辑仍然是“欲望”。

罗雅萱提到，自己接触过的受骗者多为离婚、丧偶或处于分手的情感空窗期，基本为女性，被骗金额在几万元到几百万元不等。受骗周期差异较大，上述提到的杭州女生一个星期便落进了骗局之中。

诈骗者使用的，仍是“杀猪盘”的惯用套路。“全球反诈骗组织”（GASO）成员、从事反诈志愿工作多年的中国台湾人Lina告诉南方周末记者，诈骗手段大同小异，以面貌帅气或漂亮的照片接近，之后在聊天中建立关系，有意无意提及投资项目，用美好的前景诱惑对方。Lina就曾陷入“杀猪盘”，当时她需要用钱，于是掉入对方的投资陷阱。在其接触过的诈骗案例中，熟人诈骗比较少，情感诈骗居多。

难道从未怀疑过吗？罗雅萱曾问过受骗者，得到的答案是“一下子陷进去了”。即使没有AI换脸的加持，恐怕这些受骗者仍然会一步步掉进情感圈套。

在另一名反诈志愿者陈盈盈看来，不管是周期较长的“杀猪盘”情感诈骗，还是短期冒充公检法部门、领导、熟人等的诈骗，AI只是其中的技术性手段，本质上仍然是传统骗局。“杀猪盘”过往使用一些网红、模特的照片，一旦涉及视频便会露馅，现在AI使得诈骗者可以伪装得更久。

陈盈盈向南方周末记者提及，盗用网红模特沈爱舟、刘明雄等人的照片，这些都是被诈骗者“用烂掉的人设”，诈骗者还喜欢使用马来西亚、泰国的男性照片，原因是更不容易穿帮。诈骗者使用通用话术，恋爱则是最容易建立关系的方式，“感情不到位，什么都白费”——这当然包括AI技术在内，若无感情铺垫，很难对陌生人实施AI诈骗。这些受骗者年龄在二十多岁到四十多岁之间，女性居多，“更容易迷恋上网络中的感情”。

受骗者哪里会想这么多？陈盈盈感慨，视频通话时，一旦想让对方频繁扭头以辨别AI换脸，实际上内心已经存有怀疑，而这样警觉的人，又怎么会被骗？受骗者事后回想，这些学历可能是小学、初中文化的95后、00后诈骗者，却要冒充85后、90后的谈吐，总会露出些许破绽，只是它们都淹没在情感冲动之中。

一些受骗者被骗后甚至产生交友恐惧症，“不想再相信网络上的人”。罗雅萱庆幸自己并未投入感情，只是将骗子当作“弟弟”，而许多受害者情感受到巨大伤害。罗雅萱遇到过一个被骗八万美元的女性，那时候她的状态很差，几近崩溃。

80%的受骗者不愿意报警。“怕家人知道，怕没面子、被嘲笑，”Lina对南方周末记者说，“会共情会同理心的人不多。”一些网友会对其网暴，指责其“贪心”，甚至认为他们与陌生网友建立感情“恶心”。许多受害者一度产生轻生的念头。

Lina所知的受骗者包括知识分子、企业家等，就连他们也不了解最新的诈骗形态。而诈骗者则依靠身边的“小组长”“干部”等团队进行针对性诈骗，劝导投资，甚至诱骗去借贷。他们极有耐心，可以放长线到几个月以上，“是完全没有良心，他能在你身上挖多少钱，尽量挖，然后挖到你没钱，他就会叫你去贷款”。

反诈与技术赛跑

陈盈盈是80后，从事研究型工作。两年前，她曾被人以投资名义诈骗，此后开始从事反诈宣传、协助营救性的工作。陈盈盈告诉南方周末记者，事实上，许多人被骗后也无法分辨视频中的骗子究竟是真人抑或换脸。

据她了解，一些诈骗团伙会雇用真人“模特”，整个团伙都用同一个模特的照片进行诈骗，需要语音或视频时，模特本人便“出场”。雇用真人模特的“薪资”较高，“一个月几十万元”，中小型诈骗团伙选择成本更低的AI换脸。

诈骗者曾向罗雅萱致歉，“对不起”。罗雅萱回复：“你对不起的是自己的良心。”很快，罗雅萱发现自己的照片被盗用了，而这些照片只有那个诈骗者看过。一位受害者家属称，盗用这张照片的女生诈骗了一万多元。

“很难预防，只能多加宣导，人们平时很忙碌，希望他们能注意一下新闻报道或者警方资讯。”Lina对南方周末记者说。做反诈两年，Lina发觉被害人的数量持续增加，她由此担忧，未来AI技术更精准的话怎么办？

陈盈盈发现，最近这两年，跨语言诈骗更容易得逞了。而且，她尚未听说过的AI诈骗机器人，也呼之欲出。

“把足够多的套路输进去，然后让AI什么情况说什么话，实际上可以做出这么个AI诈骗机器人。”ChatGPT出现后，曾辛尝试的一个实验是，利用大语言模型训练一个“杀猪盘”中的常见角色“卖茶女”。这个角色有明显的语言套路，喜欢公益、喜欢小朋友，因工作压力大回到老家与爷爷一起经营茶园。曾辛“给予”语言模型该人设，并且模仿年轻人在网络上的发言。目前来看，“GPT3.5，可能有点傻，感觉机器味很浓，但如果是GPT4，调教得更好一点，可能会骗到一些人”。

曾辛担忧换脸、拟声等技术被诈骗者利用的后果，尤其担心那些被互联网“淘汰”的老年人如何应对这样一段“亲人”的语音和视频。

为此，曾辛在视频平台解密骗局，但为了避免变成诈骗者的“学习资料”，他不展开呈现技术细节。有时，一些人吐槽他的换脸和换声有明显破绽，他反而觉得是好事，相比之下，“没有人讨论这件事才是最可怕的”。

作为技术研发人员，曾辛几乎每天都受困扰，AI领域是否会发展到很难辨别真假的地步？“你能感觉到每天都有新东西出来，可能我们在聊天这会儿，已经有团队能够做出一个手机App实时换脸换声音，完全看不出破绽。未来10-20年，能够分辨这个东西，是一种必要的社会技能。”

（应受访者要求，罗雅萱、陈盈盈为匿名）

南方周末记者 张锐