点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI换脸、声音克隆……人工智能的滥用到底怎么治?
首页> 地方频道> 文化 > 正文

AI换脸、声音克隆……人工智能的滥用到底怎么治?

来源:央视新闻客户端2025-08-25 09:15

  新闻周刊丨人工智能的滥用,到底怎么治?

  声音和形象被AI合成滥用的事儿正变得越来越多。比如本周,奥运冠军全红婵、王楚钦等人的声音被AI克隆,卖起了所谓的“土鸡蛋”。不少配音演员也站出来维权,因为他们赖以生存的声音,如今可以被AI一键复制,随意地使用。

  这不禁让我们越来越担心,当我们的声音和面容到了如此轻易被人挪用的地步,人与人之间的信任该如何维系?AI的发展速度正越来越快,我们该如何用监管和立法守住底线?《新闻周刊》本周关注:人工智能的滥用,到底怎么治?

  AI换脸、声音克隆等合成技术滥用

  让“耳听眼见”未必为实

  这是配音演员孙晨铭的原声,而这段,是某自媒体账号通过AI克隆其声音生成的配音作品。如果没有提示,谁能分辨出两者之间的差异呢?也是在最近,孙晨铭还发现,一家房产公司同样未经授权,就对他的配音作品进行了AI克隆,用在了公司的企业宣传片中。

  声音被AI克隆,并被用于各种各样的商业场景,对于孙晨铭和同行们来说,已经不是什么新鲜事儿。有人给孙晨铭发来民法典的法条,声音权和肖像权一样,是公民不可侵犯的权益。于是,不少配音演员自发到那条企业宣传片的评论区集体留言,压力之下,这家房产公司,向孙晨铭支付了版权费用。

  本周,本台也曝光了利用AI技术仿冒奥运冠军全红婵进行带货的案例。这种AI伪造技术,已让不少名人深受其害。微信平台今年1月的公告显示,一个月内,就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容,关闭了3281个相关账号。

  近日,北京互联网法院也审结一起案件,被告擅自使用大学教师李女士的肖像和AI合成声音进行图书宣传,最终法院判定,该行为侵犯了李女士的肖像权和声音权益。

  北京互联网法院综合审判三庭(少年法庭)庭长颜君:往往这种案件的受侵害的一方都是有一定社会知名度的名人,因为他会带来相应的社会认可度、认知度,他的声音和他的肖像有一定的商业利用价值。更重要的是如果这个带货的内容,比如说带的是伪劣产品或者是虚假宣传的内容,有可能极大的消解这位名人他的社会认知度、认可度和信任度。

  这段AI视频,生成于两年前,当时的技术,人脸画面还显得僵硬与不自然;而到了去年7月,南京玄武区法院审理的案件中,一名男子通过AI换脸软件,就成功突破了某支付平台的人脸识别系统。人工智能技术的飞速发展,已经使真与假之间的界限,开始变得难以分辨。

  配音演员武扬:从今年开始,我确实发现一些宣传片,他们AI的训练可以达到以假乱真的程度,在70%到80%的平稳叙述的范畴里面,AI都是可以处理得很好的,甚至我本人去听也需要长时间辨别,是不是我本人录的。

  中国信通院人工智能所安全部高级业务主管陈文弢:其实对于生成一个肉眼分辨不出来的这种视频,在前几年来说,难度是比较高的,需要一定的技术门槛,但是这几年出现了一些这种简捷化的工具,可以从开源社区上直接下载。它可以用消费级的笔记本单机来部署,一张照片就能够完成实时换脸。

  耳听为虚,眼见为实,这句古话正面临巨大挑战。AI换脸、声音克隆等合成技术的滥用,让“耳听眼见”都未必为实。对于配音演员孙晨铭来说,AI滥用直接影响到他的生计,赖以谋生的声音,正成为被随意复制的免费素材。迎面而来的AI时代,让他看不清自己的未来将通向何方。

  我们正在进入“全民AI时代”

  监管能不能够跟得上呢?

  如今,AI合成视频已经能做到以假乱真,不得不需要新的技术来辨别。技术成熟的速度令人惊叹,而使用门槛也大幅降低。一部手机、几个软件,普通人就能轻松生成文字、图片、音频、视频等各类内容。可以说,我们正在进入一个“全民AI时代”。

  然而,技术的普及势必会带来AI的滥用:从人脸和声音被合成冒用,到各类低俗猎奇视频的传播,再到漫天谣言的背后,AI都成了核心“推手”。每隔一段时间,新的问题就会涌现。所以,在技术开始狂奔的局面下,我们需要关注监管,能不能够跟得上呢?

  精致的五官、灵动的眼神、流畅的动作,如果没有相关标注,你是否能分辨出,这是一个完全由AI生成的数字人?在短视频平台,类似的视频比比皆是,还有不少视频,直接提供免费的AI软件以及使用教程。

  一部手机、两三个 AI 软件,几分钟就能制作一段时长五秒左右的美女跳舞视频。AI生成合成技术的飞速发展,正在累积着治理风险。去年,抖音安全中心曾发布公告,表示已发现多种不当使用AI技术生成虚拟人物的行为,其中就包括利用AI生成俊男美女虚假形象,骗取互动,将用户导流至私人聊天工具,甚至进行诈骗。根据抖音平台本周五提供的数据,他们最近一周处置的AI虚假违规内容量,相比2025年第一周,增长了62%。

  事实上,从2023年开始,抖音等多家平台陆续要求,发布人工智能生成内容时,需添加“内容由AI生成”的标识,并且也会进行监测和处置。但是,执行效果并不尽如人意。并且有自媒体博主表示,一些平台的监测手段可以破解,比如一些AI工具配置有镜像文件,其一键生成的虚拟人像,就能规避平台的监测。

  自媒体博主:很少。你看我作品我十四个里面就一两个会有。如果它给你出判定为AI作品,你可以把作品下架,然后再重新发一个。

  中国信通院人工智能所安全部高级业务主管陈文弢:如果说打上了这个标识,你只看可能就觉得它是由AI生成的,可能就不是特别的可信,所以这是从用户的角度,他是不愿意打这个标的。从技术的这个角度来看,如果说想完全满足监管的这个要求,把所有的生成合成的视频都识别出来,这个其实难度还是很大的。

  相比视频、图像,在专家看来,AI生成的文字谣言,监管起来其实更加困难。去年,江西南昌就破获一起AI造谣案件,相关机构利用AI软件,一天最多能生成4000—7000篇谣言文章,工作量惊人。更让人担忧的是,AI算法还能匹配用户喜好,定制化的生成谣言,使AI谣言变得越来越真假难辨。今年3月,某自媒体账号发布全国首例“AI医疗误诊”诉讼案开庭的文章,时间、地点、人物甚至庭审争议焦点等细节满满,不过,经过记者与法院核实,所有内容都是AI编造的假信息。

  目前,尽管一些平台设置了相应“谣言库”,通过设置热点关键词来屏蔽谣言。但一些机构利用AI模型针对性地进行对抗训练,使用近义词或类似表达,就可以绕过筛查。

  今年4月以来,中央网信办开展了为期三个月的“清朗·整治AI技术滥用”专项行动,AI换脸拟声、AI内容标识缺失等乱象,都是整治重点。6月,网信办公布专项行动第一阶段成果,累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。如今,三个月的专项行动已经结束,但监管与AI滥用之间的拉锯战,显然才刚刚开始。

  联合国高级别人工智能咨询机构中方专家 中国政法大学数据法治研究院教授张凌寒:我们可能更要设定一个目标,就是能够在AI应用爆发之后,我们在这几年要把整个AI滥用生成虚假内容实现在一个可控的范围之内。这个可控的范围是指说我们不能够让广大老百姓因为这个去发生重大的人身财产的损失,同时也要尽量减少这种AI的内容虚假宣传造成社会舆论的动荡。这是我们的一个红线和底线。

  “内容由AI生成”

  能改变AI滥用的现状吗?

  人工智能,正以前所未有的速度改变世界,它不仅是科技创新的前沿,更是国家间战略博弈的新高地。相关产业的发展固然重要,但通过监管和立法为它划定边界,也同样显得十分紧迫。因为科技的进步本身并不足以确保人类的进步,更重要的是通过规则为它校准方向。

  说到规则,关于AI合成内容,几天后的9月1日,网信办等四部门印发的《人工智能生成合成内容标识办法》将开始施行,它明确规定服务提供者,应当对文本、音频、图片、视频等生成合成内容,在适当位置添加显式标识,也就是说今后所有AI作品必须亮明身份,标注是AI生成。它的实施,能改变当下AI出现滥用的现状吗?

  在某短视频平台上,一条生成式视频的左下角“标注着”作者声明:内容由AI生成,而这样的标注义务,在即将于9月1日实施的《人工智能生成合成内容标识办法》中,得以进一步明确,在人工智能生成合成内容的全生命周期,都要履行标识义务。

  北京抖音信息服务有限公司副总编辑全森:这个标识办法要求AI技术服务提供者,对文件(元数据)内容进行隐式标识。这样一个核心的链路解决了最大的卡点,这个卡点就是技术服务平台与内容传播平台之间,数据难以互通的一个卡点。解决了这个卡点之后,我们预计很大程度上解决了这个AI难以识别的问题。

  马上就要实施的这个《标识办法》,从人工智能生成合成内容的生产、传播和使用等环节入手,对标识制度进行了系统性的细化和规范。而随着深度合成技术日益逼真,逃避审查的手段不断升级,人工识别的难度越来越高,相应的法规和机制,也需要不断应对挑战。

  推进生成式人工智能标识制度的建立,已经成为世界各国的共识。而在专家看来,中国在该领域的立法起步相对较早,2023年施行的《互联网信息服务深度合成管理规定》,就在世界范围内,在相关法规中首次明确提出生成式人工智能标识义务。

  在专家看来,即将实施的《标识办法》,还只是一个规范性文件,在整个立法体系中位阶较低。如果站在更高的维度观察人工智能立法,安全、隐私、公平等都是必须直面的核心问题。今年,人形机器人行业进入快车道,机器人逐渐与人实现面对面,甚至是接触式交流。在深圳的一家养老机构,养老机器人,不仅可以带老人跳舞,扶着走路,还能陪打乒乓球、递水等,可谓多才多艺。面对着养老新朋友,有老人既兴奋又担心,机器人真的安全吗?

  经过多年探索,我国已初步构建起涵盖多层次、多维度的人工智能法律框架,但仍需要一部具有统领性的人工智能高位阶立法,予以统一规范。在国务院公布的2024年度立法工作计划中,曾明确“预备提请全国人大常委会审议人工智能法草案”,而《全国人大常委会2025年度立法工作计划》的相关表述则是,“人工智能健康发展等方面的立法项目,由有关方面抓紧开展调研和起草工作,视情安排审议”,显然,一部中国的人工智能法,正在加紧推进之中。

  对于人工智能,有人把它比作是潘多拉魔盒,在释放出无限可能的同时,也会带来难以预知的风险。

  而前不久在上海举办的世界人工智能大会上,图灵奖得主辛顿的演讲,也在提醒所有人,要对AI保持足够的警觉。他把人类与AI的关系,比作饲养一只老虎,老虎长大后可能轻易超越人类,而且人类没有摆脱和消除它的选项,人类想要生存,必须找到办法训练AI。而如何训练出比人更聪明的“好AI”,是我们从来没有遇到过的巨大的机会和挑战。

  正如中国那句老话,“人无远虑,必有近忧”,在AI的问题上,我们必须要看得更远,才能走得更好。(来源:央视新闻客户端)

[ 责编:董大正 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见俄罗斯国家杜马主席沃洛金

  • 北京长安街沿线花卉布置完成

独家策划

推荐阅读
8月26日,国新办举行“高质量完成‘十四五’规划”系列主题新闻发布会,介绍“十四五”时期能源高质量发展成就。
2025-08-27 09:36
王蜜所在团队养蜗牛的装置和她用指甲油给蜗牛壳做的标记(首次发表,非授权禁止转载)。在中科院地球环境所,针对蜗牛壳体季节尺度研究,副所长晏宏提出的理念是,用空间换时间。
2025-08-27 09:47
8月8日至12日,第十届世界机器人大会在北京举行。”  近年来,更多养老机器人在家中、社区及养老机构落地应用,从桌面式机器人、轮式底盘型机器人到人形机器人,“人机共栖”的智慧养老图景正加速照进现实。
2025-08-27 09:45
作为海洋生物医药研发的特色方向,海洋中药尚不能满足中医药产业发展需求,其开发和利用还处于起步阶段。在产业转化环节,郑明月指出,应借鉴“算法开发—标靶确证—临床转化”范式,构建海洋天然产物专属数据库和AI工具。
2025-08-27 09:45
一项近日发表于《应用生理学、营养学与代谢》的研究发现,摄入动物蛋白质食物与更高的死亡风险无关,甚至可能降低与癌症相关的死亡率。论文第一兼通讯作者、加拿大营养策略公司负责人Yanni Papanikolaou表示,“综合这类观察数据与临床研究,很明显,动物蛋白和植物蛋白均有益于健康长寿。
2025-08-27 09:43
近日,我国科学家利用中国空间站上的无容器材料科学实验柜,成功把钨合金加热到超过3100℃,创造了新的世界纪录。“这项工作不仅验证了我国自主设计的空间材料科学实验柜具有非常优异的性能,也积累了大量的超高温材料在轨实验的原始数据。
2025-08-27 09:42
随着AI(人工智能)技术快速发展,AI应用已渗透社会生活各领域。深入分析AI“信口开河”成因,需从技术、数据和监管三个维度进行考量。(摘编自《工人日报》,原题为《防止AI“信口开河”,技术伦理建设刻不容缓》)
2025-08-26 10:27
市场监管总局(国家标准委)日前批准发布《动力锂电池运输安全及多式联运技术要求》国家标准,将于2026年2月1日起实施。动力锂电池是新能源汽车的“心脏”,其安全高效运输是提高产业链供应链韧性的关键。
2025-08-26 10:27
截至2025年8月22日,今年中国空间站空间应用系统已在轨实施58个科学与应用项目,实验次数2.6万余次,上行科学与应用任务800余公斤科学物资,下行空间科学实验样品27种,获取科学数据110TB。
2025-08-26 10:27
暑期,不少家庭选择前往户外戏水游玩。胡越凯介绍,大家常说的“食脑虫”属于“自由生活阿米巴原虫”,多生于潮湿的土壤和淡水中,包括福氏耐格里属阿米巴原虫、狒狒巴拉姆希阿米巴原虫和棘阿米巴原虫。
2025-08-26 10:26
中国科学院广州地球化学研究所徐义刚院士团队的汪程远副研究员,携手香港大学等机构科研人员,通过对嫦娥六号月壤中玄武岩岩屑的系统研究,揭示了月球年轻火山活动的源区特征与热驱动机制。该研究不仅刷新了人们对月球热演化历史的认知,也为解释其他无大气、小型天体的火山活动机制提供了重要参考。
2025-08-26 10:26
中国科学院地球环境研究所联合美国南加州大学、英国牛津大学等国际团队,在国际上首次定量评价了地震后河床沙这类粗颗粒沉积物通量及其长期变化,揭示了地震对河床沙的影响远比预期更大更久。
2025-08-25 10:08
23日,在南海中沙海域的“中山大学”号海洋综合科考实习船上,6000米级深海无人遥控潜水器“海琴”号圆满完成首次深海试验,全面验证了整机系统的功能和主要性能指标。
2025-08-25 10:00
从中核集团中国原子能科学研究院反应堆工程技术研究所承担的一体化闭式循环快堆核能系统项目一体式余热导出原理验证试验顺利完成。
2025-08-25 09:58
我国科学家对嫦娥六号月球样品开展了系统性研究,成功揭示了月球年轻火山活动的源区特征与热驱动机制。
2025-08-25 09:57
山东农业大学农学院教授孔令让研究团队首次组装了小麦远缘杂交常用物种中间偃麦草和鹅观草染色体水平的高质量基因组序列。
2025-08-25 09:54
大多数地区在处暑节气时仍有高温天气出现。北方地区昼夜温差扩大,易出现“一场秋雨一场凉”。
2025-08-22 10:12
当罗斯海冰架上最后一抹极昼阳光悄然隐去,南极的冬季正式到来。冰原之上,完成微电网系统、氢能源系统、通信系统等建设任务后的秦岭站,如一艘灰色的方舟稳稳矗立。
2025-08-22 10:12
一部“电影”让我们一窥人类发育中一个鲜为人知的里程碑事件——新形成的胚胎附着在子宫内膜上的瞬间。
2025-08-22 10:11
嫦娥六号采样点所在的阿波罗盆地直径约540公里,位于月球南极-艾特肯盆地内部,是该区域最大的次级撞击构造。
2025-08-22 10:11
加载更多