点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI换脸、声音克隆……人工智能的滥用到底怎么治?
首页> 地方频道> 文化 > 正文

AI换脸、声音克隆……人工智能的滥用到底怎么治?

来源:央视新闻客户端2025-08-25 09:15

  新闻周刊丨人工智能的滥用,到底怎么治?

  声音和形象被AI合成滥用的事儿正变得越来越多。比如本周,奥运冠军全红婵、王楚钦等人的声音被AI克隆,卖起了所谓的“土鸡蛋”。不少配音演员也站出来维权,因为他们赖以生存的声音,如今可以被AI一键复制,随意地使用。

  这不禁让我们越来越担心,当我们的声音和面容到了如此轻易被人挪用的地步,人与人之间的信任该如何维系?AI的发展速度正越来越快,我们该如何用监管和立法守住底线?《新闻周刊》本周关注:人工智能的滥用,到底怎么治?

  AI换脸、声音克隆等合成技术滥用

  让“耳听眼见”未必为实

  这是配音演员孙晨铭的原声,而这段,是某自媒体账号通过AI克隆其声音生成的配音作品。如果没有提示,谁能分辨出两者之间的差异呢?也是在最近,孙晨铭还发现,一家房产公司同样未经授权,就对他的配音作品进行了AI克隆,用在了公司的企业宣传片中。

  声音被AI克隆,并被用于各种各样的商业场景,对于孙晨铭和同行们来说,已经不是什么新鲜事儿。有人给孙晨铭发来民法典的法条,声音权和肖像权一样,是公民不可侵犯的权益。于是,不少配音演员自发到那条企业宣传片的评论区集体留言,压力之下,这家房产公司,向孙晨铭支付了版权费用。

  本周,本台也曝光了利用AI技术仿冒奥运冠军全红婵进行带货的案例。这种AI伪造技术,已让不少名人深受其害。微信平台今年1月的公告显示,一个月内,就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容,关闭了3281个相关账号。

  近日,北京互联网法院也审结一起案件,被告擅自使用大学教师李女士的肖像和AI合成声音进行图书宣传,最终法院判定,该行为侵犯了李女士的肖像权和声音权益。

  北京互联网法院综合审判三庭(少年法庭)庭长颜君:往往这种案件的受侵害的一方都是有一定社会知名度的名人,因为他会带来相应的社会认可度、认知度,他的声音和他的肖像有一定的商业利用价值。更重要的是如果这个带货的内容,比如说带的是伪劣产品或者是虚假宣传的内容,有可能极大的消解这位名人他的社会认知度、认可度和信任度。

  这段AI视频,生成于两年前,当时的技术,人脸画面还显得僵硬与不自然;而到了去年7月,南京玄武区法院审理的案件中,一名男子通过AI换脸软件,就成功突破了某支付平台的人脸识别系统。人工智能技术的飞速发展,已经使真与假之间的界限,开始变得难以分辨。

  配音演员武扬:从今年开始,我确实发现一些宣传片,他们AI的训练可以达到以假乱真的程度,在70%到80%的平稳叙述的范畴里面,AI都是可以处理得很好的,甚至我本人去听也需要长时间辨别,是不是我本人录的。

  中国信通院人工智能所安全部高级业务主管陈文弢:其实对于生成一个肉眼分辨不出来的这种视频,在前几年来说,难度是比较高的,需要一定的技术门槛,但是这几年出现了一些这种简捷化的工具,可以从开源社区上直接下载。它可以用消费级的笔记本单机来部署,一张照片就能够完成实时换脸。

  耳听为虚,眼见为实,这句古话正面临巨大挑战。AI换脸、声音克隆等合成技术的滥用,让“耳听眼见”都未必为实。对于配音演员孙晨铭来说,AI滥用直接影响到他的生计,赖以谋生的声音,正成为被随意复制的免费素材。迎面而来的AI时代,让他看不清自己的未来将通向何方。

  我们正在进入“全民AI时代”

  监管能不能够跟得上呢?

  如今,AI合成视频已经能做到以假乱真,不得不需要新的技术来辨别。技术成熟的速度令人惊叹,而使用门槛也大幅降低。一部手机、几个软件,普通人就能轻松生成文字、图片、音频、视频等各类内容。可以说,我们正在进入一个“全民AI时代”。

  然而,技术的普及势必会带来AI的滥用:从人脸和声音被合成冒用,到各类低俗猎奇视频的传播,再到漫天谣言的背后,AI都成了核心“推手”。每隔一段时间,新的问题就会涌现。所以,在技术开始狂奔的局面下,我们需要关注监管,能不能够跟得上呢?

  精致的五官、灵动的眼神、流畅的动作,如果没有相关标注,你是否能分辨出,这是一个完全由AI生成的数字人?在短视频平台,类似的视频比比皆是,还有不少视频,直接提供免费的AI软件以及使用教程。

  一部手机、两三个 AI 软件,几分钟就能制作一段时长五秒左右的美女跳舞视频。AI生成合成技术的飞速发展,正在累积着治理风险。去年,抖音安全中心曾发布公告,表示已发现多种不当使用AI技术生成虚拟人物的行为,其中就包括利用AI生成俊男美女虚假形象,骗取互动,将用户导流至私人聊天工具,甚至进行诈骗。根据抖音平台本周五提供的数据,他们最近一周处置的AI虚假违规内容量,相比2025年第一周,增长了62%。

  事实上,从2023年开始,抖音等多家平台陆续要求,发布人工智能生成内容时,需添加“内容由AI生成”的标识,并且也会进行监测和处置。但是,执行效果并不尽如人意。并且有自媒体博主表示,一些平台的监测手段可以破解,比如一些AI工具配置有镜像文件,其一键生成的虚拟人像,就能规避平台的监测。

  自媒体博主:很少。你看我作品我十四个里面就一两个会有。如果它给你出判定为AI作品,你可以把作品下架,然后再重新发一个。

  中国信通院人工智能所安全部高级业务主管陈文弢:如果说打上了这个标识,你只看可能就觉得它是由AI生成的,可能就不是特别的可信,所以这是从用户的角度,他是不愿意打这个标的。从技术的这个角度来看,如果说想完全满足监管的这个要求,把所有的生成合成的视频都识别出来,这个其实难度还是很大的。

  相比视频、图像,在专家看来,AI生成的文字谣言,监管起来其实更加困难。去年,江西南昌就破获一起AI造谣案件,相关机构利用AI软件,一天最多能生成4000—7000篇谣言文章,工作量惊人。更让人担忧的是,AI算法还能匹配用户喜好,定制化的生成谣言,使AI谣言变得越来越真假难辨。今年3月,某自媒体账号发布全国首例“AI医疗误诊”诉讼案开庭的文章,时间、地点、人物甚至庭审争议焦点等细节满满,不过,经过记者与法院核实,所有内容都是AI编造的假信息。

  目前,尽管一些平台设置了相应“谣言库”,通过设置热点关键词来屏蔽谣言。但一些机构利用AI模型针对性地进行对抗训练,使用近义词或类似表达,就可以绕过筛查。

  今年4月以来,中央网信办开展了为期三个月的“清朗·整治AI技术滥用”专项行动,AI换脸拟声、AI内容标识缺失等乱象,都是整治重点。6月,网信办公布专项行动第一阶段成果,累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。如今,三个月的专项行动已经结束,但监管与AI滥用之间的拉锯战,显然才刚刚开始。

  联合国高级别人工智能咨询机构中方专家 中国政法大学数据法治研究院教授张凌寒:我们可能更要设定一个目标,就是能够在AI应用爆发之后,我们在这几年要把整个AI滥用生成虚假内容实现在一个可控的范围之内。这个可控的范围是指说我们不能够让广大老百姓因为这个去发生重大的人身财产的损失,同时也要尽量减少这种AI的内容虚假宣传造成社会舆论的动荡。这是我们的一个红线和底线。

  “内容由AI生成”

  能改变AI滥用的现状吗?

  人工智能,正以前所未有的速度改变世界,它不仅是科技创新的前沿,更是国家间战略博弈的新高地。相关产业的发展固然重要,但通过监管和立法为它划定边界,也同样显得十分紧迫。因为科技的进步本身并不足以确保人类的进步,更重要的是通过规则为它校准方向。

  说到规则,关于AI合成内容,几天后的9月1日,网信办等四部门印发的《人工智能生成合成内容标识办法》将开始施行,它明确规定服务提供者,应当对文本、音频、图片、视频等生成合成内容,在适当位置添加显式标识,也就是说今后所有AI作品必须亮明身份,标注是AI生成。它的实施,能改变当下AI出现滥用的现状吗?

  在某短视频平台上,一条生成式视频的左下角“标注着”作者声明:内容由AI生成,而这样的标注义务,在即将于9月1日实施的《人工智能生成合成内容标识办法》中,得以进一步明确,在人工智能生成合成内容的全生命周期,都要履行标识义务。

  北京抖音信息服务有限公司副总编辑全森:这个标识办法要求AI技术服务提供者,对文件(元数据)内容进行隐式标识。这样一个核心的链路解决了最大的卡点,这个卡点就是技术服务平台与内容传播平台之间,数据难以互通的一个卡点。解决了这个卡点之后,我们预计很大程度上解决了这个AI难以识别的问题。

  马上就要实施的这个《标识办法》,从人工智能生成合成内容的生产、传播和使用等环节入手,对标识制度进行了系统性的细化和规范。而随着深度合成技术日益逼真,逃避审查的手段不断升级,人工识别的难度越来越高,相应的法规和机制,也需要不断应对挑战。

  推进生成式人工智能标识制度的建立,已经成为世界各国的共识。而在专家看来,中国在该领域的立法起步相对较早,2023年施行的《互联网信息服务深度合成管理规定》,就在世界范围内,在相关法规中首次明确提出生成式人工智能标识义务。

  在专家看来,即将实施的《标识办法》,还只是一个规范性文件,在整个立法体系中位阶较低。如果站在更高的维度观察人工智能立法,安全、隐私、公平等都是必须直面的核心问题。今年,人形机器人行业进入快车道,机器人逐渐与人实现面对面,甚至是接触式交流。在深圳的一家养老机构,养老机器人,不仅可以带老人跳舞,扶着走路,还能陪打乒乓球、递水等,可谓多才多艺。面对着养老新朋友,有老人既兴奋又担心,机器人真的安全吗?

  经过多年探索,我国已初步构建起涵盖多层次、多维度的人工智能法律框架,但仍需要一部具有统领性的人工智能高位阶立法,予以统一规范。在国务院公布的2024年度立法工作计划中,曾明确“预备提请全国人大常委会审议人工智能法草案”,而《全国人大常委会2025年度立法工作计划》的相关表述则是,“人工智能健康发展等方面的立法项目,由有关方面抓紧开展调研和起草工作,视情安排审议”,显然,一部中国的人工智能法,正在加紧推进之中。

  对于人工智能,有人把它比作是潘多拉魔盒,在释放出无限可能的同时,也会带来难以预知的风险。

  而前不久在上海举办的世界人工智能大会上,图灵奖得主辛顿的演讲,也在提醒所有人,要对AI保持足够的警觉。他把人类与AI的关系,比作饲养一只老虎,老虎长大后可能轻易超越人类,而且人类没有摆脱和消除它的选项,人类想要生存,必须找到办法训练AI。而如何训练出比人更聪明的“好AI”,是我们从来没有遇到过的巨大的机会和挑战。

  正如中国那句老话,“人无远虑,必有近忧”,在AI的问题上,我们必须要看得更远,才能走得更好。(来源:央视新闻客户端)

[ 责编:董大正 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 滇池畔的“约定”:四十载“春城”人鸥情

  • 安徽宿州:算力产业成经济增长“新引擎”

独家策划

推荐阅读
鸟类是生态系统的重要组成部分,是评估区域生态环境质量的关键指示物种,保护鸟类是推动人与自然和谐共生的关键环节。我国是世界上鸟类资源最为丰富的国家之一,
2025-11-03 05:05
人民城市人民建,人民城市为人民。2025年7月,中央城市工作会议指出,“要深刻把握我国城市发展所处历史方位”,“认真践行人民城市理念”,“以建设创新、宜居、美丽、韧性、文明、
2025-11-03 05:05
“从南极到北极,从草原到荒漠,到处都有昆虫的踪迹……”第三十二届中国杨凌农业高新科技成果博览会期间,西北农林科技大学博览园昆虫博物馆内,参会观众被讲解员李姗姗的讲述深深吸引。
2025-11-03 05:05
近日,中国科学院南京地质古生物研究所早期生命研究团队在湖北宜昌“石板滩生物群”研究中取得重要进展,发现了迄今最古老的复杂三维潜穴系统,
2025-11-03 05:05
秋水长天间,太湖正激荡起智能时代的万千涟漪。日前,以“万物智联,无尽前沿”为主题的2025世界物联网博览会在江苏无锡举办,一场关于万物智联的对话就此展开——人工智能如大脑般睿智思考,物联网似躯体般敏捷连接,当人工智能与物联网双向奔赴,万物就有了“感知”,人类正迎来一个全新智能时代。
2025-11-03 05:05
秋冬之际,正是候鸟迁徙之时。不知你有没有发现,从我们头顶飞过的候鸟,比以前更多了! 2024年全国水鸟同步监测结果显示,我国越冬水鸟总数达505.9万只,创最高纪录。
2025-11-03 05:05
HPV疫苗自2025年11月10日正式纳入国家免疫规划,2011年11月10日后出生的满13周岁女孩可以免费接种双价HPV疫苗。
2025-10-31 10:16
近日,飓风“梅利莎”横扫加勒比地区,成为近年来影响该地区最猛烈的飓风之一。
2025-10-31 10:14
10月30日下午,在中国科学院大连化学物理研究所(以下简称大连化物所),得知同事张洪章即将到“太空”出差的好消息,科研人员纷纷送上祝福:“好好照顾自己,好好完成任务。
2025-10-31 10:02
据新一期《天体物理学快报》报道,LIGO-Virgo-KAGRA国际合作组织宣布,他们在去年10月和11月探测到两起极为特殊的、由黑洞并合产生的引力波事件,分别命名为GW241011和GW241110。
2025-10-31 09:59
记者从生态环境部获悉:今年前三季度,我国环境空气质量和地表水环境质量总体持续改善。从重点区域来看,京津冀及周边地区“2+36”城市PM2.5平均浓度为33.0微克/立方米,同比下降15.6%;平均优良天数比例为73.5%,同比上升8.5个百分点。
2025-10-31 09:57
执行神舟二十一号载人飞行任务的航天员乘组由张陆、武飞、张洪章3名航天员组成。张陆担任指令长。
2025-10-30 13:03
记者10月29日从国家统计局获悉,根据国家统计局社科文司《中国创新指数研究》课题组测算,2024年中国创新指数为174.2(以2015年为100),比上年增长5.3%。
2025-10-30 10:15
绿氨作为绿氢核心载体与低碳原料,正成为钢铁、化工等高耗能行业实现深度脱碳的关键路径。
2025-10-30 10:12
记者10月29日从水利部获悉,由水利部制定的国家标准《幸福河湖评价导则第1部分:流域面积3000km2以下(含)河流》经国家标准化管理委员会批准正式发布,将于2026年5月1日起全面实施。
2025-10-30 10:06
截至2025年3月,全国已建成66处国家级智能化示范煤矿、200余处省级示范煤矿,拥有1806个智能化采掘工作面,智能开采产能占比超过50%,1.6万余个固定岗位实现无人值守。
2025-10-30 10:04
为全面反映我国在应对气候变化领域的政策行动和工作情况,29日,生态环境部发布《中国应对气候变化的政策与行动2025年度报告》并举行新闻发布会。
2025-10-30 10:00
亚太经合组织(APEC)第三十二次领导人非正式会议将于10月31日至11月1日在韩国庆州举行。
2025-10-29 10:12
近日,中国科学院金属研究所戎利建研究员团队利用自主研发的纯净化制备技术,成功实现了高纯净吨级哈氏合金C276的工业化生产。
2025-10-29 09:36
截至今年6月,我国生成式人工智能用户规模达5.15亿人,普及率为36.5%,仅上半年,用户规模就增长了2.66亿人。
2025-10-29 09:35
加载更多