最近,央视曝光了好几款生成式AI应用存在严重的涉黄生成漏洞。平台的审核机制基本形同虚设,用户只需要用几句经过隐晦处理的提示词,就能轻松绕过限制,快速生成大尺度的色情视频和图片。



实测发现,直白露骨的提示词大多数平台会拦截,但把敏感表述换成含蓄的说法或者英文词汇之后,违规内容就能顺利生成。在一款AI应用里,用网购来的隐晦提示词,只花了几分钟就生成了半裸女性跳舞的视频,整个过程完全没有触发平台的任何限制机制。类似的问题在好几款主流AI应用平台上也存在。

调查显示,AI“造黄”已经形成了一条完整的黑色产业链。从违规提示词的售卖、工具使用教程,到批量生成色情内容、付费换脸造假,各个环节分工明确,牟利非常猖獗。网络上有商家公开兜售定制提示词,搭配境外AI工具或者本地部署的模型,进一步规避监管。部分付费AI照片生成器宣称,只要充值对应的金额,凭一张照片就能一键生成色情视频,这严重突破了法律和伦理的底线。

这种乱象不仅污染了网络生态,还很容易滋生色情传播、敲诈勒索、恶意造谣等违法犯罪行为,对未成年人的身心健康和网络空间的秩序造成了极大的危害。

目前,我国已经出台了多项法规来整治AI技术滥用,明确要求平台落实内容安全的主体责任,强化算法审核和风险防控,严禁生成和传播淫秽色情信息。监管部门正在持续开展“清朗”专项行动,重点打击利用AI制作低俗色情内容、违规提供生成服务等行为,督促平台升级审核技术,封堵提示词绕过的漏洞。