检察官和安全组织警告称，大量儿童色情人工智能深度伪造视频让美国执法部门难以区分现实生活中的受害儿童和假冒儿童。据《卫报》报道，他们表示，这些图像太过逼真，很难知道真正的儿童是否受到了虐待。

另请阅读：由 ChatGPT 提供支持的泰迪熊 Poe 为孩子们读睡前故事

明尼苏达州儿童安全非营利组织“零虐待项目”的高级律师克里斯蒂娜·科罗博夫 (Kristina Korobov) 表示，该组织已经开始注意到有关使用人工智能制作的真实儿童图像的报道，这些儿童并未受到性虐待。“但现在他们的脸却出现在一个受虐待的孩子身上，”她说。

美国司法部检察官称，人工智能“正在淹没我们”

据《卫报》报道，科罗波夫表示：“有时，我们可以识别视频或图片中的床铺或背景、犯罪者或它所属的电视剧，但现在却出现了另一个孩子的脸。”

人工智能模型每天能够制作出数千张与真实照片相似的图片和视频。报告称，这使得犯罪分子更容易利用该技术在暗网和主流互联网上传播令人反感的内容。

对于当局来说，这已经成为一场噩梦。“从执法角度来看，针对儿童的犯罪是资源最匮乏的领域之一，而人工智能的内容将呈爆炸式增长，”美国司法部 (DoJ) 检察官表示，并补充道：

“我们已经被这些东西淹没了。”

美国国家失踪与受虐儿童中心 (NCMEC) 表示，2023 年，网络虐待儿童报告数量上升了 12%，达到 3620 万起。虽然大多数报告都与传播遭受性虐待的儿童的真实照片和视频有关，但该中心还收到了 4700 起涉及儿童性剥削的 AI 深度伪造图像或视频的报告。

NCMEC 表示，犯罪分子使用人工智能的最常见方式包括编辑现有的在线图片，使其更加露骨。犯罪分子还利用生成式人工智能聊天机器人，提供如何招募儿童进行虐待的图形说明。

现行法律对人工智能深度伪造的监管力度不够

什么才算是犯罪似乎存在着差距。在许多司法管辖区，拥有将儿童性对象化的图像是一种犯罪，但法律尚未发展到将人工智能生成的图像纳入其中。

司法部检察官表示：“在联邦系统中起诉案件时，人工智能不会改变我们可以起诉的内容，但在许多州，你必须能够证明这是一个真正的孩子。”检察官补充道：

“对图像合法性的争论会在审判中造成问题。如果我是辩护律师，我就会这样争论。”

即使法律得以颁布，仍需要相关技术来抓捕罪犯，而目前这方面还存在很大差距。儿童安全组织警告称，警察局可能会收到大量请求。

另请阅读：联合国秘书长警告称，人工智能将增加核战争的可能性

据《卫报》报道，利用人工智能生成的儿童色情图片在 2022 年左右开始在网上增加其影响力，与此同时 OpenAI 发布 ChatGPT。

NCMEC 指责人工智能公司在防止剥削性内容的生成和传播方面做得不够。去年，只有五家人工智能公司自愿向该中心提交报告。相比之下，70% 的社交媒体平台分享了他们的报告。