檢察官和安全組織警告稱，大量兒童色情人工智能深度僞造視頻讓美國執法部門難以區分現實生活中的受害兒童和假冒兒童。據《衛報》報道，他們表示，這些圖像太過逼真，很難知道真正的兒童是否受到了虐待。

另請閱讀：由 ChatGPT 提供支持的泰迪熊 Poe 爲孩子們讀睡前故事

明尼蘇達州兒童安全非營利組織“零虐待項目”的高級律師克里斯蒂娜·科羅博夫 (Kristina Korobov) 表示，該組織已經開始注意到有關使用人工智能製作的真實兒童圖像的報道，這些兒童並未受到性虐待。“但現在他們的臉卻出現在一個受虐待的孩子身上，”她說。

美國司法部檢察官稱，人工智能“正在淹沒我們”

據《衛報》報道，科羅波夫表示：“有時，我們可以識別視頻或圖片中的牀鋪或背景、犯罪者或它所屬的電視劇，但現在卻出現了另一個孩子的臉。”

人工智能模型每天能夠製作出數千張與真實照片相似的圖片和視頻。報告稱，這使得犯罪分子更容易利用該技術在暗網和主流互聯網上傳播令人反感的內容。

對於當局來說，這已經成爲一場噩夢。“從執法角度來看，針對兒童的犯罪是資源最匱乏的領域之一，而人工智能的內容將呈爆炸式增長，”美國司法部 (DoJ) 檢察官表示，並補充道：

“我們已經被這些東西淹沒了。”

美國國家失蹤與受虐兒童中心 (NCMEC) 表示，2023 年，網絡虐待兒童報告數量上升了 12%，達到 3620 萬起。雖然大多數報告都與傳播遭受性虐待的兒童的真實照片和視頻有關，但該中心還收到了 4700 起涉及兒童性剝削的 AI 深度僞造圖像或視頻的報告。

NCMEC 表示，犯罪分子使用人工智能的最常見方式包括編輯現有的在線圖片，使其更加露骨。犯罪分子還利用生成式人工智能聊天機器人，提供如何招募兒童進行虐待的圖形說明。

現行法律對人工智能深度僞造的監管力度不夠

什麼纔算是犯罪似乎存在着差距。在許多司法管轄區，擁有將兒童性對象化的圖像是一種犯罪，但法律尚未發展到將人工智能生成的圖像納入其中。

司法部檢察官表示：“在聯邦系統中起訴案件時，人工智能不會改變我們可以起訴的內容，但在許多州，你必須能夠證明這是一個真正的孩子。”檢察官補充道：

“對圖像合法性的爭論會在審判中造成問題。如果我是辯護律師，我就會這樣爭論。”

即使法律得以頒佈，仍需要相關技術來抓捕罪犯，而目前這方面還存在很大差距。兒童安全組織警告稱，警察局可能會收到大量請求。

另請閱讀：聯合國祕書長警告稱，人工智能將增加核戰爭的可能性

據《衛報》報道，利用人工智能生成的兒童色情圖片在 2022 年左右開始在網上增加其影響力，與此同時 OpenAI 發佈 ChatGPT。

NCMEC 指責人工智能公司在防止剝削性內容的生成和傳播方面做得不夠。去年，只有五家人工智能公司自願向該中心提交報告。相比之下，70% 的社交媒體平臺分享了他們的報告。