Roblox introduit un système ML qui surveille les violations des politiques dans les communications vocales, dans le but de créer un environnement en ligne sûr et civilisé.
Dans l'annonce du 8 juillet, M. Kiran Bhat, directeur technique principal de Roblox, a déclaré que la société avait déployé avec succès un système de « sécurité en temps réel » fonctionnant sur la base du modèle d'apprentissage automatique « sécurité en temps réel », traitant des millions de données. minutes d'activité vocale chaque jour. Ce système est capable de détecter les violations des politiques dans les communications vocales avec une plus grande précision que la modération humaine.
Le système « Real-Time Monitoring » est un effort ambitieux, marquant une nouvelle avancée dans le domaine de la sécurité en ligne. Selon Roblox, aucune autre entreprise du secteur n'offre actuellement aux utilisateurs une sécurité vocale multilingue et en temps quasi réel.
Le système fonctionne en analysant à la fois le style audio (y compris le volume et l'intonation) et le contenu parlé. Après avoir détecté une violation, le système enverra un avertissement à l'utilisateur contrevenant. Si ce comportement persiste, Roblox appliquera des mesures plus strictes.
Surmonter les défis liés aux données
Pour construire ce système, Roblox a dû surmonter de nombreux défis en matière de données. Au départ, l’entreprise ne disposait de pratiquement aucune donnée humaine réelle à grande échelle. Pour entraîner efficacement un modèle d'apprentissage automatique, Roblox a besoin d'une grande quantité de données étiquetées. Cependant, la collecte et l’étiquetage manuels de milliers d’heures de données vocales constituent un processus extrêmement gourmand en temps et en ressources.
Roblox a résolu ce problème en combinant des données étiquetées automatiquement pour la formation et des données étiquetées manuellement pour l'évaluation :
Données automatiquement étiquetées pour l'entraînement : Roblox a utilisé de grandes quantités de données étiquetées automatiquement avec une faible supervision. Cette approche permet à Roblox d'étiqueter le volume de données nécessaire au modèle en semaines au lieu d'années.
Données étiquetées manuellement pour les avis : Roblox s'appuie sur son équipe de modération interne, qui trie les rapports d'abus des utilisateurs, pour étiqueter manuellement les données des avis.
Architecture du système
Le système de « surveillance en temps réel » est construit sur la base de l'architecture Transformer, adaptée aux exigences de faible latence (réponse en temps quasi réel) et de capacité à traiter efficacement les séquences de données. Roblox a testé et sélectionné WavLM et Whisper – deux modèles d'encodage open source populaires dans la communauté de recherche audio – pour entraîner le système.
Le système fonctionne selon un processus en 3 étapes :
Fractionnement de l'audio : la première étape du système consiste à diviser l'audio en segments plus petits, ou segments plus courts, chaque fois que des silences sont détectés entre les phrases. Cela permet d'identifier et d'étiqueter plus efficacement les contenus qui enfreignent les politiques.
Conversion parole en texte : La deuxième étape du système consiste à convertir ces clips audio en texte à l'aide d'un modèle de reconnaissance automatique de la parole (ASR). Les modèles ASR utilisés sont accessibles au public et open source.
Classification du texte : La dernière étape du système consiste à classer le texte converti à l'aide du filtre de texte interne de Roblox. Ce filtre est conçu pour détecter et bloquer le contenu étiqueté avec des catégories et des mots-clés qui enfreignent les politiques. Le filtre de texte est un modèle hybride formé sur des données textuelles de violation de politique étiquetées par l'homme, comprenant un modèle DistilBERT étendu et des règles d'expression régulière.
Pour optimiser les performances, Roblox a appliqué des techniques de quantification, modifié la méthode d'extraction des caractéristiques et intégré un modèle de détection d'activité vocale (VAD) dans le système.
Résultat
Une fois mis en œuvre, le système a aidé Roblox à réduire considérablement les violations des politiques sur la plateforme. Plus précisément, Roblox a enregistré une diminution de 15,3 % du nombre de rapports d'abus vocaux graves et une diminution de 11,4 % des violations par minute vocale.
Roblox continue de rechercher et d'améliorer la « surveillance en temps réel », notamment en élargissant la prise en charge multilingue, afin de fournir un environnement en ligne sain aux utilisateurs.