Roblox presenta un sistema de aprendizaje automático que monitorea las violaciones de políticas en la comunicación de voz, con el objetivo de crear un entorno en línea seguro y civilizado.
En el anuncio del 8 de julio, Kiran Bhat, director técnico senior de Roblox, dijo que la compañía ha implementado con éxito un sistema de "seguridad en tiempo real" que funciona según el modelo de aprendizaje automático de "seguridad en tiempo real", procesando millones de datos. Minutos de actividad de voz todos los días. Este sistema es capaz de detectar violaciones de políticas en las comunicaciones de voz con mayor precisión que la moderación humana.
El sistema de “Monitoreo en tiempo real” es un esfuerzo ambicioso que marca un nuevo paso adelante en el campo de la seguridad en línea. Según Roblox, ninguna otra empresa de la industria ofrece actualmente a los usuarios seguridad de voz multilingüe y casi en tiempo real.
El sistema funciona analizando tanto el estilo de audio (incluido el volumen y la entonación) como el contenido hablado. Después de detectar una infracción, el sistema enviará una advertencia al usuario infractor. Si ese comportamiento continúa, Roblox aplicará medidas más fuertes.
Supere los desafíos de los datos
Para construir este sistema, Roblox tuvo que superar muchos desafíos de datos. Inicialmente, la empresa casi no tenía datos reales etiquetados por humanos a escala. Para entrenar eficazmente un modelo de aprendizaje automático, Roblox necesita una gran cantidad de datos etiquetados. Sin embargo, recopilar y etiquetar manualmente miles de horas de datos de voz es un proceso que requiere mucho tiempo y recursos.
Roblox resolvió este problema combinando datos etiquetados automáticamente para entrenamiento y datos etiquetados manualmente para evaluación:
Datos etiquetados automáticamente para entrenamiento: Roblox utilizó grandes cantidades de datos etiquetados automáticamente con una supervisión débil. Este enfoque permite a Roblox etiquetar el volumen de datos necesarios para el modelo en semanas en lugar de años.
Datos etiquetados manualmente para reseñas: Roblox aprovecha su equipo de moderación interna, que clasifica los informes de abuso de los usuarios, para etiquetar manualmente los datos de reseñas.
arquitectura del sistema
El sistema de “Monitoreo en tiempo real” está construido sobre la base de la arquitectura Transformer, adecuada para los requisitos de baja latencia (respuesta casi en tiempo real) y la capacidad de procesar secuencias de datos de manera efectiva. Roblox probó y seleccionó WavLM y Whisper (dos modelos de codificación de código abierto populares en la comunidad de investigación de audio) para entrenar el sistema.
El sistema funciona según un proceso de 3 pasos:
División de audio: La primera etapa del sistema implica dividir el audio en segmentos más pequeños, o segmentos más cortos, siempre que se detecten silencios entre oraciones. Esto permite identificar y etiquetar de forma más eficaz el contenido que infringe las políticas.
Conversión de voz a texto: la segunda etapa del sistema implica convertir estos clips de audio en texto utilizando un modelo de reconocimiento automático de voz (ASR). Los modelos ASR utilizados están disponibles públicamente y son de código abierto.
Clasificación de texto: la etapa final del sistema consiste en clasificar el texto convertido utilizando el filtro de texto interno de Roblox. Este filtro está diseñado para detectar y bloquear contenido etiquetado con categorías y palabras clave que violan las políticas. El filtro de texto es un modelo híbrido entrenado en datos de texto de infracción de políticas etiquetados por humanos, que incluye un modelo DistilBERT extendido y reglas de expresión regular.
Para optimizar el rendimiento, Roblox aplicó técnicas de cuantificación, cambió el método de extracción de funciones e integró un modelo de detección de actividad de voz (VAD) en el sistema.
Resultado
Una vez implementado, el sistema ayudó a Roblox a reducir significativamente las infracciones de políticas en la plataforma. Específicamente, Roblox registró una reducción del 15,3% en la cantidad de informes de abuso de voz grave y una reducción del 11,4% en infracciones por minuto de voz.
Roblox continúa investigando y mejorando el “Monitoreo en tiempo real”, incluida la ampliación del soporte multilingüe, para brindar un entorno en línea saludable para los usuarios.
