Roblox führt ein ML-System ein, das Richtlinienverstöße in der Sprachkommunikation überwacht, mit dem Ziel, eine sichere und zivilisierte Online-Umgebung zu schaffen.

In der Ankündigung vom 8. Juli sagte Herr Kiran Bhat – Senior Technical Director von Roblox, dass das Unternehmen erfolgreich ein „Real-Time Safety“-System implementiert hat, das auf dem „Real-Time Safety“-Modell basiert und Millionen von Daten verarbeitet Minuten Sprachaktivität pro Tag. Dieses System ist in der Lage, Richtlinienverstöße in der Sprachkommunikation mit größerer Genauigkeit zu erkennen als menschliche Moderation.

Das „Real-Time Monitoring“-System ist ein ehrgeiziges Unterfangen und markiert einen neuen Schritt vorwärts im Bereich der Online-Sicherheit. Laut Roblox bietet derzeit kein anderes Unternehmen der Branche den Benutzern mehrsprachige Sprachsicherheit nahezu in Echtzeit.

Das System analysiert sowohl den Audiostil (einschließlich Lautstärke und Intonation) als auch den gesprochenen Inhalt. Sobald ein Verstoß erkannt wird, sendet das System eine Warnung an den verletzenden Benutzer. Wenn dieses Verhalten anhält, wird Roblox strengere Maßnahmen ergreifen.

Meistern Sie Datenherausforderungen

Um dieses System aufzubauen, musste Roblox viele Datenherausforderungen bewältigen. Anfangs verfügte das Unternehmen fast über keine echten, von Menschen beschrifteten Daten im großen Maßstab. Um ein Modell für maschinelles Lernen effektiv zu trainieren, benötigt Roblox eine große Menge an gekennzeichneten Daten. Allerdings ist das manuelle Sammeln und Kennzeichnen von Tausenden von Stunden an Sprachdaten ein äußerst zeit- und ressourcenintensiver Prozess.

Roblox löste dieses Problem, indem es automatisch gekennzeichnete Daten für das Training und manuell gekennzeichnete Daten für die Auswertung kombinierte:

  • Automatisch gekennzeichnete Daten für das Training: Roblox verwendete große Mengen maschinell gekennzeichneter Daten unter schwacher Aufsicht. Dieser Ansatz ermöglicht es Roblox, die für das Modell benötigte Datenmenge in Wochen statt in Jahren zu kennzeichnen.

  • Manuell gekennzeichnete Daten für Bewertungen: Roblox nutzt sein internes Moderationsteam, das Missbrauchsberichte von Benutzern selektiert, um Bewertungsdaten manuell zu kennzeichnen.

Systemarchitektur

Das „Real-Time Monitoring“-System basiert auf der Transformer-Architektur und ist für die Anforderungen einer geringen Latenz (Antwort nahezu in Echtzeit) und der Fähigkeit, Datensequenzen effektiv zu verarbeiten, geeignet. Roblox testete und wählte WavLM und Whisper – zwei in der Audioforschungsgemeinschaft beliebte Open-Source-Kodierungsmodelle – zum Trainieren des Systems.

Das System arbeitet nach einem dreistufigen Prozess:

  1. Audio aufteilen: Die erste Stufe des Systems besteht darin, Audio in kleinere Segmente oder kürzere Segmente zu unterteilen, wann immer Pausen zwischen Sätzen erkannt werden. Dadurch können Inhalte, die gegen Richtlinien verstoßen, effektiver identifiziert und gekennzeichnet werden.

  2. Konvertierung von Sprache in Text: Die zweite Stufe des Systems umfasst die Umwandlung dieser Audioclips in Text mithilfe eines automatischen Spracherkennungsmodells (ASR). Die verwendeten ASR-Modelle sind öffentlich verfügbar und Open Source.

  3. Textklassifizierung: In der letzten Phase des Systems wird der konvertierte Text mithilfe des internen Textfilters von Roblox klassifiziert. Dieser Filter dient dazu, Inhalte zu erkennen und zu blockieren, die mit Kategorien und Schlüsselwörtern gekennzeichnet sind, die gegen Richtlinien verstoßen. Der Textfilter ist ein Hybridmodell, das auf von Menschen gekennzeichneten Textdaten zu Richtlinienverstößen trainiert wird, einschließlich eines erweiterten DistilBERT-Modells und Regeln für reguläre Ausdrücke.

Um die Leistung zu optimieren, wendete Roblox Quantisierungstechniken an, änderte die Methode zur Merkmalsextraktion und integrierte ein Sprachaktivitätserkennungsmodell (VAD) in das System.

Ergebnis

Nach der Implementierung half das System Roblox dabei, Richtlinienverstöße auf der Plattform deutlich zu reduzieren. Konkret verzeichnete Roblox einen Rückgang um 15,3 % bei der Zahl schwerer Meldungen über Stimmmissbrauch und einen Rückgang um 11,4 % bei Verstößen pro Sprechminute.

Roblox forscht und verbessert weiterhin die „Echtzeitüberwachung“, einschließlich der Erweiterung der mehrsprachigen Unterstützung, um den Benutzern eine gesunde Online-Umgebung zu bieten.