Roblox memperkenalkan sistem ML yang memantau pelanggaran kebijakan dalam komunikasi suara, yang bertujuan untuk menciptakan lingkungan online yang aman dan beradab.
Dalam pengumuman pada tanggal 8 Juli, Bapak Kiran Bhat - Direktur Teknis Senior Roblox mengatakan bahwa perusahaan telah berhasil menerapkan sistem "Keamanan Waktu Nyata" yang beroperasi berdasarkan model pembelajaran mesin "Keamanan Waktu Nyata", yang memproses jutaan menit aktivitas suara setiap hari. Sistem ini mampu mendeteksi pelanggaran kebijakan dalam komunikasi suara dengan akurasi lebih tinggi dibandingkan moderasi manusia.
Sistem “Pemantauan Waktu Nyata” adalah upaya ambisius yang menandai langkah maju baru dalam bidang keamanan online. Menurut Roblox, saat ini tidak ada perusahaan lain di industri ini yang menawarkan keamanan suara multibahasa yang hampir real-time kepada pengguna.
Sistem ini bekerja dengan menganalisis gaya audio (termasuk volume dan intonasi) dan konten lisan. Setelah mendeteksi adanya pelanggaran, sistem akan mengirimkan peringatan kepada pengguna yang melakukan pelanggaran. Jika perilaku tersebut terus berlanjut, Roblox akan menerapkan tindakan yang lebih tegas.
Mengatasi tantangan data
Untuk membangun sistem ini, Roblox harus mengatasi banyak tantangan data. Awalnya, perusahaan hampir tidak memiliki data nyata yang diberi label manusia dalam skala besar. Untuk melatih model pembelajaran mesin secara efektif, Roblox memerlukan data berlabel dalam jumlah besar. Namun, mengumpulkan dan memberi label secara manual pada data suara yang berdurasi ribuan jam merupakan proses yang sangat memakan waktu dan sumber daya.
Roblox memecahkan masalah ini dengan menggabungkan data yang diberi label otomatis untuk pelatihan dan data yang diberi label manual untuk evaluasi:
Data yang diberi label otomatis untuk pelatihan: Roblox menggunakan data yang diberi label mesin dalam jumlah besar dengan pengawasan yang lemah. Pendekatan ini memungkinkan Roblox memberi label volume data yang diperlukan untuk model dalam hitungan minggu, bukan tahun.
Memberi label data secara manual untuk ulasan: Roblox memanfaatkan tim moderasi internalnya, yang melakukan triase terhadap laporan penyalahgunaan dari pengguna, untuk memberi label data ulasan secara manual.
sistem arsitektur
Sistem “Pemantauan Waktu Nyata” dibangun berdasarkan arsitektur Transformer, sesuai untuk kebutuhan latensi rendah (mendekati respons waktu nyata) dan kemampuan memproses urutan data secara efektif. Roblox menguji dan memilih WavLM dan Whisper – dua model pengkodean sumber terbuka yang populer di komunitas riset audio – untuk melatih sistem.
Sistem beroperasi menurut proses 3 langkah:
Memisahkan audio: Tahap pertama dari sistem ini melibatkan pembagian audio menjadi segmen yang lebih kecil, atau segmen yang lebih pendek, setiap kali keheningan terdeteksi di antara kalimat. Hal ini memungkinkan konten yang melanggar kebijakan diidentifikasi dan diberi label dengan lebih efektif.
Konversi ucapan ke teks: Tahap kedua dari sistem ini melibatkan konversi klip audio ini menjadi teks menggunakan model pengenalan ucapan otomatis (ASR). Model ASR yang digunakan tersedia untuk umum dan open source.
Klasifikasi teks: Tahap akhir dari sistem melibatkan pengklasifikasian teks yang dikonversi menggunakan filter teks internal Roblox. Filter ini dirancang untuk mendeteksi dan memblokir konten berlabel kategori dan kata kunci yang melanggar kebijakan. Filter teks adalah model hibrid yang dilatih pada data teks pelanggaran kebijakan yang diberi label manusia, termasuk model DistilBERT yang diperluas dan aturan ekspresi reguler.
Untuk mengoptimalkan kinerja, Roblox menerapkan teknik kuantisasi, mengubah metode ekstraksi fitur, dan mengintegrasikan model deteksi aktivitas suara (VAD) ke dalam sistem.
Hasil
Setelah diterapkan, sistem ini membantu Roblox mengurangi pelanggaran kebijakan di platform secara signifikan. Secara khusus, Roblox mencatat penurunan jumlah laporan penyalahgunaan suara parah sebesar 15,3% dan penurunan pelanggaran per menit suara sebesar 11,4%.
Roblox terus meneliti dan meningkatkan “Pemantauan Waktu Nyata”, termasuk memperluas dukungan multibahasa, untuk menyediakan lingkungan online yang sehat bagi pengguna.
