Roblox представляет систему машинного обучения, которая отслеживает нарушения политик голосовой связи с целью создания безопасной и цивилизованной онлайн-среды.
В объявлении от 8 июля г-н Киран Бхат, старший технический директор Roblox, заявил, что компания успешно развернула систему «Безопасность в реальном времени», работающую на основе модели машинного обучения «Безопасность в реальном времени», обрабатывающую миллионы данных. минут голосовой активности каждый день. Эта система способна обнаруживать нарушения правил голосовой связи с большей точностью, чем модерация человеком.
Система «Мониторинг в реальном времени» — это амбициозный проект, знаменующий новый шаг вперед в области онлайн-безопасности. По словам Roblox, ни одна другая компания в отрасли в настоящее время не предлагает пользователям многоязычную голосовую безопасность практически в реальном времени.
Система работает, анализируя как стиль звука (включая громкость и интонацию), так и разговорный контент. После обнаружения нарушения система отправит пользователю-нарушителю предупреждение. Если такое поведение продолжится, Roblox применит более строгие меры.
Преодолеть проблемы с данными
Чтобы создать эту систему, Roblox пришлось преодолеть множество проблем с данными. Первоначально у компании почти не было масштабных данных, маркированных людьми. Для эффективного обучения модели машинного обучения Roblox требуется большой объем размеченных данных. Однако ручной сбор и маркировка тысяч часов голосовых данных — чрезвычайно трудоемкий и ресурсоемкий процесс.
Roblox решил эту проблему, объединив автоматически размеченные данные для обучения и размеченные вручную данные для оценки:
Автоматически помеченные данные для обучения: Roblox использовал большие объемы машинно-помеченных данных при слабом контроле. Этот подход позволяет Roblox маркировать объем данных, необходимых для модели, в неделях, а не в годах.
Данные для отзывов помечаются вручную. Roblox использует свою внутреннюю команду модераторов, которая сортирует отчеты о злоупотреблениях от пользователей, чтобы вручную помечать данные отзывов.
Архитектура системы
Система «Мониторинг в реальном времени» построена на основе архитектуры Transformer, подходящей для требований низкой задержки (реакция практически в реальном времени) и способности эффективно обрабатывать последовательности данных. Roblox протестировал и выбрал WavLM и Whisper — две модели кодирования с открытым исходным кодом, популярные в сообществе исследователей аудио, — для обучения системы.
Система работает по трехэтапному принципу:
Разделение звука. Первый этап системы включает разделение звука на более мелкие сегменты или более короткие сегменты всякий раз, когда между предложениями обнаруживается пауза. Это позволяет более эффективно выявлять и маркировать контент, нарушающий политику.
Преобразование речи в текст. Второй этап системы включает преобразование этих аудиоклипов в текст с использованием модели автоматического распознавания речи (ASR). Используемые модели ASR общедоступны и имеют открытый исходный код.
Классификация текста: заключительный этап системы включает классификацию преобразованного текста с помощью внутреннего текстового фильтра Roblox. Этот фильтр предназначен для обнаружения и блокировки контента, помеченного категориями и ключевыми словами, нарушающими правила. Текстовый фильтр — это гибридная модель, обученная на текстовых данных о нарушениях политики, помеченных человеком, включая расширенную модель DistilBERT и правила регулярных выражений.
Чтобы оптимизировать производительность, Roblox применил методы квантования, изменил метод извлечения признаков и интегрировал в систему модель обнаружения голосовой активности (VAD).
Результат
После внедрения система помогла Roblox значительно сократить количество нарушений политики на платформе. В частности, Roblox зафиксировал снижение количества сообщений о серьезных нарушениях голоса на 15,3% и снижение количества нарушений на 11,4% за минуту разговора.
Roblox продолжает исследовать и совершенствовать «Мониторинг в реальном времени», включая расширение многоязычной поддержки, чтобы обеспечить здоровую онлайн-среду для пользователей.
