Модерация — это проверка контента и действий пользователей на соответствие требованиям закона и политике социальной сети.
Модерация помогает вовремя удалить оскорбительные, непристойные или вводящие в заблуждение публикации. Также она борется со спамом, троллингом, распространением фишинговых ссылок и другими формами запрещенного поведения.
Каждая соцсеть устанавливает свои правила поведения. Когда пользователь присоединяется к платформе, он даёт согласие не только на регистрацию, но и на соблюдение условий площадки. Они определяют, какой контент нельзя публиковать и какие действия нельзя совершать.

При регистрации в VK пользователь автоматически принимает пользовательское соглашение
Правила модерации могут меняться по мере возникновения новых проблем. Когда используемых методов защиты становится недостаточно, платформы внедряют новые. Например, X может не только удалить публикацию, которая нарушает правила, но и ограничить её видимость или добавить предупреждающую пометку. Пользователь может обжаловать такое решение.

X может добавить к публикации предупреждающую пометку, ограничить её видимость или потребовать удалить контент, который нарушает правила платформы. Источник
Зачем нужна модерация
Ежедневно объём контента, публикуемого в соцсетях, увеличивается. Модерация позволяет обрабатывать множество данных в режиме реального времени и быстро реагировать на появляющиеся проблемы.
Модерация решает несколько основных задач:
- Защищает от нежелательного контента. Помогает предотвратить или быстро заметить неприемлемый контент.
- Обеспечивает безопасность. Останавливает мошенничество, кибербуллинг, харассмент и другие вредоносные действия. Помогает защитить персональные данные пользователей.
- Поддерживает репутацию. Обеспечивает качественный контент. Это позволяет получить доверие пользователей и укрепить репутацию надёжной соцсети.
- Помогает соблюдать законодательство. Соцсети должны соблюдать местные и международные законы об авторском праве, защите персональных данных и другие нормы. Модерация помогает отслеживать нарушения.

Например, «ВКонтакте» входит в реестр социальных сетей Роскомнадзора. Поэтому площадка обязана самостоятельно выявлять и блокировать запрещённую информацию, принимать жалобы пользователей и соблюдать другие требования статьи 10.6 закона № 149-ФЗ
Как работает модерация
Для выявления нарушений и оскорбительного контента соцсети используют автоматическую и ручную модерацию.
Автоматическая модерация. Специальные алгоритмы определяют тематику контента и проверяют, соблюдены ли правила площадки. Затем на основании этих данных публикациям и комментариям пользователей выносят вердикт — либо допускают к публикации, либо блокируют. У каждой платформы свои алгоритмы. Например, YouTube использует автоматические системы для проверки и удаления комментариев, которые нарушают правила платформы.

Иногда YouTube не удаляет комментарий сразу, а предлагает пользователю перед отправкой проверить, не нарушает ли он правила платформы. Источник
Также для борьбы с токсичностью соцсети используют машинное обучение. Такие системы анализируют текст, выявляют потенциальные оскорбления и нецензурную лексику и отправляют спорные сообщения на дополнительную проверку.
Ручная модерация. «Машины» не могут обнаружить всё. Например, какое сообщение действительно разжигает ненависть, а какое — граничит с оскорблением, но приемлемо. Поэтому некоторые публикации отправляются на ручную проверку. Их проверяют живые люди. Это могут быть штатные специалисты, сотрудники подрядчиков или добровольцы. Например, сообщества Reddit по-прежнему модерируют пользователи-добровольцы, а общеплатформенные правила обеспечивают сотрудники Reddit.
Ручная модерация может быть очень полезной при сборе обратной связи. Классическая ситуация: к вам в комменты приходит очень злой человек, говорит, что вы плохо работаете. При грамотном подходе и правильных вопросах вы, как минимум, узнаете, что такое «плохо работаете». В самом лучшем случае получите крупицы адекватной критики, которая важна для компании, а заодно успокоите человека, и он перестанет громко возмущаться. Все в плюсе.
Обычные пользователи тоже участвуют в модерации: если, по мнению человека, какой-то контент нарушает правила площадки, он может отправить жалобу.
Жалоба сама по себе не приводит к автоматическому удалению публикации. Платформа проверяет материал и применяет меры, если он нарушает правила. Количество жалоб помогает обнаружить проблемный контент, но решение зависит от самого нарушения.

В Instagram* пользователь может пожаловаться на контент, который, по его мнению, нарушает правила площадки. После проверки платформа сообщает о решении; если нарушение подтвердится, публикацию могут удалить, а доступ автора к отдельным функциям или аккаунту — ограничить
Какой бывает модерация
В зависимости от санкций, которые применяют соцсети в случае нарушения правил, условно выделяют два вида модерации: мягкую и жесткую.
Жесткая модерация. Запрещенный контент незамедлительно удаляют, и другие пользователи не могут получить к нему доступ. Если владелец аккаунта продолжает нарушать правила соцсети, его учетную запись блокируют.
Если пользователь не совершал запрещенных действий, но его аккаунт забанили, он может подать жалобу.

В Instagram* пользователю сразу предлагают перейти по ссылке, которая помогает обжаловать блокировку
Мягкая модерация. При мягкой модерации платформы не удаляют контент, но информируют пользователей о потенциальных проблемах. Для этого юзеру показывают предупреждающую надпись.

Если TikTok подозревает, что контент пользователя вводит в заблуждение, ему показывают предупреждающую надпись, которая призывает убедиться в достоверности информации
Иногда после того, как пользователь получает предупреждение, его публикации сопровождаются специальными маркировками.

TikTok маркирует ролики баннером со словами «Предупреждение: видео может содержать непроверенную информацию». Источник
Главные мысли

