Яндекс предложил способ проверки ИИ на духовно-нравственные ценности

Компания предложила создать национальный датасет с заданиями и эталонными данными для проверки российских ИИ-моделей. Механизм пока обсуждается.

13 августа Яндекс представил концепцию на заседании рабочей группы по регулированию ИИ. Предполагается, что с помощью специального набора заданий можно будет оценивать, насколько модели соответствуют «духу времени и ценностям страны» и подходят для использования в российских условиях.

Как именно будет проходить проверка, пока не решено. Один из обсуждаемых вариантов — открытый тест для предварительной оценки и закрытый для финальной, чтобы разработчики не могли заранее настроить модель под конкретные ответы.

Пока неизвестно также, кто будет составлять задания. ИТ-сообщество предлагает привлечь к этому представителей государства, бизнеса и экспертных организаций.

В аппарате вице-премьера Дмитрия Григоренко подчеркнули, что говорить о конкретных решениях пока преждевременно. Минцифры также сообщило, что необходимые подзаконные акты еще обсуждаются с отраслью.

После выхода статьи в Коммерсант, Яндекс дал комментарий от пресс-службы: «Яндекс не представлял концепцию национального датасета и набор тестов для проверки ИИ-моделей. На рабочей встрече в Минцифры представители нескольких компаний обсуждали возможные подходы к такой проверке. Яндекс был одним из участников обсуждения и высказал свою позицию – содержание датасета должно быть открытым по общепринятым принципам отрасли».

Ранее писали, какие российские языковые модели будут проверять на соответствие ценностям.

Почему это важно

Появляется более конкретное представление о том, как на практике могут проверять российские ИИ-модели. Готовиться к определенному формату тестирования пока рано: ни сами задания, ни порядок оценки еще не утверждены.

Источник: Коммерсант