ИИ в роли эксперта работает хуже, чем базовая модель

Просьба к искусственному интеллекту выступить в роли «эксперта» может снижать точность ответов. Такой вывод сделали ученые из Университета Южной Калифорнии.

При назначении роли ИИ начинает меньше опираться на фактические данные.

В задачах, требующих точных знаний, например в математике или программировании, такой подход оказался менее эффективным. В тестах базовая модель показала точность 71,6%, тогда как модель с ролью «эксперта» — 68%.

При этом ролевые подсказки показали хорошие результаты в задачах, связанных с безопасностью и стилем текста. Например, роль «монитора безопасности» увеличила число отказов от выполнения вредоносных команд почти на 18%.

Соавтор исследования Цзычжао Ху отметил, что общие формулировки вроде «ты опытный разработчик» малоэффективны. Вместо этого лучше задавать нейронке конкретные требования, например к архитектуре проекта.

Почему это важно

Исследователи советуют не ограничиваться ролью, а задавать ИИ прямые вопросы для поиска фактов.  Если у задачи есть правила и ограничения, лучше использовать подробные инструкции. 

Источник: Код Дурова