Block представила ИИ, который слушает и говорит одновременно

Компания Block представила Dessa — нейросеть для голосовых разговоров, которая может отвечать, пока собеседник ещё говорит. По словам разработчиков, модель обучили с нуля исключительно на человеческой речи — без текстов и готовых нейросетей.

Dessa обрабатывает звук и отвечает голосом без промежуточного перевода речи в текст. Как объясняют в Block, это позволяет учитывать не только слова, но и интонации, смех, вздохи и паузы. Во время разговора модель может перебить человека или вставить короткую реплику, не дожидаясь, пока он закончит мысль.

На сайте проекта опубликованы записи диалогов. В одном примере Dessa помогает собеседнику вспомнить название фильма, в другом — говорит громче по его просьбе. Разработчики утверждают, что модель сама выбирает содержание ответа, момент для реплики и манеру речи. Субтитры к записям добавили после разговора.

По данным Block, Dessa работает локально на MacBook Pro с чипом M4 Max или более мощном компьютере. Скорости обработки звука хватает для общения в реальном времени. Для обучения модели использовали одну вычислительную стойку NVIDIA GB200 NVL72.

Общий доступ к Dessa пока не открыт. Команда приглашает небольшую группу исследователей безопасности для раннего тестирования: им предстоит найти риски, которые разработчики могли не предусмотреть.

Почему это важно

Такие разработки приближают общение с ИИ к обычной беседе, в которой человеку не приходится подстраиваться под темп и очередность ответов машины.

Источник: Dessa