Как создавать музыку в Riffusion: инструкции и советы

Riffusion — это онлайн-сервис для генерации музыки по текстовым запросам с помощью нейросети. Пользователь настраивает параметры, при необходимости загружает референс и на выходе получает трек с вокалом или просто инструментальной партией. Сервис подойдет для музыкальных экспериментов, создания демо или поздравлений. В этом обзоре — основные функции Riffusion и инструкция по эффективному применению.

Как использовать

Зарегистрируйтесь в сервисе с помощью Discord- или Google-аккаунта. Также доступна авторизация по номеру телефона, в том числе российскому.

На главном экране в разделе Featured встречают треки и плейлисты, созданные пользователями. Их можно прослушать, добавить в избранное или использовать для генерации личных композиций.

Если вам понравился определенный пользователь и хочется следить за его работами, откройте любую его композицию и нажмите Follow рядом с никнеймом. Любимые авторы появятся в разделе Following.

Режим Personalize включается в одноименном разделе меню. Он учитывает ваши музыкальные предпочтения при генерации треков. Причем оценивает композиции внутри сервиса, которые вы лайкаете и сохраняете.

Режим доступен в бесплатной версии, но его надо разблокировать. Для этого нужно заработать 1000 баллов, выполняя задания: сгенерировать 3 песни, создать свой плейлист, опубликовать композицию и так далее. Все задания указаны здесь же — они загораются после выполнения.

В Songs хранятся сгенерированные песни. Самые любимые можете отметить сердечком, они переносятся в Favorites.

Ниже в меню находятся Vibes. Это стили для генераций, которые можно создать на основе загруженных референсов. С их помощью можно точнее управлять результатом при генерации музыки. Чтобы создать «вайб», нажмите Create new vibe. Правда, функция доступна только в платных версиях.

Раздел Projects тоже открывается после оформления подписки. В нем можно создать рабочее пространство и распределить сгенерированные треки по папкам. Например, песни с вокалом или рабочие демо.

Чтобы создать проект, нажмите Create new project.

В последнем разделе Playlist можно собирать свои плейлисты из личных и чужих композиций. Чтобы создать плейлист, нажмите Create new playlist.

Придумайте название для плейлиста и описание, добавьте или сгенерируйте обложку (Prompt). Нажмите Create.

Найдите композицию, которую хотите добавить в плейлист, нажмите на три точки рядом с ней и выберите Add to playlist → нужный плейлист.

Вы можете редактировать плейлист (Edit), копировать на него ссылку (Copy Link), чтобы поделиться, удалять (Delete playlist). А еще управлять его приватностью (Privacy), например, опубликовать или оставить доступным только для себя.

Настройки профиля и интерфейса находятся в правом верхнем углу. Model позволяет выбирать модель генерации. По умолчанию установлена FUZZ-1.0, при желании ее можно заменить на более продвинутую FUZZ-1.1. Если выбрать модель из семейства Pro, придется расплачиваться часами Studio Mode — в бесплатной версии доступно только 20 минут. Этого хватит примерно на шесть треков в Studio Mode без подписки.

Другие настройки интерфейса:

• Theme — переключение темы оформления: стандартная, темная или цветная.
• Account settings — настройки аккаунта. Здесь можно изменить подписку, привязать другие способы входа или выйти из аккаунта. В платной версии доступна опция переключения из Studio Mode в обычный режим, чтобы не тратить часы.
• Invite friends — ссылка для приглашения других пользователей.
• Discord — кнопка для перехода в сообщество сервиса.
• Docs — база справочных материалов по Riffusion.
• Learn more — служба поддержки, блог и соцсети.

Как сгенерировать песню в Riffusion

Вверху экрана находится строка ввода. Впишите туда свой промпт: о чем песня, в каком стиле, кто и каким голосом её исполняет, какое настроение она передает. Лучше писать промпт на английском языке, иногда сервис не понимает запросы на русском и генерирует то, что хочет.

Если хочется поэкспериментировать, нажмите Random — нейросеть сама подберет запрос.

Если хотите создать мелодию без слов, включите режим Instrumental.

Для более точной настройки переключитесь на вкладку Compose. Если у вас есть готовый текст, вставьте его в поле Lyrics или сгенерируйте с помощью кнопки Ghostwriter. Если текст не задать, нейросеть придумает его сама.

В разделе Sound можно добавить звуковые эффекты и стили, в том числе созданные вами ранее в Vibes. Просто выберите нужные элементы, например: шепот, мечтательная мелодия и так далее.

В блоке Details загрузите обложку, сгенерируйте ее через Prompt Image или доверьте выбор ИИ.

Чтобы результат больше соответствовал задумке, включите настройки Advanced.

В режиме есть несколько настроек:

• Add sound — написать промпт для звуковых эффектов в треке.
• Add vibe — написать промпт для стиля.
• Negative prompt — сюда впишите то, что нужно исключить из генерации.
• Lyrics strength — указывает, насколько точно ИИ должен сохранять загруженный текст в песне. Чем он выше, тем точнее нейросеть сохраняет слова.
• Weirdness — показатель креативность. Чем он выше, тем больше нейросеть отклоняется от промптов. 
• Seed управляет случайностью генераций. Если не укажете seed, при каждом генерации трек будет отличаться даже с тем же промптом и настройками. Фиксируя seed, сможете воспроизвести точно тот же звук в будущем, сохранив все параметры.
• Model — модель нейросети. 

Для каждого промпта есть параметр Strength. Он отвечает за точность, с которой ИИ его придерживается при генерации. Например, при низких показателях нейросеть практически не берет запрос во внимание, а при высоких — четко ему следует. Лучше выставлять его на 50%-60%, чтобы дать ИИ немного пространства для творчества.

Чтобы трек звучал интереснее и не был однообразным, можно задать разные промпты для отдельных отрезков композиции. Выберите фрагмент на временной шкале, нажмите Add Sound и введите описание — например, «спокойное фортепиано». Затем выделите следующий участок и задайте новый промпт, например, «быстрые ударные и гитарный риф».

Когда все настроите, нажмите Generate.

Два варианта трека появятся в разделе Songs. Их можно опубликовать для других пользователей (Publish) или использовать как стиль‑референс для следующих генераций (Use vibe). 

Чтобы скачать песню, нажмите на три точки → Download и выберите нужный формат. Если хотите сохранить отдельные звуковые дорожки, например, бас, барабаны или вокал, нажмите Get Stems. Файл скачается в виде zip-архива.

Трек можно сразу добавить в плейлист, проект или очередь на прослушивание (Add to queue). Если во время генерации произошел сбой или результат оказался некачественным, несмотря на правильные настройки, сообщите об этом через кнопку Report.

Чтобы изменить обложку и название трека, выберите Edit details, введите свои данные и нажмите Save.

С помощью кнопки Trim можно быстро обрезать начало или конец композиции.

Если нужен повторяющийся фрагмент, включите Loop — ИИ постарается сделать так, чтобы первый и последний такты плавно переходили друг в друга.

Как сделать ремикс и отредактировать трек

Нажмите Remix — появится несколько вариантов редактирования и изменения трека.

Если хотите получить новую аранжировку или изменить текст, выберите Cover. Это перегенерация на основе оригинала: система возьмет загруженный фрагмент и пересоберет его с новым звучанием — изменит инструменты, стиль или атмосферу, но сохранит основную мелодию, гармонию и структуру.

После клика на Cover откроется окно Compose с настройками. Здесь можно поменять текст, промпт, значения Strength и Weirdness. Параметр Seed лучше не трогать — тогда вариация будет ближе к оригиналу. При смене seed можно получить совершенно другой трек.

Также появится настройка Variation. Она определяет, насколько сильно ремикс будет отличаться от исходной версии. Чем меньше значение, тем ближе результат к оригиналу.

Чтобы удлинить трек, выберите Extend. Эта функция доступна в том же окне.

Перетяните ползунок на дорожке до нужного момента — от него и продолжится генерация. Настройки можно оставить прежними или изменить, если хотите, чтобы новый отрывок отличался по звучанию.

Если какой-то момент в песне не устраивает, его можно заменить с помощью инструмента Replace. Выделите нужный участок и задайте для него другие параметры. Убедитесь, что стрелки над дорожкой окрашены в фиолетовый цвет. Это значит, что изменения применятся только к выбранному фрагменту, а не ко всему треку.

Если нужно заменить только вокал, например, с мужского на женский, используйте Swap vocals. Для замены инструментала — Swap sound. Эти функции работают так же, как Cover: настройки применяются ко всей композиции. В промпте укажите, что именно нужно изменить, и не забудьте настроить Variation.

В Riffusion можно редактировать не только сгенерированные, но и загруженные треки. Для этого внизу окна Compose нажмите Upload, подтвердите, что у вас есть права на использование композиции, и приступайте к работе.

Стоит ли оформлять подписку

Сервис предлагает три плана, включая бесплатный. Без подписки можно генерировать неограниченное количество треков в базовом режиме и до 20 минут музыки в студийном (Studio Mode). Однако использовать такие композиции в коммерческих целях нельзя — при скачивании в аудиофайле будет встроена реклама сервиса.

Тем, кто планирует использовать музыку в видео, подкастах или рекламе, потребуется оформить подписку за  $8 или $48 в месяц. Платные тарифы включают права на коммерческое использование, а также открывают доступ к дополнительным функциям: созданию собственных стилей, рабочим пространствам, расширенным настройкам и большему количеству часов в Studio Mode. В максимальном тарифе можно запускать до 16 генераций одновременно для одного запроса.