Апскейл (upscale)

За счет апскейла цифровой контент становится более четким, ярким, контрастным, детализированным. Из него пропадают различные искажения — шумы, зернистость, блики, пятна, полосы, мерцание. Такие материалы более приятны и комфортны для восприятия.

В онлайн-сервисе Magnific есть функция апскейла иллюстраций

Где применяют апскейл

Технология востребована в разных сферах деятельности:

Кино и телевидение. Апскейл используют для повышения качества фильмов, сериалов, музыкальных клипов, записей концертов, ТВ-шоу, передач, документальной хроники. Это наиболее актуально для старого контента, который был создан до перехода к цифровым технологиям — в 1990-е годы и ранее. Например, благодаря апскейлу можно увидеть советские классические фильмы в более высоком разрешении и качестве. Это улучшает зрительский опыт.

В 2018 году нейросети «Яндекса» улучшили семь советских военных фильмов — повысили резкость и разрешение, убрали искажения

Кроме того, технология позволяет повысить разрешение современных форматов. Например, превратить HD в Full HD или Full HD в 4K.

Видеоигры. Чем выше качество картинки, тем более впечатляющий и захватывающий игровой опыт получают геймеры. Поэтому разработчики стремятся к максимальному разрешению. Но далеко не у всех пользователей есть мощные компьютеры и консоли, которые поддерживают заявленное качество игры.

В этой ситуации помогает апскейл. Разработчики заранее закладывают эту технологию в игру: если конкретное оборудование «не тянет» максимально возможное разрешение, на экране искусственно создается его реалистичная иллюзия. В результате геймеры получают качественную картинку даже на относительно слабых устройствах.

Также апскейл позволяет модернизировать старые популярные видеоигры, повысить их качество.

Платформа Upsampler умеет увеличивать резкость игровой графики, повышать ее детализированность и реалистичность

Реставрация. Благодаря апскейлу можно улучшить качество старых фотографий и документов: восстановить семейные архивные снимки (сделать лица и детали более четкими), расшифровать тексты с бумаг прошлых веков.

Это полезно для архивов, музеев, библиотек, научных учреждений (исследовательских вузов и центров, НИИ). Также улучшенные материалы используют СМИ и медиа для публикации в своих источниках.

Нейросеть «Яндекса» умеет расшифровывать исторические документы. Она распознает знаки, учитывает особенности почерка и превращает рукописные записи в печатный текст

Бизнес. Апскейл позволяет использовать одно и то же изображение для разных целей без потери качества. Так, из фотографии товара на сайте можно сделать баннер для наружной рекламы — компании не придется заново проводить съемку под другой формат. Это экономит время и бюджет.

Технологию применяют при работе с карточками товаров, логотипами, презентациями, отчетами, полиграфическими и рекламными материалами. Разрешение картинки влияет на зрительное восприятие и действия клиентов, партнеров, заказчиков, подрядчиков и других контрагентов.

Например, чем четче и детальнее изображен товар на сайте, тем клиентам легче его изучить и принять решение о покупке. А высококачественные фото, диаграммы и графики в деловой презентации формируют положительное впечатление у потенциальных партнеров, спонсоров, инвесторов.

В сервисе Leonardo AI есть функция апскейла продуктовых фотографий

Как работает апскейл

Раньше качество картинки улучшали с помощью простых математических методов интерполяции: программа создавала новые пиксели на основе средних значений уже существующих пикселей. За счет этого удавалось немного повысить разрешение, но результат был далек от идеала: изображение получалось размытым и замыленным, без четкости и детализации. По сути, это была та же самая исходная картинка, только растянутая и увеличенная в размере.

Сейчас в апскейле применяют современные технологии машинного обучения и искусственного интеллекта. Нейросети обучаются на огромных массивах контента. Им показывают пары одних и тех же изображений в высоком и низком разрешении. Алгоритмы смотрят, как выглядит высококачественная картинка, и учатся совершенствовать ее ухудшенную версию. В процессе апскейла они работают следующим образом:

1. Изучают исходное изображение, его структуру и элементы.
2. Прогнозируют и вычисляют, как должны выглядеть недостающие пиксели.
3. Добавляют новые пиксели в исходник, тем самым повышают его разрешение.
4. Убирают искажения (шумы, зернистость, блики) при их наличии, восстанавливают недостающие детали и элементы.

В результате получается значительно улучшенный вариант исходника — более четкий, детализированный и приятный для зрительного восприятия. Также нейросети могут повышать качество видео и аудио.

ИИ-сервис AudioCleaner убирает из аудио шумы, лишние звуки и другие нежелательные элементы
Источник

Апскейл реализуют через различные сервисы, программы, приложения, боты в мессенджерах. Они бывают полностью бесплатные, бесплатные с расширенным платным функционалом, полностью платные. Для доступа ко многим инструментам нужно приобретать лицензионное ПО или оплачивать ежемесячную / ежегодную подписку.

Telegram-бот «Геннадий» обработал изображение маскота Unisender — гудбоя Юни. Разрешение картинки увеличилось вдвое

Стоимость тарифов обычно привязана к количеству изображений (или других единиц контента), которые можно обработать. Также тарифы могут различаться по максимально возможному разрешению, наличию или отсутствию рекламы, поддержки.

В таблице — популярные инструменты:

Проблемы и недостатки апскейла

Использование технологии имеет ряд минусов:

Риск дефектов и искажений. Инструменты апскейла не всегда дают хороший результат. Не исключено, что с изображения пропадут детали или появятся ложные элементы, которых не было в исходнике. Также может быть искаженная цветопередача, неестественная резкость.

Если исходник очень низкого качества, попытка его улучшить может дать обратный эффект. При работе с такими изображениями ИИ чересчур агрессивно сглаживает детали, убирает их естественные очертания. Из-за этого возникает размыливание.

Ограничения в инструментах. Некоторые бесплатные сервисы добавляют водяной знак на изображения или ограничивают их размер. А зарубежные платные инструменты могут быть недоступны для оплаты с российских банковских карт, открываться только с VPN. Чтобы оплатить доступ, может потребоваться иностранная карта.

Увеличение объема файлов. Улучшенные материалы «весят» больше, занимают больше памяти, дольше загружаются. Для их хранения требуются вместительные файловые системы.

Главные мысли