Как оживить фотографию нейросетью: пошагово

Первый раз, когда в сервисе запускали оживление фото на портрете прабабушки одного из пользователей, все, кто был рядом, ждали подвоха. Одна кнопка, около минуты ожидания, и вот на экране человек с портрета моргает и чуть поворачивает голову, будто на пять секунд вернулся в кадр. Дальше разберём, как оживить фотографию нейросетью так, чтобы результат не разочаровал.

Какое фото подходит для оживления, а какое нет

Прежде чем загружать снимок, стоит проверить несколько условий:

• в кадре один человек, а не группа;
• лицо крупное и хорошо видно, не в глубине сцены;
• снимок не размыт и не засвечен настолько, что черты лица едва различимы.

Групповые фото инструмент не обрабатывает вовсе, он рассчитан именно на один портрет крупным планом. Если на фото несколько человек, для оживления придётся выбрать одного и обрезать кадр так, чтобы в нём остался только он.

Причина ограничения простая. Модель строит движение конкретных черт лица, глаз, рта, мышц вокруг них. На маленьком лице в углу группового снимка этих деталей физически не хватает, чтобы построить убедительную мимику, и результат выходит смазанным даже там, где на неподвижном фото всё выглядело нормально.

Проверить это легко на глаз ещё до загрузки. Если на экране телефона лицо на фото меньше ногтя большого пальца, для оживления его сначала нужно приблизить кадрированием, иначе смысла в загрузке немного.

По этой же причине из двух похожих фото одного человека стоит выбирать то, где лицо снято крупнее и без посторонних предметов рядом со ртом и глазами, даже если по композиции второй кадр нравится больше.

Шаг 1. Загрузка фото и обрезка кадра

Загружается обычный jpg или png, специальной подготовки не требуется. Единственное, на что стоит потратить минуту заранее, это кадрирование: если лицо занимает маленькую часть снимка, лучше обрезать фото так, чтобы портрет стал крупнее в кадре. Чем крупнее и чётче лицо на входе, тем увереннее модель отработает мимику.

Старое фото из семейного альбома часто снято на среднем плане: видно человека по пояс, лицо занимает от силы четверть кадра. Такие снимки работают хуже, чем современный портрет с телефона, где лицо крупным планом почти всегда. Если есть возможность отсканировать оригинал в высоком разрешении, а не фотографировать распечатку телефоном, лучше сделать именно так, и уже после этого обрезать кадр под портрет.

Шаг 2. Выбор сценария движения

После загрузки нужно выбрать один из вариантов движения. Их четыре: спокойное дыхание с морганием, лёгкая улыбка, лёгкое движение (небольшой поворот или наклон) и свой запрос текстом до 200 символов для тех, кому нужен более точный сценарий.

Свой запрос стоит писать конкретно: не «оживи красиво», а «медленно моргает, чуть улыбается уголком рта». Чем точнее формулировка, тем меньше шанс, что модель придумает движение, которого не просили. Лимит в 200 символов на деле хватает с запасом, длинные описания с несколькими действиями подряд модель обычно упрощает до одного-двух главных.

Три готовых сценария подходят большинству случаев, и с них стоит начинать, если раньше не пробовали инструмент. Свой запрос имеет смысл держать про запас, для конкретной задачи вроде видео к юбилею, где важен точный момент движения, а не общее оживление лица.

По практике сервиса, чаще всего выбирают спокойное дыхание с морганием: этот вариант меньше всего похож на постановочное движение и лучше всего работает на архивных карточках, где мимика на исходнике и так была сдержанной. Улыбку чаще берут для современных портретов с телефона, где человек и на фото уже почти улыбается, а движение просто продолжает выражение лица.

Шаг 3. Обработка занимает пару минут

Это самый долгий из четырёх инструментов сервиса: реставрация фото укладывается примерно в минуту, а оживление обычно занимает чуть больше времени. За это время модель анализирует лицо на фото и строит короткую последовательность кадров с выбранным движением, а не просто накладывает готовую анимацию поверх портрета.

В часы высокой загрузки сервиса ожидание может растянуться на десятки секунд дольше среднего, это не значит, что задача зависла.

Оживление дольше остальных инструментов сервиса потому, что видео гораздо сложнее статичного изображения: нужно построить не один кадр, а десятки кадров подряд, и каждый должен логично продолжать предыдущий, иначе движение будет дёргаться.

Шаг 4. Результат: видео 5 секунд и что делать дальше

На выходе получается ролик в формате mp4 длиной 5 секунд. Длительность фиксированная, вариантов на 10 или 15 секунд пока нет. Ролик можно сразу скачать и переслать в мессенджер, отдельного редактирования не требуется, файл уже готов к показу на телефоне или на большом экране.

Если движение вышло не таким, как ожидалось, например улыбка получилась слишком широкой для сдержанного портрета, стоит попробовать другой сценарий из списка или уточнить свой запрос текстом точнее.

Мутный или засвеченный исходник лучше подготовить заранее. Прогнать фото через улучшение качества, поднять резкость и контраст лица, и только потом запускать оживление. Чем яснее видно черты лица на входе, тем увереннее и естественнее выходит движение на видео.

Кадр из готового ролика выглядит так.

На каких фото результат лучше всего

Лучший результат получается на чётких портретах с хорошим освещением, где лицо занимает значительную часть кадра. Мутные, сильно засвеченные или сильно повреждённые снимки стоит сначала отреставрировать отдельным инструментом сервиса, и только потом отдавать на оживление: так модели есть с чем работать.

Попробовать оживление фотографии можно на своём портрете прямо сейчас. Если снимок групповой, для начала выберите на нём одно лицо и обрежьте кадр под него. По наблюдениям команды сервиса, эти пять секунд потом пересматривают чаще, чем любой другой файл в семейном архиве.