Как работает реставрация фото нейросетью

Реставрация фото онлайн нейросетью выглядит для пользователя как одна кнопка и полминуты ожидания. Внутри при этом происходит несколько разных операций подряд, и понимание того, что именно делает модель, помогает не удивляться результату и не разочаровываться раньше времени.

Чем нейросеть отличается от ручной ретуши

Ретушёр правит фото вручную: клонирует соседний участок кожи поверх царапины, осветляет пятно инструментом, подрисовывает утраченный край кадрирования. Это работа глазами и рукой, растянутая на часы или дни.

Нейросеть работает иначе. Модель обучена на огромном числе пар «повреждённый снимок, восстановленная версия» и на этих примерах учится узнавать типовые паттерны: как выглядит царапина на плёнке, как выцветание меняет цвет кожи, какой формы обычно бывают заломы от многолетнего хранения в конверте. Дальше она применяет эти паттерны к новому фото за один проход, без ручной правки каждого пикселя отдельно.

Разница не только в скорости. Ретушёр видит одно конкретное фото и решает по ситуации. Модель применяет статистику тысяч похожих случаев, поэтому она стабильно хороша на типовых повреждениях и слабее там, где повреждение нетипичное.

Как модель отличает повреждение от детали снимка

Вот тут кроется самое интересное и самое частое недопонимание. Царапина на плёнке выглядит как тонкая яркая линия на однородном фоне, это легко отличить от, скажем, морщины на лице или узора на ткани. А вот пятно неправильной формы на сложном фоне, например на ковре с орнаментом, модель иногда путает с частью самого рисунка.

Именно поэтому результат на портрете с ровным фоном почти всегда чище, чем на групповом кадре с обилием деталей вокруг людей. Меньше конкурирующих паттернов, меньше шансов на ошибку.

Формат исходника при этом почти не важен. Подойдёт обычный jpg с телефона, png из архива сканов, даже фото фотографии, снятое на смартфон с альбомной страницы. Специальной подготовки файла не требуется, разве что для скана с сильным перекосом стоит выровнять кадр заранее в любом простом редакторе, чтобы модель не тратила часть анализа на геометрию вместо повреждений.

Мы в Photo Art чаще всего видим в очереди чёрно-белые портреты пятидесятых-семидесятых годов с заломом ровно посередине, там, где карточку годами хранили сложенной в конверте или в кармане. Такой залом обычно уходит быстрее всего. А вот пятна от сырости на широком однородном фоне, вроде неба или стены, требуют от модели больше внимания к деталям вокруг них.

Что происходит за минуту обработки

Средняя обработка одного снимка занимает около минуты, дольше, чем раскрашивание или улучшение качества. Разница объясняется просто: реставрация решает не одну задачу, а несколько последовательно.

1. Анализ снимка и разметка проблемных зон.
2. Устранение царапин, заломов и пятен.
3. Восстановление утраченных фрагментов рядом с повреждением.
4. Выравнивание общего контраста и резкости.
5. Раскраска, если выбран такой режим.

Каждый шаг опирается на результат предыдущего. Если алгоритм неточно определил границу повреждения на первом шаге, это может отразиться и на итоговой резкости.

Пока идёт обработка, фото стоит в очереди задач сервиса вместе с другими запросами. В обычное время это незаметно, счёт идёт на секунды. В часы пиковой нагрузки, например вечером, ожидание может растянуться чуть дольше заявленной минуты, это нормально и не значит, что задача зависла.

Как получить точный результат на сильно повреждённом фото

Если повреждение задевает крупный участок кадра, стоит поискать другой снимок того же момента: серия кадров с одной плёнки или второй отпечаток того же события часто сохранился лучше первого. Чем больше настоящих деталей видно на фото, тем точнее модель их достраивает.

Если другого снимка нет, стоит проверить результат внимательно на увеличении: открыть готовый файл на весь экран и сравнить с оригиналом деталь за деталью, а не полагаться на первое впечатление в маленьком превью.

Реставрация и раскрашивание за один прогон

Если снимок черно-белый или в сепии и хочется сразу увидеть его цветным, не нужно запускать два отдельных инструмента. Режим «Реставрация и раскрашивание» делает оба шага за один проход.

Отдельный режим «Только реставрация» не трогает цвет вовсе, чёрно-белое фото останется чёрно-белым, только чистым и чётким.

Перед тем как скачивать готовый файл, стоит проверить один момент, который люди часто пропускают: как выглядят детали на самых повреждённых участках снимка вблизи. Если что-то смущает, проще попробовать другой режим или другой скан того же снимка, чем принимать результат не глядя.

Пример того, как выглядит результат на реальном снимке.

На выходе получается снимок без царапин и заломов, с выровненным контрастом и вернувшейся резкостью. Если выбран режим с раскрашиванием, тот же файл сразу приходит цветным, без отдельного шага и лишнего ожидания.

Когда лучше позвать реставратора-человека

Нейросеть не заменяет ретушёра там, где нужна ручная докраска утраченного фрагмента по другим фотографиям того же человека, здесь остаётся простор для художника. Но для типового набора повреждений, царапин, пятен, выцветания, общего замыливания, автоматическая обработка справляется быстро и стабильно.

Практический ориентир простой. Если фото повреждено типично, для нейросети это рутина. Если повреждение уникальное и сложное, кусок вырезан ножницами, залито краской, часть снимка утрачена физически, тогда стоит сразу обсудить задачу с ретушёром, который докрашивает утраченные фрагменты вручную, а не гонять одно и то же фото через автоматику раз за разом в надежде на другой результат.

Попробовать реставрацию фото нейросетью можно прямо на своём снимке. Если сомневаетесь, стоит ли доверять автоматике конкретное фото, для начала загрузите его в режиме «Только реставрация»: раскраску всегда можно добавить вторым шагом, когда увидите, как модель справилась с повреждениями.