CodeFormer - это новейший алгоритм, способный восстанавливать лица на старых фотографиях или лица, созданные искусственным интеллектом.
Разработанный в S-Lab университета Наньянг Технолоджикал в Сингапуре, этот алгоритм использует дискретный кодовый словарь и трансформеры для предсказания композиции и деталей деградированных изображений лиц.
Кроме того, в него встроен модуль адаптивного управляемого преобразования признаков для достижения баланса между подлинностью и качеством восстановленного изображения.
Важно отметить, что алгоритм имеет лицензионные ограничения по коммерческому использованию.
Разработанный в S-Lab университета Наньянг Технолоджикал в Сингапуре, этот алгоритм использует дискретный кодовый словарь и трансформеры для предсказания композиции и деталей деградированных изображений лиц.
Кроме того, в него встроен модуль адаптивного управляемого преобразования признаков для достижения баланса между подлинностью и качеством восстановленного изображения.
Важно отметить, что алгоритм имеет лицензионные ограничения по коммерческому использованию.
В работе исследователи показали, что восстановление лица методом "вслепую" представляет собой сложную задачу, требующую дополнительных подсказок для улучшения качества изображения и восстановления утраченных деталей. Разработчики продемонстрировали, что использование обученной дискретной предварительной кодовой книги в ограниченном прокси-пространстве значительно снижает неопределенность и неоднозначность восстановления, превращая его в задачу предсказания кода.
В рамках данной концепции была предложена модель предсказания на основе Transformer под названием CodeFormer, которая моделирует общую структуру и контекст лиц с низким качеством, для предсказания кода, что позволяет получить естественные лица, близкие к желаемым, даже при значительной деградации входных данных.
Для улучшения адаптивности к различным видам деградации также был предложен управляемый модуль преобразования признаков, который позволяет гибко находить баланс между точностью и качеством. Благодаря использованию предварительной кодовой книги и глобальному моделированию, CodeFormer превосходит существующие технологии как по качеству, так и по точности, обладая высокой устойчивостью к деградации. Результаты обширных экспериментов на синтетических и реальных данных подтверждают эффективность предложенного метода.
В рамках данной концепции была предложена модель предсказания на основе Transformer под названием CodeFormer, которая моделирует общую структуру и контекст лиц с низким качеством, для предсказания кода, что позволяет получить естественные лица, близкие к желаемым, даже при значительной деградации входных данных.
Для улучшения адаптивности к различным видам деградации также был предложен управляемый модуль преобразования признаков, который позволяет гибко находить баланс между точностью и качеством. Благодаря использованию предварительной кодовой книги и глобальному моделированию, CodeFormer превосходит существующие технологии как по качеству, так и по точности, обладая высокой устойчивостью к деградации. Результаты обширных экспериментов на синтетических и реальных данных подтверждают эффективность предложенного метода.
GitHub - https://github.com/sczhou/CodeFormer
Страница проекта - https://shangchenzhou.com/projects/CodeFormer/
Demo - https://huggingface.co/spaces/sczhou/CodeFormer
Страница проекта - https://shangchenzhou.com/projects/CodeFormer/
Demo - https://huggingface.co/spaces/sczhou/CodeFormer