AI 업스케일링으로 더 나은 사진을 만드는 방법

AI를 사용하여 이미지를 확대하는 새로운 기술은 사진에서 비디오 게임 그래픽에 이르기까지 모든 것을 향상시킬 수 있다고 전문가들은 말합니다.

구글 연구원 최근 논의 그들은 이미지 해상도를 높이는 데 있어 획기적인 발전을 이루었습니다. 과학자들은 기계 학습 모델을 사용하여 저해상도 사진을 상세한 고해상도 사진으로 변환했습니다. AI를 사용하여 이미지를 개선하는 추세의 일부입니다.

"특히 NVIDIA DLSS와 같은 기술이 기계 학습을 사용하여 기본 이미지의 품질에 필적할 수 있는 훨씬 더 높은 해상도의 이미지를 재생성합니다."라고 이미징 전문가는 말합니다. 이오넛-알렉산드루 포파 이메일 인터뷰에서 Lifewire에 말했습니다.

"이러한 유형의 업스케일링은 고품질 이미지를 직접 렌더링하는 것보다 적은 리소스를 사용하는 컴퓨터 게임에서 잘 작동합니다."

픽셀 만들기

Google은 확산 모델이라는 방법을 사용하여 사진을 고급화하는 방법을 모색하고 있습니다.

회사는 이 기술이 인간이 결과를 판단하도록 요청할 때 기존 기술을 개선한다고 주장합니다. Google에서 사용하는 한 가지 접근 방식은 SR3 또는 반복 정제를 통한 Super-Resolution입니다.

구글 연구원들은 블로그 포스트에서 "SR3는 저해상도 이미지를 입력받아 순수한 노이즈로부터 그에 상응하는 고해상도 이미지를 구축하는 초해상도 확산 모델"이라고 썼다. "이 모델은 순수한 노이즈만 남을 때까지 고해상도 이미지에 노이즈가 점진적으로 추가되는 이미지 손상 프로세스에 대해 학습됩니다."

업스케일링 기술은 새로운 것이 아니며 일반적으로 사진 편집 응용 프로그램에서 사용된다고 Popa는 말했습니다.

"더 높은 해상도의 이미지가 필요한 상황이 많이 있으므로 기존 이미지 사이에 픽셀을 생성하기 위해 업스케일링이 사용됩니다"라고 그는 덧붙였습니다. "대부분의 사람들이 인식하지 못하지만 4K 화면으로 TV를 볼 때 1080p 비디오 신호가 자동으로 전체 화면을 덮도록 업스케일됩니다. 이것은 TV에서 자동으로 수행됩니다."

Popa는 현재 많은 기술을 사용하여 새 픽셀의 내용을 '추측'하여 결과 이미지가 좋아 보이게 한다고 말했습니다.

"현재 이미지 업스케일링에 가장 많이 사용되는 알고리즘은 연속적인 점차적으로 색상이 변하면서 인접 픽셀 간의 전환이 이루어지지만 이 방법은 종종 선명도 손실을 초래합니다."라고 그는 말했습니다. 추가했습니다. "이것은 확대된 이미지에 샤프닝 패스를 적용하여 부분적으로 보상됩니다."

이미지 업스케일링은 엔터테인먼트, 미디어 및 인터넷이 작동하는 방식에 매우 중요합니다. 사진작가 세바스티앙 코엘 이메일 인터뷰에서 Lifewire에 말했습니다.

"예를 들어, 웹 페이지에 대해 여러 이미지 크기를 가질 필요가 없습니다. 하나는 전화용, 다른 하나는 태블릿용"이라고 그는 말했습니다. 1080p 이미지를 2k 또는 4k로, 전화 이미지를 태블릿 및 1080p로 업스케일하면 필요한 이미지 수를 6개에서 1080p로 갑자기 줄였습니다. 2."

"또한 큰 2k 및 4k 파일에서 필요한 파일 공간을 절약할 수 있으므로 필요한 전체 파일 저장 크기를 약 70-90% 줄일 수 있습니다."

TV뿐만 아니라

사진 업스케일링은 사진의 품질을 높이고 의료 영상 촬영에도 도움이 될 수 있습니다. 소프트웨어 개발자들은 업스케일링을 통해 품질 저하 없이 이미지의 해상도를 높일 수 있다고 말합니다.

하지만, 매틱 브로즈사진 웹사이트 Photutorial의 창립자는 이메일 인터뷰에서 Lifewire에 실제 결과는 사용된 소프트웨어에 달려 있다고 말했습니다.

"최근에 AI는 이미지 업스케일링에 적용되고 있지만 아직까지는 그다지 인상적이지는 않습니다."라고 그는 덧붙였습니다.

Broz는 그가 사용한 최고의 업스케일링 소프트웨어는 Vance AI의 AI 이미지 확대기.

"그들의 8배 이미지 업스케일러조차도 심각한 노이즈를 발생시키지 않습니다(해상도가 64배 증가함)"라고 그는 말했습니다. "앞으로 몇 년 동안 알고리즘이 개선되어 더 큰 규모의 업스케일링이 가능해지기를 기대합니다."

스틸 사진가에게 Broz는 이미지 업스케일러가 필요한지 여부는 열린 질문이라고 말했습니다.

그는 "카메라 개발자들은 이제 1억 화소 이상의 해상도에서도 카메라 센서의 해상도를 지속적으로 개선하고 있다"고 덧붙였다. "개인적으로 24MP와 50MP 정도를 사용해 봤는데 큰 인화도 아니고 더 큰 이미지의 필요성을 느껴본 적이 없습니다."