로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

프로입털러

[인터뷰] 몰입감 있는 스마트폰 경험의 완성…갤럭시 Z 폴드4 UDC 개발 비하인드 스토리

일상을 기록하는 셀피친구와의 영상 통화 등 전면(front) 카메라는 우리의 모바일 경험에서 없어선 안될 존재다하지만 몰입감 있는 풀 스크린(full-screen) 시청 경험을 원하는 이들에게 스마트폰 디스플레이 윗 부분의 검은 점은 극복하기 힘든 방해물이었다여기그 난제를 극복한 기술이 있다언더 디스플레이 카메라(Under Display Camera, 이하 ‘UDC’)가 바로 그것.

 

폴더블 제품 중 최초로 갤럭시 폴드3에 적용된 UDC는 갤럭시 폴드4에서 보다 향상된 기술로 돌아왔다삼성전자 글로벌 연구 조직 간의 협업을 통한 기술 혁신의 결과물로 사용자들에게 한층 더 몰입감 있는 스마트폰 경험을 제공하고 있는 것소비자들의 소중한 피드백 역시 혁신의 동력이었다.

 

뉴스룸은 UDC 연구개발의 중추를 담당한 삼성리서치[1] 해외연구소 연구원들을 만나 다양한 개발 뒷 이야기를 들었다.

 

삼성리서치아메리카(SRA) MPI(Mobile Processor Innovation)랩의 카메라 연산(Computational Camera) 파트를 이끄는 John Seok-Jun Lee 연구원과 삼성리서치 인도 방갈로르 연구소(SRI-B) AI비전 솔루션(AI Vision Solutions) 파트를 맡고 있는 Alok Shukla(알록 슈클라연구원이 그 주인공이다.

 

 

Q. UDC 기술에 대해 설명 부탁드린다

 

John Seok-Jun Lee UDC란 평소에는 디스플레이 전체를 화면으로 사용하다가 셀피 등 전면 카메라를 사용할 때만 메인 디스플레이 아래에 숨겨진 카메라를 활성화하는 혁신적인 기술이다.

 

UDC기술의 작동 원리는 디스플레이의 픽셀 구조를 변경하는 것이다. 즉, 픽셀의 밀도와 구조를 최적화하여, 화면을 사용할 땐 카메라가 눈에 띄지 않게 하고, 카메라를 사용할 땐 빛을 잘 받아들이도록 한다.

 

UDC는 모바일 기기에서 화면을 시청할 때 방해 요소를 최소화해준다이를 위해선 카메라를 디스플레이 패널 아래로 배치하는 하드웨어적인 혁신뿐만 아니라화질을 복원하는 알고리즘의 혁신도 필요하다.

 

 

Q. 갤럭시 Z 폴드4에 적용된 UDC는 사용자에게 어떤 가치를 제공하는 기술인지 소개 부탁한다

 

John Seok-Jun Lee 사용자들은 갤럭시 폴더블 제품의 혁신적인 디스플레이 기술을 통해 스마트폰으로 대화면 경험을 할 수 있다하나의 모바일 기기지만 접었을 땐 일반적인 스마트폰으로펼쳤을 땐 대화면으로 다양한 사용 경험을 제공하기 때문이다.

 

소비자 조사 결과갤럭시 폴드 시리즈 사용자들은 셀피용으로는 커버스크린 카메라를 주로 사용하고비디오 시청게임이나 문서 작업을 할 땐 메인 디스플레이를 선호하는 것으로 나타났다우리는 제품을 펼쳤을 때 몰입감 있는 경험을 원하는 사용자들의 니즈를 충족시킬 수 있는 최적의 기술이 UDC라고 생각했다그렇게 UDC 선행 연구개발에 매진한 결과갤럭시 폴드3에 세계 최초의 폴더블 UDC가 적용됐고갤럭시 폴드4에선 더욱 향상된 UDC 기술을 선보일 수 있었다.

 

Q. 갤럭시 Z 폴드3 이후 UDC 이미지 화질을 개선하기 위해 어떤 노력을 했나?

 

Alok Shukla Z 폴드4에서는 UDC의 시인성을 최대한 개선하기 위해 픽셀 배치 구조를 군집형에서 분산형으로 변경했다하지만, UDC는 디스플레이 패널을 통해 카메라 센서에 오는 빛의 투과율이 상대적으로 낮아 이미지 화질이 저하된다는 난제를 갖고 있다.

 

이 문제를 해결하기 위해 멀티프레임 프로세싱에 AI 기술을 적용했다. UDC 이미지 복원에 필요한 ‘컴퓨터 연산 포토그래피’ 파이프라인을 AI 기술 기반으로 개발하는 것이다.

 

SRI-B는 MX 사업부 비주얼 소프트웨어 개발 그룹과 협업해, UDC 이미지 복원을 위한 AI 모델 개발에 주력했다이와 동시에, SRA MPI랩은 멀티프레임 컴퓨터연산 포토그래피’ 알고리즘을 개선했다이미지의 전반적인 다이내믹 레인지를 개선하고, 자연스러운 밝기를 적용하기 위해서다.

 

그 결과갤럭시 Z 폴드4의 UDC는 더 정교하고 깨끗한 이미지를 제공할 수 있게 됐다.

 

 

Q. SRA와 SRI-B은 언제부터 협업을 진행했나, 그간의 여정에 대한 소감도 궁금하다.

 

John Seok-Jun Lee 내가 속한 MPI랩은 2014년 갤럭시 노트4부터 2022년 갤럭시 Z 폴드4와 플립4에 이르기까지모든 연구개발을 SRI-B와 함께 해 왔다. SRA는 UDC, 야간 모드, Expert RAW 등 MX 사업부 관련 멀티프레임 프로세싱 기술 연구를 주도했다. SRI-B는 고도의 카메라 소프트웨어이미지 품질 튜닝, AI 카메라 연구개발을 진행하며 상용화를 위한 제반 준비를 담당했다.

 

이번 UDC 연구개발을 위해 미국의 SRA와 인도의 SRI-B, 그리고 한국에 있는 MX사업부 비주얼 소프트웨어 개발 그룹이 협업을 진행했다. 서로의 시차를 조율해가며 복잡한 프로젝트를 기한 내에 성공적으로 달성했다. ‘최고의 스마트폰 카메라 경험’이라는 공동의 목표를 위해 함께 협업하고 성과를 내는 과정은 항상 즐겁다.

 

Q. 이번 UDC 연구개발에서 맡은 분야를 소개해 달라.

 

Alok Shukla 우리의 역할은 최고의 소비자 경험 구현을 위해 UDC를 엔드투엔드(End-to-End) 관점에서 바라보는 것이었다때문에여러 팀 간의 심도 있는 협업이 필요했다예를 들어, MX사업부 비주얼 소프트웨어 개발그룹이 광회절(빛이 휘어지는 현상억제를 위한 데이터 생성을 연구개발할 때, SRI-B는 AI 모델 개발에 집중하는 식이다. UDC는 이러한 긴밀한 협업의 결과물이다.

 

SRI-B는 AI 모델 구현에 신경망처리장치(NPU) 적용에 있어서도 중요한 역할을 했다. 이를 통해 NPU로 가속화된 AI 기반 UDC 복원 기술이 갤럭시 Z 폴드4에 최초로 적용되었다. 그 결과, 이미지 처리 시간은 줄이면서 더 나은 화질을 구현해, 보다 나은 소비자 경험을 제공할 수 있다.

 

 

Q. UDC 기술을 개발하면서 겪었던 어려움과 극복 과정을 소개해 달라

 

John Seok-Jun Lee UDC는 빛을 최대한 많이 투과시켜야 하는 카메라와 자체적으로 발광하여 화질을 극대화 해야하는 디스플레이라는 상반된 두 가지 기술이 공존한다는 기술적 특성이 있다따라서낮은 빛 투과율과 광회절(빛이 휘어지는 현상)은 극복해야 할 어려운 과제였다.

 

또 하나의 이슈는 UDC 이미지 화질이 카메라 모듈뿐만 아니라 디스플레이 패널에도 영향을 받는다는 점이었다. 이를 해결하기 위해 우리는 상이한 디스플레이 특징에 따라 이미지 품질을 조정할 수 있는 AI 기반의 3D ISP(Image Signal Processing) 알고리즘을 개발했다.

 

Alok Shukla AI기반의 이미지 복원 기술을 개발할 때가 떠오른다이미지 복원은 사진뿐 아니라 영상에서도 필요하다영상을 촬영한 뒤촬영한 영상을 불러 오려면 실시간 이미지 복원 처리가 가능해야 한다또한전력을 최대한 적게 소비해야 하는 점도 중요하다.

 

AI 기반 UDC 복원은 영상에서는 갤럭시 Z 폴드4에 최초로 적용됐다. 우리는 최소한의 전력 소비로 실시간 이미지 복원이 가능한, 보다 가볍고 최적화된 AI 모델을 구축하기 위해 신경망처리장치(NPU)와 첨단 양자화(Quantization) 기술을 광범위하게 활용했다. 우수한 품질을 달성하기 위해 실험도 수없이 진행했다.

 

Q. UDC 연구개발에 있어 어떤 비전을 갖고 있는가?

 

Alok Shukla UDC는 스마트폰 카메라의 새로운 지평을 열었다미래의 UDC 기술은 사용자의 시청 경험을 방해하지 않으면서도 여러 개의 카메라와 더 큰 카메라 센서를 유연하게 배치할 수 있게 될 것이다또 다른 목표는 더 많은 제품들의 전면 카메라에 UDC를 적용하는 것이다물론카메라 화질과 처리 시간 등이 개선되어야 할 것이다.

 

John Seok-Jun Lee 앞으로 나올 제품들의 UDC는 완전히 보이지 않는 방향으로 발전할 것이라고 예상한다이것이 현실화되면펀치홀 카메라와 동일한 이미지 성능을 유지하면서도 시청 방해 요소는 없는궁극의 모바일 디스플레이를 경험할 수 있을 것이다.


[1] 삼성전자 DX(Device eXperience) 부문의 선행 연구개발 조직

프로입털러
Galaxy S22 Ultra
iPhone 13 mini
Galaxy Book3 Pro
Galaxy Tab S8 Ultra
Galaxy Watch4 Classic
Galaxy Buds2 Pro
댓글
0
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 48857
핫글 소식 삼성 갤럭시S24 흥행… 전세계 스마트폰 1위 탈환 [1] new BarryWhite 16:31 8 444
핫글 소식 삼성, 2025년형 아이폰 SE 4 디스플레이 생산 거부 [2] new AlieNaTiZ 14:00 2 736
핫글 소식 아이폰16 프로 티타늄, 새로 광택 마감 적용? [1] new BarryWhite 19:21 2 288
48638 이통3사, 3Q 합산 영업익 '1조'…'찻잔 속 태풍' 그친 중간요금제 [1] 프로입털러 22.10.26 0 195
48637 대만 2위 파운드리 UMC, 1조원 들여 中합작법인 완전자회사 편입 프로입털러 22.10.26 0 152
48636 "PC에 쓰레기 많네" 아빠 말에…세제로 노트북 씻은 두살배기 폭소 [3] 프로입털러 22.10.26 0 480
48635 화웨이 "5.5G로 나아가려면 표준화·주파수 확보 힘써야" 프로입털러 22.10.26 0 90
48634 '어닝쇼크' SK하이닉스 "어려운 환경…금융위기 수준 투자축소"(종합) 프로입털러 22.10.26 0 116
48633 소식 이스트소프트, AI 버추얼 휴먼 영상 제작 서비스 AI 스튜디오 페르소 론칭 뉴스봇 22.10.26 1 126
48632 소식 쌍용자동차, 토레스 내비게이션 업그레이드로 풀 사이즈 맵 지원 뉴스봇 22.10.26 0 271
48631 삼성, 자사 스마트폰에 '수리모드' 지원 시작 [7] file Stellist 22.10.26 13 1269
48630 소니, 무선이어폰 멀티포인트 지원 업데이트 예고 [8] file Stellist 22.10.26 3 685
[인터뷰] 몰입감 있는 스마트폰 경험의 완성…갤럭시 Z 폴드4 UDC 개발 비하인드 스토리 프로입털러 22.10.26 0 287
48628 소식 네이버, 친환경 행보 강화…국내 인터넷 기업 최초 EV100 가입 뉴스봇 22.10.26 0 96
48627 소식 라이카 카메라, Celebration of Photography 개최 뉴스봇 22.10.26 0 77
48626 소식 네 번째 지포스 RTX 4090 보조전원 커넥터 버닝 사건 발생 [1] 뉴스봇 22.10.26 0 166
48625 소식 RTX 4090 커넥터 버닝 방지? 시소닉 L형 12VPWR 커넥터 테스트 뉴스봇 22.10.26 1 179
48624 삼성전자, ‘모바일 폐제품 수거함’ (Eco Box) 글로벌 확대 프로입털러 22.10.26 0 256
48623 카카오, '먹통 대란' 서비스 정상화까지 127시간30분 걸려 프로입털러 22.10.26 0 111
48622 애플, 글로벌 협력사들에 '탈탄소' 촉구…"100% 재생 에너지 사용 여부 평가" 프로입털러 22.10.26 0 93
48621 위메이드, 영업손실 280억…매출은 1083억 '미르M' 영향 프로입털러 22.10.26 0 106
48620 LG엔솔, 3분기 매출 7.6조 역대최대…연매출 전망 22조→25조(종합2보) 프로입털러 22.10.26 0 104
48619 소식 돌아온 루다, 무엇이 달라졌나? 뉴스봇 22.10.26 0 172
48618 소식 SK하이닉스, 3분기 영업익 60% 급감…"내년 투자규모 50% 이상 축소" 뉴스봇 22.10.26 0 115
48617 소식 AMD 라데온 RX 7000 시리즈, 버닝 이슈 터진 12VHPWR 커넥터 안쓴다 file 뉴스봇 22.10.26 1 179
48616 소식 TUV SUD, 업계 최초로 외골격 로봇 인증 제공 뉴스봇 22.10.26 0 77
48615 소식 콴타, 노트북 렌즈 모듈 구매 취소 뉴스봇 22.10.26 0 102
48614 소식 심상치 않은 웨이퍼 시장 뉴스봇 22.10.26 0 199
48613 소식 AMD "라데온 RX 6000 시리즈에 ATX 3.0 인터페이스 안 쓴다" 뉴스봇 22.10.26 0 77
48612 소식 VRAM 4GB 줄어든 지포스 RTX 3060 8GB 등록 시작 file 뉴스봇 22.10.26 0 72
48611 SK하이닉스, 2022년 3분기 경영실적 발표 프로입털러 22.10.26 0 134
48610 MS, 3분기 실적 월가 전망치 살짝 웃돌아…알파벳은 하회(종합) 프로입털러 22.10.26 0 138
48609 데이터센터 수준 비교된 네카오…희비 엇갈린 이해진-김범수 프로입털러 22.10.26 0 217

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...