https://x.com/ballmatthew/status/1810798614668587484
 

매튜 볼: 

리얼리티 랩에 대한 메타의 비전부터 시작하고 싶습니다. 오큘러스 VR은 2014년에 인스타그램을 인수한 가격의 두 배 정도로 인수되었습니다. 2018년, 페이스북 이사회에 "메타버스는 우리가 놓칠 수 없는 것"이라는 유명한 내부 메모가 등장합니다. 2019년, 이 부서는 연간 50억 달러를 소비하고 있습니다. 2020년, 첫 번째 퀘스트가 출시되고, 리얼리티 랩이 공식화되며, 4분기에는 연간 100억 달러 이상을 소비하게 됩니다. 2021년에는 회사가 메타로 리브랜딩합니다. 외부인이 알고 있는 사건들은 이렇습니다. 2006년 페이스북에 합류한 사람으로서, 2017년 리얼리티 랩을 이끌기 시작하고, 2022년 메타의 CTO가 된 사람으로서, 메타버스와 헤드마운트 디스플레이의 타이밍에 대한 당신이나 회사의 관점을 바꾼 내부적으로 중요한 사건들에 대해 알고 싶습니다.

 

 

 

 

Q. 메타버스와 VR에 있어서 회사와 경영진들의 관점을 바꾼 결정적 사건은?

 

 

 

앤드류 보즈워스: 

제가 전혀 관여하지 않았던 몇 가지 사건들이 있습니다. 마크 저커버그가 오큘러스를 인수하기 전, 오큘러스 토이박스(Oculus Toybox)라고 불렸던 초기 프로토타입 버전과 함께 VR 체험 데모를 경험했던 순간이 있죠. 이 시점에서 이 초기 헤드셋은 덕테이프로 덕지덕지 기워진 누더기 프로토타입이었는데, 저커버그는 가상의 테이블탑 복싱 게임을 플레이했습니다. 그리고 데모가 끝나자 저커버그는 무의식적으로 눈 앞에 보이는 테이블 위에 컨트롤러를 내려놓았는데, 그 테이블은 가상 테이블이었기 때문에 그는 자신도 모르게 컨트롤러를 허공에서 바닥으로 떨어뜨린 셈이었습니다. 이 경험을 통해 그는 이 VR이 중요한 미래 플랫폼이라는 확신을 가지게 됩니다. 현실에서 불가능한 많은 것들을 가능하게 만들어주는 기술로써 말이죠.

 

 

 

 

 

 

저는 이때 VR이나 이러한 것들에 전혀 관여하지 않던 상태였습니다. 이 시점에서 저는 페이스북의 완전히 다른 부서에서 일하고 있었습니다. 일반적으로 회사를 인수하게 되면, 인수된 회사의 팀원들과 함께 이루고자 하는 미래의 목표와 그 타임라인을 설정합니다. 지금 되돌아보면, 인수 당시 그 사람들은 미래에 대해 지나칠 정도로 낙관적이었습니다. 기능, 비용, 시장 진출 시간, 채택률 등등 모든 측면에 있어서 스스로의 능력에 대해 매우 낙관적이었습니다. 실제 그 당시 그 사람들이 세웠던 목표치에 대한 정확한 자료가 남아있는지 모르겠지만, 그 모든 측면에 있어서 크든 작든 모든 예측이 틀렸다는건 알고있습니다.

 

인수 이후 제가 오큘러스 VR팀에 참여하게 되었을 때, 저커버그는 여전히 기술의 가능성을 믿고 있었지만, 그는 이 미래의 가능성을 독립적이고 객관적으로 평가해줄 사람이 필요하다고 생각했습니다. 저는 VR을 접하지 않은 외부인이였기에 제가 그러한 역할을 할 수 있었습니다.

 

 

 

 

 

 

 

당시 제가 오큘러스 전체 팀을 둘러보니, 이들은 분열된 상태였습니다. 당시 존 카맥과 상당수의 오큘러스 개발팀 사람들이 모바일 독립형 헤드셋에 완전히 몰두하고 가격을 낮추며, 이 비싼 PC에 연결할 필요성을 없애는 방향으로 나아가고 있었습니다. 반면 다른 그룹의 사람들, 즉 초기 오큘러스 창립멤버 위주의 팀은 여전히 VR 헤드셋을 PC에 연결하는 추가적인 고급 악세사리 장비로 취급하는 비전을 가지고 있었습니다.

 

솔직히 말해서, 저커버그는 고작 PC 주변 장치를 팔아먹으려고 오큘러스를 인수한게 아니었습니다. 그런 주변 장치 사업은 당시 페이스북과 같은 회사가 장기간 투자할 만큼 흥미로운 비즈니스가 아닙니다. 장기적으로 더 가성비 좋게 만드는 싸구려 OEM들과의 점유율 경쟁에서 패배할거고, 소프트웨어 판매 수익은 스팀이 전부 가져갈거고, 결국에는 헤드셋이 꽂혀져 있는 PC라는 기기 시장의 파워에 끌려다니게 될 뿐입니다.

 

 

 

 

 

 

제가 이런 당연한 분석에 전략적 수준으로 개입할 필요는 없었습니다. 제품 관점에서, 거추장스러운 유선 연결이 필요 없는 상태, 값비싼 PC 구매를 요구하는 생태계에서 자유로운 독립형으로 가야했습니다. 우리가 고삐를 잡은 후, 처음에는 두 가지 방향성을 모두 추구했습니다. 유선 PC 기기인 오큘러스 리프트에 또 하나의 후속 세대를 허용하기로 했고, 이에 레노버와 협력하여 리프트 S를 개발했습니다. 그리고 기어 VR도 테스트해 보았죠. 제가 보기엔 기어 VR의 성능이 충분하지 않아 보였지만, 일단 만에 하나 테스트 결과 기어 VR의 성능이 충분히 좋았다면 메인 스트림 VR 기기 도입을 위한 더 비용 효율적인 방식이 되었을 것입니다. 근데 그게 아니었죠. 우리도 이것저것 테스트를 해보며 꽤 재미를 봤고, 구매자들에게 괜찮은 경험을 제공했지만, 그것들은 주로 VR 영상 미디어 시청과 관련된 경험이었습니다. 어찌되었건 이 기어 VR의 테스트 과정이 퀘스트로 가는 길을 닦았다고 생각합니다.

 

아직 출시 전에도, 퀘스트는 써보면 "바로 이 기기야!" 라는걸 알 수 있었습니다. 그리고 저희는 퀘스트 1을 출시하기도 전에 이미 퀘스트 2를 작업 중이었습니다. 퀘스트 1에서 부족한 것들이 무엇이었는지 알고 있었거든요. 이런 VR의 초기 시대에 우리의 오리지널 팀이 아무것도 없는 맨바닥 상태에서 훌륭한 경험들을 창출한 것에 큰 공을 돌려야 합니다. 오큘러스 First Contact와 Toybox 같은 게임은 이 VR이라는 매체의 특성을 아름답게 전달했습니다.

 

 

 

 

https://youtu.be/iFEMiyGMa58?si=TibBinRk8PltRT-X

 

 

(현재의 VR 터치 컨트롤러의 인터랙션 방식들에 대한 기반을 확립한 2015년의 초기 데모들)

 

 

https://youtu.be/KKT3Z8LBn6s?si=-z2HC3gURbJKKrIu

 

 

그렇게 새로운 관문을 열고 난 다음에 오는 지금의 시대는 생산 비용, 시장 진출 비용, 소비자 채택, 콘텐츠 전략 등의 현실과 맞닥뜨리면서 독립형 헤드셋의 길로 나아가는 과정입니다. 마지막으로 (론에코2와 아스가르드의 분노 1편처럼) PCVR 쪽의 컨텐츠에도 최선을 다한 결과물들을 보여주고 난 후, 이제 확실하게 스탠드얼론 시장에 집중하는거죠. 아마 미래에 제가 저의 전체 커리어를 돌아보게 된다면, 퀘스트 2의 출시를 아주 특별한 경험으로 기억할 것입니다. 소비자 전자 제품 세계에서 일 년 만에 더 나은 제품을 더 저렴한 가격에 출시하는 것은 정말 특별한 일입니다.

 

그렇게 저는 이것이 우리의 전략이라는 것을 알게 되었습니다. 의존할 수 있는 안정적인 토대와 기반이 되는 플랫폼을 만드는 것 말이죠. 플랫폼이 충분히 완성되었을 때가 정말로 모든 것을 걸을 시기입니다. 퀘스트 1에서 앱 개발자들에게 미래 세대의 기기와의 연결성을 약속한 이후로 우리는 안정된 '퀘스트'라는 플랫폼의 시작점을 가지게 되었고, 그 결과물로 나온게 퀘스트 3입니다. 첫 번째 시대는 PC에 연결된 시대였고, 이 시대는 정말 중요했으며, 이 때의 VR의 맨바닥에서 이룩한 것들이 없었다면 지금의 우리가 있는 곳에 도달하지 못했을 것입니다. 그 다음에는 내부적으로 VR의 미래가 PC 종속적 기기냐 모바일 기기냐에 따른 내부적 경쟁을 겪으면서 정말 힘든 시기가 있었습니다.

 

 

 

 

 

 

그런 다음 독립형 플랫폼 시대가 있었습니다. 여기에는 퀘스트 1과 퀘스트 2가 포함되며, 제 생각에 이는 퀘스트 3의 출시로 완성되었습니다. 퀘스트 3가 진정한 차세대 플랫폼입니다. 물론 시선 추적 기능을 추가하거나 추가하지 않거나, AI 어시스턴트를 추가하거나 추가하지 않을 수 있습니다. 이 기능들을 추가하거나 제거하는 것은 최적화 작업입니다. 하지만 그러한 여타 기능들보다도, 무엇보다 풀컬러 패스쓰루에서 나오는 혼합 현실 기능은 이러한 헤드셋 기기가 대중적으로 접근성이 좋게 만들고 사람들에게 유용하게 느껴지도록 만들어주는 마지막 조각이라고 저희는 오래 전부터 믿어 의심치 않아왔습니다. 그리고 우리는 지금 그 시대에 있습니다.

 

퀘스트 3의 출시 이후 회사 내부에서 "바로 이거구나!"하는, 얼마나 확 와닿는 느낌을 받았는지 설명할 수 없습니다. 긍정적인 반응, 긍정적인 모멘텀, 판매량, 채택률. 이제 당신이 이런 기반이 되는 탄탄한 플랫폼을 확립하게 되면, 그에 맞춰서 엄청난 양의 소프트웨어 개선 작업을 할 수 있게 됩니다. 예를 들어서, 이전에는 "일단 벌써부터 쓸데없이 컴포지터 기능을 건드리지는 말자. 다음 세대 기기에서 전체 아키텍처가 변경되면 그때 손 보면 되니깐"이라고 하고 미뤄둔 것들이 있습니다. 이제는 퀘스트 3를 기반으로 우리의 플랫폼의 아키텍처가 어떤 기능적 관점에서 어떻게 될지 확실히 알고 있는 상태가 되고, 기능들을 제대로 통합하고 결합할 수 있게 되었으며, 주저할 필요나 미래로 미뤄둘 필요 없이 소프트웨어 개발 속도가 크게 상승합니다. 그래서 저는 지금 우리가 혼합 현실 시대에 있다고 생각합니다. 우리는 팀 이름을 각 시대마다 변경했습니다. 처음의 VR 시대에서는 오큘러스였고, 지금은 MR의 시대입니다. 이제 우리는 적어도 다음 몇 세대의 기기들과, 그 기기들을 위해 어떠한 작업들이 필요한지에 대한 명확한 비전을 가지고 있습니다. 여전히 어렵고 흥미롭지만, 정말로 새로운 시대에 있는 것 같습니다.

 

 

 

 

 

 

 

 

 

매튜 볼: 
그러면 이 새로운 시대에 대해 이야기해 봅시다. PC는 연간 약 2억 5천만 대가 팔리고, 최고치는 3억 5천만 대였습니다. 스마트폰의 연간 판매량은 약 15억 대에서 최고치를 기록했고, 현재는 약 12억 대입니다. MR/VR 헤드셋이 연간 1억 대에 도달하는 데 가장 큰 장벽은 무엇이라고 생각하십니까? (안경은 제외하고요)

 

 

 

 

Q. MR/VR 헤드셋이 1억대 넘게 팔리는 대세 기기가 되는데 가장 큰 장벽은?

 

 

 

 

앤드류 보즈워스: 
제 생각에는 세 가지 답이 있습니다. 그리고 이 세 가지 답의 우선순위를 정확히 알고 있다고 말할 수는 없습니다.

 

 

 

 

 

그 중 하나는 분명히 콘텐츠입니다. 콘텐츠라고 하면 어떤 사람들은 제가 더 많은 게임이 필요하다고 말한다고 생각할텐데, 그게 아닙니다. 제가 말하는 컨텐츠는 그냥 이 기기를 쓰고 할 모든 것들을 말합니다. 이런 헤드셋 하드웨어들은 단순히 만들기만 하면 다가 아니라는 겁니다. 하드웨어만 따지면 옛날에도 시대를 앞선 VR 하드웨어들이 실제로 있었다고 생각합니다. 최근의 매직 리프같은 AR 안경들도 하드웨어가 가장 큰 문제는 아니었습니다 - 물론 매직 리프의 하드웨어에도 몇몇 문제점들이 있긴 하지만 - 가장 핵심적인 문제점은 그 기기를 머리에 쓰고 즐길 생태계와 할 일, 콘텐츠들이 부족하다는 점이었습니다. 그래서 그게 장벽 중 하나입니다.

 

가격적인 문제도 분명히 하나의 답입니다. 제 생각에는 이 콘텐츠와 가격이라는 두 가지 답이 서로 연결되어 있다고 봅니다. 분명히 가격이 낮을수록 기기를 더 멋드러지게 만들 이유도 없어지지만, 사람들이 그것을 덜 가치 있게 여깁니다. 그리고 가격이 높을 경우에는 제조사는 기기에 더욱 더 많은 가치를 담아야 합니다.

 

 

 

 

 

 

그리고 마지막 답으로는, 저는 그것을 접근성이라고 부르겠습니다. 이것은 약간의 포괄적인 용어이므로 제가 의미하는 바를 설명하겠습니다. 편안함에서부터 무게, 멀미, 눈 간격 조절, 머리카락이나 화장에 미치는 영향 등 모든 것들, 얼마나 자주 충전해야 하는지, 입력 방식, 두 손이 필요한지, 한 손이 필요한지, 전혀 손이 필요 없는지 등 모든 것들이 기기를 얼마나 자주, 얼마나 많은 사람들이 사용할 수 있는지를 제한합니다. 하지만 물론 이것들은 비용과 가치의 문제와 맞물려 있습니다. 해상도를 포기하고 선명도를 줄이면 많은 부담들을 덜어내 기기를 더 가볍게 만들 수 있지만, 그러면 그 기기는 가볍지만 별로 좋지는 않은 기기가 됩니다. 그래서 이 모든 것들에 대해 타이트한 타협적 요소들이 존재합니다.

 

우리는 이 모든 요소들에서 발전을 이루고 있지만, 이를 달성하기 위해서 많은것들을 발명해야 합니다. 일전에 당신이 메타가 이 분야에 '투자'한 금액들을 얘기했었는데, 물론 내가 '비용'이라는 단어를 '투자'라는 단어로 교묘하게 바꿨다는 것을 이미 눈치챘을 것입니다. 그리고 그것이 내가 보는 방식입니다. 신기술의 발명은 그냥 편리하게 거저 등장하는게 아닙니다. 유통 공급망이 구축되어야 하고, 제조 라인이 구축되어야 하며, 무엇보다 연구를 통해 기술 자체가 개발되어야 합니다. 그리고 물론 그것은 10번의 실패에 대해 비용을 지불한 후에야 제대로 작동하는 11번째 경로에 도달해야 함을 의미합니다. 우리는 분명히 그러한 투자와 실패의 가치를 믿고 있으며, 이러한 시행착오들을 통해 결국 이 기술이 수백만 명의 사람들이 손쉽게 구매하고 사용하는 기술로 발전할 것이라고 생각합니다. 하지만 제가 앞으로 나아가는 제품과 플랫폼에 대한 이러한 명확한 비전을 가지고 있다고 자신하는 만큼, 여전히 해야할 일들이 많습니다.

 

 

 

 

 

 

 

 

 

매튜 볼: 
불공평한 질문을 하겠습니다. 어떤 하드웨어라고 할지라도 "발전이 완전히 끝났다"라고 단정할 순 없습니다 – 스마트폰의 경우에도 여전히 매년 더 나아지고 있습니다 – 하지만 제가 정말로 알고 싶은 것은 다음과 같습니다. 당신은 현재 리얼리티 랩을 이끌고 있는 역할을 7년간 해오셨습니다. 앞으로 7년, 어쩌면 10년 후, HMD를 생각할 때, 무엇이 떠오르십니까? 배터리 수명, 해상도, 프레임 속도, 무게, 이런 모든 것들에 대해 본능적으로 무엇이 떠오르나요? 이 전의 질문에서 말한 1억대의 장벽은 제쳐두고, 이러한 기기들이 실제로 어디까지 갈 수 있고 어디까지 가게 되길 원합니까?

 

 

 

 

Q. 미래의 MR/VR 헤드셋의 모습에 대한 예측, 혹은 바라는 모습은?

 

 

 

앤드류 보즈워스: 
리얼리티 랩 연구에서 할 수 있는 재미있는 것 중 하나는 이러한 미래를 엿볼수 있는 타임머신을 만드는 일입니다. "해상도를 최대한으로 높이면 어떻게 될까?" 같은 질문에서 시작해서 절대적으로, 100% 다른 모든 것을 무시하고 실제로 해상도를 최대한으로 높였을 때 어떻게 될지 보는 것이죠. 그리고 그런 미친 스펙의 프로토타입들이 주는 경험들은 믿기 어려울 정도로 놀랍습니다. 그런 경험을 통해 실제로 해당 스펙이 상승했을때 소비자들이 어떤 느낌을 얻을지에 대한 좋은 감각을 얻을 수 있습니다. 그래서 시야각, 해상도, 색상, 깊이, 색역, 다이나믹 레인지, 밝기 등 다양한 것들에 대해 각각 특화된 그런 타임머신들을 만들 수 있습니다. 우리가 항상 찾고 있는 것은 그런 경험을 통해 파라미터를 설정하는 것입니다. 현재 수준의 해상도에서부터 극한의 해상도까지 경험할 수 있게 한 다음, 만족감이 얼마나 상승하는지 그래프를 그려보고, 곡선의 모양을 찾습니다. 그 곡선에 급격한 변곡점이 있는가? 만족감이 더 이상 오르지 않는 지점이 있는가?

 

 

 

 

 

스펙 뻥튀기가 중요하지 않다는 의미가 아닙니다. 일부 민감한 사람들은 계속되는 해상도의 상승을 체감하는게 가능하기도 하지만, 어느 순간부터는 가성비가 안 나와서 "그만하면 기능적으로는 충분한" 지점이 있는겁니다. 그래서 제가 7년 후를 바라볼 때, (이 7년이라는 숫자는 제가 현실적으로 어느정도 믿을 만 하게 예측할 수 있는 가장 멀리까지 보는 지점입니다), 우리는 각도당 픽셀, 즉 PPD 값을 생각하고 있습니다. 텍스트가 보기 편해지려면 PPD 값이 최소한 45에 도달해야 합니다. 현실적으로 60 PPD는 아마도 레티나 해상도의 절반 수준일 것입니다. 

 

 

실제로 프로토타입 VR 기기들을 이용해 테스트한 값들을 보면, 흔히 해상도 인식의 한계치인 '레티나 해상도'라고 믿어지는 60 PPD 값보다 해상도가 높아져도 인간은 그 해상도 상승을 체감하는게 가능합니다. 물론 연구실의 프로토타입 환경이 아니라 실제 상용 제품에 적용했을때는 단순한 디스플레이 해상도 말고도 렌즈나 광학계 부품 등 선명도에 영향을 끼치는 변수들이 많기 때문에, 현실적으로는 우리가 60 PPD 이상은 잘 구분하지 못 한다고 보는게 편합니다. 그래서 이상적으로는 60 PPD의 제품을 만들고 싶어하죠. PPD가 40을 넘어가기 시작하면 꽤 좋아집니다. 우리는 Varjo, 애플 비전 프로 등 몇몇이 그 숫자를 달성한 것을 보았습니다. 그리고 그 제품들의 가격표를 보면 오늘날 그런 해상도를 얻기 위해 지불해야 하는 비용들을 알게 되죠. 그 PPD 하나만을 위해 시야각, 밝기 등 몇 가지 다른 요소들을 희생하는 것을 보게 되고요. 그러한 것들이 현실적인 타협점들 입니다.

 

 

 

 

 

 

이상적으로, 저희도 충분히 넓은 시야각과 함께 그런 선명한 해상도를 주는 지점으로 가고 싶습니다. 사실 시야각이 퀘스트 3 수준보다 작아지면 몰입감이 떨어지는게 확 체감 됩니다. 퀘스트 2 보다도 작아지면 더 눈에 띄기 시작합니다. 인간의 눈에는 수직적인 움직임 변화를 감지하는 시신경 세포들이 있습니다. 그래서 몰입감을 위해서는 시야 안의 콘텐츠들이 가장자리에 잘려나가는게 보이지 않도록 특정 수준 이상의 시야각을 제공해야 합니다. 특히 제 개인적인 생각으로는 몰입감을 위해서는 수평으로 넓은 시야각보다는 수직으로 높은 시야각이 더 중요하다고 생각합니다. 물론 수평으로 넓은 시야각이 인간의 양 눈의 구조를 고려했을 때 분명 정보 밀도 측면에서 중요한게 맞습니다. 인간의 눈은 수직 영역보다는 더 많은 수평 영역을 보기 때문입니다. 그러나 수직 시야각은 몰입감을 높여주는 착시를 발생시키에 좋습니다.

 

그리고 이 모든 것을 실행할 컴퓨팅 자원도 필요합니다. 저의 지론으로는, 머리에 쓰는 헤드셋이나 안경은 거추장스러운 유선 연결 없이, 독립적으로 작동해야 합니다. [애플의 비전 프로는 외부 배터리와 연결된 선이 있습니다]. 산업용으로 특수한 제품이 아닌 이상에, 밖을 돌아다니며 머리에 선이 주렁주렁 달린 모습을 보여주고 싶진 않죠. 뜬금없지만 PCVR 시장에서 웃긴점은, 그 시장이 퀘스트와 같은 독립형 VR 헤드셋과 대척되는 반대 진영일 것 같지만, 실제로는 가장 인기있는 PCVR 헤드셋이 메타 퀘스트 시리즈라는 사실입니다. 퀘스트를 유선으로 연결하거나 무선으로 연결하거나 하면 바로 PCVR 헤드셋으로 사용할 수 있죠.

 

 

 

 

 

 

저에게 있어서는 편안함이 매우 중요하다고 생각합니다. 머리에서 느껴지는 무게감을 줄여야 하는데, 특히 단순하게 몇 그램인지의 무게만 중요한게 아닙니다. 전체적인 무게 밸런스가 어떻게 되어있는가, 광학 스택이 눈에 얼마나 가까이 있는가가 중요합니다. 편안함은 이러한 무게 배분의 설계, 그리고 어떤 종류의 스트랩을 사용하느냐에 따라 다릅니다.

 

퀘스트 2에서 퀘스트 3로의 큰 변화 중 하나가 바로 광학 스택을 눈에 더 가깝게 옮긴 설계입니다. 무게 중심이 머리에 더 가까워진 덕분에 헤드셋이 더 편안하게 느껴집니다. 장기적으로는 헤드셋의 무게를 100~200그램 정도 더 줄이고 싶습니다. 오디오도 좋은 방향으로 가고 있다고 생각합니다. 가면 갈수록 VR 헤드셋에서 점점 더 훌륭한 입체 음향을 얻을 수 있습니다. 퀘스트의 오픈 이어 스피커의 구조상 할 수 있는 것에는 한계가 있지만, 시간이 지나면서 사용자들에게 클로즈드 이어 구조를 선택할 수 있는 옵션을 줄 수도 있습니다. 현재는 유선 이어폰 잭을 통해 그러한 선택권을 제공하고 있습니다.

 

 

 

 

 

 

프레임 속도에 대해 말씀드리면, 120Hz는 이미 '좋은 수준' 입니다. 오늘날 PC 게이머들은 "아니야, 120Hz도 부족하고 240Hz 이상이 필요해!"라고 할지도 모르고, 저도 그들의 의견을 존중합니다. 그런데 그렇다고 7년 후의 미래 제품에서 다른 것들을 모두 타협하고 무조건 120Hz보다 높은 프레임을 우선적인 목표로 할 것인지에 대해서는 회의적입니다. 다른 예를 들어, 시야각을 무작정 늘린다고 가정해 봅시다. 시야각에서의 가장 큰 문제점 중 하나는, 정작 가장 중요한 시선이 향한 중앙부보다, 그 밖의 영역의 쓸데없는 픽셀들이 몇배는 더 많다는 것입니다. 어차피 안 보는 영역들의 픽셀들은 중요성이 현저히 낮은데, 시야각을 무작정 늘리면 안 그래도 그래픽 연산의 제약도 빡빡한 상황에서 몇배의 비용을 들여 이런 쓸데없는 영역의 픽셀들도 매우 늘리게 됩니다.

 

프레임 속도도 비슷하다고 생각합니다. 240Hz가 120Hz보다 더 낫다는 것을 부정하는 것이 아닙니다. 마찬가지로 60 PPD가 40 PPD보다 더 낫다는 것을 부정하는 것이 아닙니다. 하지만 독립형 기기의 제한된 컴퓨팅 성능 안에서, 우리는 매 세대마다 기하급수적인 그래픽 처리 성능 발전을 기대하기 힘듭니다. 단순히 깡성능과 깡스펙을 올리기보다는 창의적인 접근법이 필요합니다. 그래서 저는 시선 추적을 이용한 포비티드 렌더링(Foveated Rendering)이 해상도를 높이는 잠재력을 열 수 있다고 생각합니다. 어찌되었건 엄청 높은 프레임 속도를 지원하는 미래의 기기는 상상할 수 있습니다. 그러나 시스템의 다른 부분에서 희생이 발생할겁니다. 멀티태스킹을 할 수 없거나, 산업용 기기라서 다른 강력한 컴퓨터에 유선으로 연결되어 있거나 하는 모습을 상상할 수 있습니다. 물론 많은 부분은 그런 프레임 속도를 지원하는 패널 스펙에 달려있긴 한데, 우리가 굳이 그런 부품을 찾아서 넣고 거기에 맞춰 최적화 할 것 같진 않습니다.

 

 

 

 

 

 

120Hz에 대한 재미있는 이야기를 해드리겠습니다. 퀘스트 2는 출시 초기 72Hz로 제한되어 작동하는 기기였고, 우리는 소프트웨어 최적화를 통해 90Hz로 제한을 풀어주는 작업을 준비하고 있었습니다. 그러던 중 우리 엔지니어 중 한명이 퀘스트 2의 디스플레이 스펙이 사실 120Hz까지 지원된다는 것을 알아낸거죠. 이 사실을 알게되자 존 카맥은 매우 분노했습니다. 그는 하드웨어가 120Hz를 지원하면, 소비자들도 그 기능을 마땅히 이용할 수 있어야 한다고 생각했습니다. 그래서 우리는 이후 퀘스트 2가 120Hz로까지 구동될 수 있게 만들었고, 소비자들은 이 기능을 매우 마음에 들어했습니다. 그렇게 이 일화는 전설이 되었죠. 기기들은 특정 스펙과 특정 전력 프로필과 특정 상황에 맞게 각각 최적화 되어서 만들어지지만, 우리는 이런식으로 소비자들에게 유연적으로 선택할 수 있는 능력들을 계속해서 제공하고 싶습니다.

7년 후의 미래에 제가 정말 바라는 것은, 헤드셋의 종류들이 매우 다양해져서 소비자들의 니즈에 맞는 폭 넓은 선택지를 갖춘 생태계를 운영할 수 있게 되는 것입니다. PC 시장에서 게이머들이 값비싼 ASUS ROG 240Hz 모니터 옵션을 선택해서 구매하는 것 처럼, 우리 VR 헤드셋의 생태계도 그러한 방식으로 성장했으면 좋겠습니다. 물론 그 시기가 되었을때도 여전히 특정 스펙을 너무 올리면 다른 부분을 타협해야 하겠지만, 시장이 커진만큼 소비자 스스로 어느 부분을 타협할 지 선택할 수 있는 시대가 되겠죠. 

 

 

 

 

 

 

 

 

매튜 볼: 

애플은 최근 비전 프로의 카메라 피드에 개발자가 접근할 수 있도록 허용한다고 발표했습니다. 단, 이는 기업 계정에서 관리되는 장치와 해당 기업의 내부 시스템을 통해 배포되는 앱에 한해서만 가능합니다. 메타의 퀘스트 장치에서 카메라 피드에 접근을 제공하는 것에 대한 당신의 입장은 무엇인가요? 계획이 있나요? 보안과 기능성의 균형에 대해 어떻게 생각하시나요?

 

 

 

Q. 개발자들의 카메라 접근 허용과, 프라이버시 문제에 대한 생각은?

 

 

앤드류 보즈워스: 

그럼 이제 우리가 애플보다 더 엄격하게 프라이버시를 신경쓰는 관점을 가진다는걸 이해했으면 좋겠군요. 애플이 개발자들한테 카메라 데이터를 열어주다니, 애플이 MR 시장 관점에서 프라이버시를 악화시키고 있다는 점을 잊지 말아야 합니다.

...물론 이건 농담입니다. 진지하게 답변하자면, 앱 개발자들이 카메라에 직접 접근할 수 있게 되면 상상할 수 없을 정도로 유용한 사용 사례들을 가진 앱이 만들어질 수 있다는 것은 모두가 공감할 것입니다. 

 

예를 들어, 당신이 자동차 수리공이고 익숙하지 않은 엔진을 보고 있다면, 개발자가 카메라를 통해 엔진을 시각적으로 분석해 그 위에 오버레이를 통해 도면을 보여주고 심지어 시각적으로 엔진의 문제를 진단할 수 있는 도구를 만들 수 있습니다. 근데 만일 개별 개발자들이 로우레벨 수준의 카메라 접근 권한이 없다면, 이 기능 구현을 위해서는 메타 본사에서 자체적으로 '시각적으로 자동차 엔진을 분석해주는' API를 만든 다음 그걸 거쳐서 개발자들이 기능을 구현해야 하는 상황이 됩니다. 근데 메타가 그런 하나하나의 사용 사례들을 위한 툴을 다 만들어줄 순 없습니다. 카메라 데이터를 열어준다고 해도, 개발자들이 스스로 그런 시각적 분석 툴을 직접 구축할 수 있는 수준이 되지 않으면 안 됩니다.

 

 

 

 

 

 

 

이렇게 머리에 쓰고다니는 카메라가 달린 기술이 세상에 등장한지 얼마 안 되었다는 점도 고려해야 합니다. 비행기 같은 공공 장소에서 카메라가 돌아가고 있을지도 모르는 이런 기기를 착용하는 경우, 주변 사람들이 이걸 어떻게 받아들일지 이해해야 합니다. 우리는 이렇게 카메라가 작동하고 있다고 주변 사람들에게 시각적 신호를 줘서 알릴 수 있는 다양한 기술들을 찾고 있습니다. 시간이 지남에 따라 시장과 소비자들도 이러한 기기들이 공공장소에 등장하는 것에 대해 불편해하지 않고 점점 더 익숙해지고 있다고 생각합니다. 애플이 프라이버시를 침해한다고 아까 농담하긴 했지만, 어쨌든 애플 비전 프로가 이러한 부분에서 전체 MR 산업에 도움을 준다고 생각합니다. 이렇게 얼굴에 카메라가 달린 애플 기기가 시장에 나왔으니, 사람들이 이러한 기기들에 대해 이해하게 되고 놀라거나 두려워하는 부정적 반응을 보이는 일도 줄어들테니까요. 

 

 

우리는 기술을 단순히 그 자체로만 보면 안 되고, 사회적 맥락 안에서 존재한다는 점을 생각해야 합니다. 사회가 그 기술에 더 익숙해져야 그 기술을 더 자유롭게 활용할 수 있게 됩니다. 반대로 사회가 아직 익숙하지 않고 신기술을 낯설어 하는 시기에는 신중할 수 밖에 없습니다. 이때 조심하지 않으면 오히려 부정적 인식만 단단히 박혀 신기술 도입 반대 여론과 소비자들의 반발에 막힐 수 있기 때문입니다. 이런 이유들 때문에 우리는 카메라 기능에 관련해서 지금까지 보수적일 수 밖에 없었고, 그게 옳은 결정이었다고 생각합니다. 하지만 동시에, 추후 사람들의 인식이 변화하고 이런 MR 기기들에 대한 수용성이 높아진다면, 개발자들이 카메라 데이터를 이용해 할 수 있는 무궁무진한 잠재력에 대해서는 기대감이 큽니다. 일단 시장을 계속해서 주시하며 소비자들이 이런 카메라 기능에 대해 더 이상 불안하게 여기지 않게 되는 순간과, 기술 발전으로 이를 이용해 얼마나 더 많은 것들을 할 수 있게 되는지 지켜볼 것입니다.

 

 

 

 

 

 

 

 

매튜 볼: 

애플이 내건 큰 도박 중 하나, 어쩌면 그들의 내부 문화나 당신이 앞서 언급한 오명을 해결하려는 시도 중 하나가 바로 아이사이트 기능(사용자의 눈을 실시간으로 재현해 외부에 보여주는 비전 프로의 외부 디스플레이)인 것 같습니다. 이 기능은 기기의 비용, 무게, 배터리 소모 등 모든 것에 큰 영향을 미칩니다. 이러한 단점들을 짊어질 만한 가치가 있는 기능이라고 생각하십니까? 이 기능을 좋아하시나요?

 

 

 

 

Q. 사용자의 눈을 보여주는 외부 디스플레이 기능에 대한 생각은?

 

 

 

앤드류 보즈워스: 

이걸 먼저 언급하지 않으면 곤란해질 것 같은데요, 사실 이 기능은 우리가 먼저 발명했습니다. 한참 전에 레드먼드 워싱턴에 있는 저희 리얼리티 랩 연구 팀이 예전에 한 컨퍼런스에서 이런 외부 디스플레이를 통해 눈을 보여주는 기능의 데모를 공개했었고, 메타 커넥트 행사에서도 이를 언급하고 데모를 세상에 보여준 적이 있습니다. 그래서 이 기능에 대해 꽤 오랫동안 이것저것 실험을 해왔습니다. 당신이 질문한대로, 저희 팀에 있어서 추가적인 비용, 무게에 비해 그 기능이 주는 가치가 별로 좋지 않았습니다. 비전 프로만 봐도 외부 디스플레이에 표시되는 눈의 품질이 별로 좋아보이지도 않죠. 이번 AWE에서 본 다른 프로토타입은 좀 나았지만, 사실 우리가 내부적으로 만들었던 프로토타입들이 품질이나 기술적으로 더 나았습니다. 근데 그건 그것대로 더 비싸고 해상도가 높은 패널 등 여러가지가 필요했죠.

 

 

그런 막대한 추가 비용에 비해 그 기능이 소비자들에게 제공하는 가치가 그닥 좋지 않았습니다. 사회적으로 편안하라고 넣은 기능일텐데, 이게 달렸다고 착용자나 주변 사람이나 이 기능 덕분에 사회적으로 더 편안해졌다고 느끼지도 않는것 같습니다. 제가 그 기능이 싫다는게 아닙니다. 이런 다양한 선택과 타협점을 짊어진 여러 기기들이 시장에 나와 사람들이 그런 기능들에 대해 어떻게 반응하는지 지켜보는것 만으로도 가치가 있습니다. 일단 저희는 이런 헤드셋들을 최대한 가볍고, 저렴하고, 접근성이 높도록 만드는데 많은 심혈을 기울였기에 이런 기능을 탑재하지 않았죠. 그것들을 타협한다는게 쉽지 않습니다.

 

 

 

 

 

 

 

 

매튜 볼: 

더 어려운 기술로 넘어가고 싶습니다. 진정한 광학 AR 안경이 주류가 되기 위해서는 4개, 6개, 어쩌면 7개의 NTI가 필요하다고 메타의 AR 글래스 하드웨어 책임자와 당신이 말하는 것을 들었습니다. NTI가 무엇인지, 그리고 그 비전을 위해 필요한 NTI가 무엇인지 설명해 주시겠습니까?

 

 

 

 

Q. 투명 AR 안경을 만들기 위한 기술혁신과 비전은?

 

 

 

앤드류 보즈워스: 

NTI는 신기술 이니셔티브(New Technology Initiative)의 약자이며, 이는 업계 용어입니다. 만약 당신이 하드웨어 제품 팀이라면, 당신의 선택지에는 우선 이미 성공적으로 생산되어 도입된 선례가 있는 기술이 있습니다. 이러한 것들은 관련 데이터도 많고, 쉽게 가져다가 테스트해볼 수 있죠. 반대로 다른 선택지에는 완전한 신기술들이 있습니다. 너무 새로운 영역이라 데이터도 없고, 제대로 작동할지도 알 수 없으며, 리스크를 동반하게 됩니다. 

 

 

 

 

 

세세하고 파고들면, NTI는 정말 다양한 종류가 있습니다. 어떤 NTI는 기존에 이미 존재는 해왔던 기술이지만, 저희가 쓰려는 분야에서는 사용된 적이 없는 경우도 있습니다. 또 어떤 기술은 아예 새로 등장한 기술일 수도 있습니다. NTI는 단순 연구에서 끝나는게 아니라, 실제 대량 생산 가능한 기술인지 테스트하는 과정까지 계속해서 이어지는 과정입니다. 개념 증명이 완료되어 실제로 작동하는 기술임이 판명되었어도, 제품화, 소형화, 비용 효율화, 효율적 제작이 가능한지는 별개의 문제입니다. 때로는 실험실에서 성공해도, 100와트의 전력을 사용해 1000 달러가 드는 부품이라면, 이제 100밀리와트의 전력과 10달러로 구현 가능하게 만들어야 합니다.

 

그래서 NTI가 되기도 이전 단계인 고급 개발 단계도 있고, 그 이전에는 연구 단계도 있습니다. 저희 AR 안경 개발 책임자인 케이틀린 칼리노스키(Caitlin Kalinowski - CK) 같은 사람의 입장에서는 모든 연구 요소들이 전부 NTI입니다. 그녀는 제품 통합 쪽에 있기 때문입니다. 우리가 투명 AR 안경의 증강 현실 디스플레이를 생각해보면, 안경이라는 매우 작은 공간에서 광자들을 뿜어낼 수 있어야 합니다. 평범한 안경들의 크기가 어느정도인지 생각해보면, 그 정도 크기 안에 이런 부품을 넣어야 한다는 겁니다.

 

 

 

 

 

 

안경은 배터리 용량이 매우 제한되기 때문에 광자를 매우 효율적으로 생성해야 합니다. 동시에 야외에서 걸어 다니면서 100만 대 1의 명암비를 갖는 화면이 보이도록 매우 강하게 광자를 쏴줘야 합니다. 1만 대 1의 명암비가 야외에서 AR 안경에 필요한 최소한의 수치입니다. 야외의 햇빛을 압도할 정도로 밝지 않으면 화면이 보이지 않기 때문입니다. 게다가 발광 과정이 열 효율적이어야 합니다. 다른 모든 수치를 달성해도 열이 많이 발생하면, 얼굴의 눈 앞에 달려있는 디스플레이가 불쾌감을 일으킵니다. 아주 많은 난관들이 있고, 이를 해결하기 위한 방법들도 정해진 답이 없습니다. 

우리 연구팀은 오랜 시간 동안 마이크로LED에 투자해 왔습니다. 마이크로LED에서 어려운 점 중 하나는 빨간색 파장을 생성하는 것입니다. 빨간색은 매우 긴 파장인데, 마이크로 LED는 이를 매우 작은 공간에서 생성해야 하기 때문입니다. 이를 위해서는 1 마이크론미터보다 작은 초 미세 거울 구조를 만들어 빨간색 빛이 형성되어 방출되기 전에 그 긴 파장을 담을 수 있도록 만들어야 합니다. 그리고 이렇게 생성된 빛을 매우 집중된 방식으로 한곳으로 강하게 모아 방출될 수 있는 구조로 만들어야 합니다. 빛이 집중되지 않고 사방으로 퍼지면 광 효율성이 떨어지기 때문입니다. 이렇게 하나의 광원을 만드는데 성공했으면, 이제 다른 색상의 광원도 만들어야 합니다. 그러면서 각각의 효율 특성과 대량 생산 가능 여부도 따져야 합니다. 그리고 이건 전자 현미경을 이용해 원자 단위로 작업해야 하는 것들입니다.

 

 

 

 

 

 

 

그렇게 해서 픽셀 하나를 만들었다고 칩시다. 이제 그걸 수천개 만들어서 일렬로 배열하고 거기에 전력을 공급하는 방법도 알아내야 합니다. 연구 위에 또 다른 연구가 더해지는 것이죠. 그 다음에 이를 대량 생산하기 위한 방법은 또 완전히 다른 연구 프로그램입니다. 이렇게 해서 광원 부품은 만들었다고 칩시다. 이제 그 빛을 눈으로 전달해 줄 광학 부품을 만들어야 합니다. 인간의 눈은 렌즈 구조이기 때문에, 빛을 한 곳에만 쏴주면 안 됩니다. 눈 전체에 골고루 상을 뿌려줘야 이게 눈 속의 렌즈를 거쳐 망막 위에 상이 맺힙니다. 이렇게 눈 표면에 넓게 상을 뿌려주는걸 동공 복제(Pupil Replication)라고 부르며, 이 동공 복제 과정이 광효율성에 있어서 지옥입니다. 광학에서 에탕듀(étendue)가 갖는 법칙에 따라 10배의 동공 복제를 해야하는 상황이면, 빛이 넓게 퍼지는 만큼 광효율도 1/10로 감소하기 때문입니다.

 

 

이런 역할을 하는 광학 부품이 정말 복잡한 설계를 가진 도파관(Waveguide - 웨이브가이드)입니다. 도파관은 빛이 특정 각도 이하로 표면에 닿을 때, 경로를 따라 에너지를 100% 반사하는 전반사(total reflection)의 원리를 이용합니다. 이는 광섬유가 작동하는 방식과 같은 원리입니다. 물 표면에 얼굴을 가까이 대면 반사를 볼 수 있는 것과 동일한 원리입니다. 이러한 모든 것들은 전반사 원리를 통해 작동합니다. 매질간의 굴절률 차이가 얼마나 많은 빛이 반사되는지를 결정하기 때문에, 매우 큰 굴절률 차이를 갖는 재료가 필요합니다. 굴절률이 높은 재료일수록 생성된 빛을 더 효율적으로 반사하며, 이 특성이 동공 복제의 광효율, 그에 따른 광원의 열 관리 등에서 중요한 역할을 합니다. 또한 더 넓은 시야각도 얻을 수 있습니다.

 

 

 

 

 

 

 

고굴절 매질로 유리를 사용할 수도 있고, 리튬 나이오베이트를 사용할 수도 있으며, 실리콘 카바이드 또는 새로운 재료를 사용할 수도 있습니다. 그래서 고굴절률 재료를 찾기 위한 재료 연구 팀이 있습니다. 재료 과학은 이 과정에서 매우 중요한 부분입니다. 그러나 재료가 있다고 해서 끝이 아닙니다. 그 재료를 사용해서 도파관 구조를 설계해야 합니다. 다양한 스타일의 도파관 설계들이 있습니다. 표면 릴리프 격자, 볼륨 브래그 격자, 홀로그램 격자 등을 사용할 수 있습니다. 우리는 매우 다양한 종류의 도파관들을 가지고 있으며, 각각의 장단점이 다릅니다. 어떤 것은 제조하기 쉽고, 어떤 것은 어렵습니다. 그래서 이러한 작은 구성 요소들만을 이야기해도 고품질의 광학 투과율을 얻기 위해 엄청난 양의 연구가 필요합니다.

 

해상도를 결정하는 것은 무엇일까요? 하나는 각 픽셀간의 간격, 즉 픽셀 피치입니다. 2 마이크론 미터 크기의 마이크로LED 픽셀을 만들었다면, 이를 다시 절반으로 줄여야 합니다. "까짓거 한번 해보지"라고 할 수도 있겠지만, 픽셀 피치를 절반으로 줄이는건 두 배 더 힘든 도전 과제가 아니라 100배 더 힘든 도전 과제입니다. 그래서 이 분야는 정말 끝이 없습니다. 평생 동안 연구를 계속할 수 있을 만큼 많은 과제가 있습니다. 그러나 우리는 10년 또는 15년 전에는 불가능했던 것들이 이제는 길이 보인다는 점에서 멋진 시점에 있다고 생각합니다. 내부적으로는 정말 놀라운 AR 안경을 가지고 있으며, 이를 단순히 연구용 시제품이 아닌 실제 상용 제품 수준으로 올리기 위해서는 이제 비용 문제를 해결해야 합니다.

 

 

 

 

 

 

이 모든 기술적 난관을 전부 해결한 다음, 그걸 소비자가 지불할 수 있는 적절한 가격으로 만들어야 합니다. 우리는 엄청난 진전을 이루고 있습니다. 멋진 점은 회사들이 이를 달성하기 위해 실제로 매우 다른 접근 방식들을 취하고 있다는 것입니다. 애플은 디지털 소형 거울 장치(Digital Micromirror Device - DMD)를 이용하는 시스템인 DLP(Digital Light Processing - 디지털 광원 처리)로, 구글은 Raxium 인수를 통해 양자점(Quantum Dot)으로, 우리는 마이크로LED로 작업하고 있습니다. 이렇게 각각의 회사들이 서로 다양한 접근 방식을 병렬로 진행하는건 결국 누구 한명이 가장 효율적인 버전을 만들 가능성을 높입니다.

 

저는 3D 공간 음향 기술, 그래픽 파이프라인을 구동하기 위한 맞춤형 반도체 칩, 이 모든 것을 효율적으로 수행하기 위한 무선 연결 기술 등에 대해서는 언급조차 하지 않았습니다. 픽셀을 켜고 끄는 기술이 엄청 복잡하다고 생각했다면, 데이터를 무선으로 전송하는 기술은 더 복잡합니다. 이 모든 것들을 작은 안경 폼팩터 안에 집어넣기 위해서는 엄청난 도전 과제들이 있습니다. 이는 매우 흥미롭습니다. 하지만 이는 제 생애와 제 세대에서 우리 업계가 직면한 가장 큰 도전 과제 중 하나이며, 생각하는 것 만큼 흥미롭고 어려운 과제입니다.

 

 

 

 

 

 

 

매튜 볼: 

여러 가지 주제를 언급하셨네요. 미래 기기를 계획할 때 고려하는 타임라인, NTI의 파이프라인, "비용"과 "투자"의 철학적 차이에 대해 말씀하셨습니다. 2019년 이후, 리얼리티 랩스는 약 650억 달러를 지출했습니다. 누적 회계 손실은 약 550억 달러에 달합니다. 우리가 그동안 얻은 것과 앞으로 볼 수 있는 것에 대해 감을 잡을 수 있을까요? 현재 만져볼 수 없는 제품에 얼마나 투자되었고, 5년 또는 10년 후의 프로젝트에 얼마나 할당되어 있나요?

 

 

 

Q. 메타 리얼리티 랩은 지금까지 얼마나 돈을 썼고, 얼마나 더 쓸건가?

 

 

 

앤드류 보즈워스: 
구체적인 세부 사항을 말씀드리기는 어려울 것 같습니다. 하지만 제가 오랜 시간 동안 운영해 온 일반적인 원칙을 말씀드릴 수 있습니다. [투자 자금]을 할당하는 방식은 항상 포트폴리오 기반으로 투자하고 싶다는 것입니다.

 

 

 

 

 

즉, 절반 정도는 현재 실질적인 가치를 창출하는 것에 에너지를 쏟고 싶습니다. 사람들이 잊기 쉬운 부분은, 우리가 이 기간 동안 한 투자에는 콘텐츠 같은 것들이 포함된다는 것입니다. 비트 세이버를 만든 비트 게임즈 같은 매우 재능 있는 팀을 인수하거나, 세컨드 파티 생태계를 게임에 도입하여 그들에게 초기 접근권을 주는 등의 방식입니다. 혹은 제3자 개발자들에게 자금을 제공하여 그들이 노력의 대가로 얻을 수 있는 수익에 대해 확신을 가질 수 있도록 하는 것도 있습니다. 이러한 투자들은 플랫폼의 콘텐츠에 투자하는 것이 장기적으로 매우 가치 있는 일이라는 확신을 주는 것입니다. 우리는 하드웨어와 소프트웨어 양쪽 모두의 생태계를 자생 가능하도록 만드려고 합니다. 우리 회사의 최종 제품은 단순한 하드웨어나 기술이 아닌, 모든 사람들이 기여하고 소비자와 개발자를 연결할 수 있는 생태계 그 자체입니다.

 

포트폴리오의 너무 많은 부분이 미래에 집중되면, 소비자들이 진정으로 원하는 것, 그들이 가치를 두는 것, 실제로 필요한 것에서 벗어나기 쉽습니다. 그래서 투자할 수 있는 전체 에너지의 적어도 절반 정도는 너무 먼 미래가 아닌 비교적 실질적인 것에 투입하고 싶습니다. 이는 지금 시장에 나와 있는 것은 아닐지라도 몇 년 후에는 나올 수 있는 것들입니다. 이는 실질적인 가치 이해를 바탕으로 한 것입니다.

 

 

 

 

 

 

 

만약 당신의 회사에 이미 탄탄하게 자리잡은 플랫폼이나 제품이 있다면, 포트폴리오에서 아마 절반 이상 즉 80%의 자금이 그 기반을 유지보수하기 위한 현재나 가까운 미래 작업에 들어가고, 아주 먼 미래 지향적 프로젝트의 비중이 크지 않을 것입니다. 우리는 지금 그런 상황이 아닙니다. 우리는 아직 만들어지지 않은 그 탄탄한 플랫폼을 위해 명백히 장기적인 미래에 상당히 집중적으로 투자하고 있습니다.

 

 

일반인의 관점에서는 그건 너무 많은 돈을 쏟아붙는 과투자가 아닌가 싶겠죠. 하지만 기업 입장에서 아이폰이나 안드로이드 같은 탄탄한 플랫폼이 갖는 가치를 생각해보면, 그런 미래 플랫폼을 구축할 기회를 위해서라면 그 정도의 비용을 감수할 수 있습니다. 안드로이드가 공짜로 뿌려지는 운영체제라고 그 가치를 과소평가하는 사람들이 있는데, 안드로이드라는 플랫폼이 갖는 실질적인 가치는 엄청납니다. 안드로이드를 통해 구글은 막대한 데이터 베이스를 확보하고, 소비자들에게 다양한 서비스들을 제공하며 부가가치를 창출합니다. 구글은 애플 아이폰의 기본 검색 엔진으로 채택되는 조건으로 매년 애플에게 약 200억 달러를 지불하는데, 그 기본 검색 엔진으로 탑재되어 발생하는 부가가치가 200억 달러를 넘어서기 때문입니다. 그래서 이런 숫자들을 보면, 당신의 운명을 통제할 수 있는 위치에 있는 것이 얼마나 가치 있는지 알 수 있습니다. 우리는 우리가 보유한 수단들 내에서 현명하게 투자하고 있다고 생각합니다.

 

 

 

 

 

 

 

 

매튜 볼: 

마지막으로 AI에 관한 질문을 드리고 싶습니다. 첫째, 지난 2년 동안 AI의 발전이 당신의 로드맵에 어떻게 영향을 미쳤는지 알고 싶습니다. 메타버스에서 AI의 역할은 무엇인가요? 그리고 개인적으로, 소비자나 취미 활동가 혹은 개발자로서 앤드루 보즈워스로서 AI에서 무엇이 당신을 흥분하게 만드나요?

 

 

 

 

Q. 이 분야에 있어서 AI 기술의 발전이 갖는 의미는?

 

 

 

앤드류 보즈워스: 

AI는 우리에게 정말 기쁜 발전이었습니다. 우리는 오랫동안 AI에 투자해 왔습니다. 아시다시피, 페이스북 시절인 2013년에 창립된 인하우스 AI 연구팀인 FAIR(Facebook Artificial Intelligence Research -> Fundamental Artificial Intelligence Research -> Meta AI)의 팀원들은 아주 최근까지 저에게 직접 보고하는 관계였고, 그 팀과 함께 일하는 것을 정말 즐겼습니다. 그리고 지금도 제가 연구하는 AR/VR 분야와 AI팀이 연구하는 분야가 매우 긴밀히 연결되어 있습니다. 앞서 말씀드린 것처럼, 우리가 이 기술을 개발하는 데 있어서 많은 어려움이 있습니다. 우리는 좋은 진전을 이루고 있지만, 그 과정은 매우 어렵고 힙듭니다. AI는 그런 연구에 있어서 신선한 바람을 불어넣어 주었습니다. AI 시대가 예상보다 훨씬 더 빠르게 도래했으며, 우리가 아직 해결하지 못한 가장 어려운 문제들 중 일부를 개선할 수 있는 실질적이고 유용한 도구를 제공해 주었습니다.

 

 

 

 

 

 

 

증강 현실 헤드셋을 착용하고 있을 때, 기기와 어떻게 상호작용할 것인지에 대한 문제를 해결해야 합니다. 기기가 어느 정도의 상식을 가져야 합니다. 모든 상황에 대해 하나하나 가르칠 수는 없고, 그렇게 하면 결코 완성할 수 없을 것입니다. 자율 주행 자동차가 우리에게 가르쳐준 것은, 교통 상황에서 발견되는 무작위 조건의 양이 너무 많아, 단순 반복으로 하나하나 학습하는 방법으로는 거의 도달할 수 없다는 것입니다. 그래서 우리는 헤드셋에서 항상 '지휘자'라는 개념을 가지고 있었습니다. 이는 사용자의 주의와 의도를 파악하고 도와주는 에이전트의 개념입니다.

 

예를 들어, 얼굴 앞에 텍스트가 있고, 누군가가 다가와서 말을 걸 때, 기기가 자동으로 텍스트를 옆으로 치워서 상대방과의 눈 맞춤에 거슬리지 않도록 해야 합니다. 그런 다음 그 사람이 떠나면 텍스트를 다시 가져와서 마법처럼 느끼게 하는 것입니다. 우리는 이를 휴리스틱으로 해결하고 최선을 다해 모델을 개발하려 했습니다. 그리고 Project Aria 연구 프로젝트를 통해 개발한 우리의 에코 4D 데이터셋과 같은 데이터 중심 접근 방식을 통해 데이터 세트를 만들기 위해 노력했습니다. 이는 자율 주행 AI 개발 접근 방식과 유사하여, 약 80% 수준의 완성도까지는 잘 도달할 수 있지만, 나머지 20%는 아직까지 소비자가 스스로 개입해야 할 것이며, 그 개입 데이터를 바탕으로 시간이 지나면서 학습할 것입니다. 지금의 우리는 80%보다 훨씬 더 나은 결과를 얻을 수 있을 것 같습니다.

 

 

 

 

 

 

혼합 현실 세계 내에서 Horizon을 생각해보면, 이는 사용자 생성 컨텐츠를 통한 세계 구축 기능을 담은 엄청난 구조입니다. 초기에 제이슨 루빈이 메타버스의 미래에 대해 작성한 메모를 가장 처음 읽은 사람이 저였고, 이것은 중요한 문서라고 생각했습니다. 메타버스를 어떻게 만들어야 하는지에 대한 여러 아이디어들이 주변을 떠다니고 있었지만, 하나의 명확한 길이 보이지는 않았습니다. 제이슨 루빈이 그의 메모를 통해 이런 방향성을 잡아주는 역할을 했습니다. 그 이후로 우리가 Horizon을 만드는데 실수한 점이 있다면, 사용자 생성 컨텐츠 창작의 문턱을 낮추는 데 몇 년을 보내느라 불행히도 그 과정에서 컨텐츠의 완성도의 천장과 자율성도 낮아졌다는 것입니다.

 

그래서 메타 Horizon 안에서는 누구나 무언가를 만들 수 있었지만, 아무도 좋은 것을 만들 수 없었습니다. 이는 우리가 지난 2년 동안 Horizon 개선 과정에서 고치고자 했던 문제점이며, 점점 성과를 거두고 있습니다. Horizon은 MR 플랫폼과 모바일 플랫폼 모두에서 상당한 성과를 거두고 있습니다. AI는 이 제약들을 완전히 변화시킵니다. 장기적으로는 문장 몇개를 입력하는 간단한 방식으로도 Horizon 내에서 3D, 4D 애니메이션 등의 컨텐츠들을 손쉽게 창작해 낼 수 있도록 연구를 진행 중입니다. AI를 이용해서 손쉽게 훌륭한 퀄리티의 컨텐츠들을 Horizon 내에서 만들어 친구들에게 보여주는건 흥미로운 경험일 것입니다.

 

 

 

 

 

저는 AI가 항상 우리가 가졌던 여러 개념에 대해 워프 속도로 도달하고 있다고 생각합니다. 우리는 항상 그곳에 도달하고 싶었지만, 그것은 오랜 시간에 걸쳐 천천히 이루어지는 선형적인 과정이 될 것이라고 생각했습니다. 그런데 갑자기 우리가 상상했던 것보다 훨씬 더 빨리 그곳에 도달할 수 있는 경로를 보게 되었습니다. 정말 대단합니다. 그리고 로드맵에 관해서는, 이것들은 소프트웨어 개념이지만 물론 하드웨어에도 영향을 미칩니다. '레이밴-메타' 안경은 첫 번째 세대인 '레이밴 스토리'에 비해 확실히 큰 개선이 있었고, 우리는 그것에 대해 매우 자랑스럽게 생각합니다. 그러나 AI, 특히 멀티모달 AI는 화면이 없는 기기에서도 무엇을 할 수 있는지에 대한 진정한 혁신을 보여주었습니다. 그래서 이제 우리는 이러한 제품을 믿고 있습니다. 우리는 그것을 만들었고, 판매하고 있으며, 그에 대해 흥분하고 있습니다. 그러나 우리는 항상 이것이 사람들이 이러한 유형의 기기에 익숙해지도록 하는 좋은 디딤돌이라고 생각했습니다.

 

저는 이 제품들이 우리가 생각했던 것보다 훨씬 더 유용할 것이라고 생각합니다. 우리는 사실 소비자 전자기기를 만들었는데, 하드웨어를 완성할 때는 상상도 못했던 강력한 사용 사례가 생겨서 판매를 촉진시키는 경우가 얼마나 자주 있습니까? 그런 일은 거의 일어나지 않습니다. 그야말로 천국의 선물입니다. 이것이 우리에게 AI가 의미하는 바입니다. 개인적인 관점에서, 제가 생각하기에 우리가 아직 산업적으로 해결하지 못했지만 모두가 기대하고 있는 큰 것 중 하나는 맞춤형 AI입니다.

 

오늘날 우리는 LLM을 구동하는데에 있어서 약간의 속임수를 씁니다. 컨텍스트 창에 일부 정보를 미리 로드하는데, 이는 비용이 많이 들고 느리며 컨텍스트 용량은 타이트 합니다. 만약 컨텍스트 창을 너무 많이 채우면 LLM의 기억 능력이 짧아집니다. 그리고 그 컨텍스트 창 안에 모든 내용을 때려박아도 그게 충분하지 않은 경우도 있습니다. 저는 우리가 아직 완벽한 AI 모델에 도달하지 못했다고 생각하며, 그 이유는 여러 가지가 있지만, 우리는 모두 같은 방향을 바라보고 있습니다. 제 개인적인 경험과 커뮤니케이션을 기반으로 프라이버시와 데이터 사용에 대한 존중을 바탕으로 맞춤형 AI를 세밀하게 조정하는 것이 매우 흥미로운 일이라고 생각합니다. 일반적으로 유용한 것보다 저에게 특별히 유용한 것이 될 수 있는 능력은 큰 도약이 될 것입니다.

 

 

 

원본 링크가시면 이미지도 제대로 보실 수 있습니다.

 

 

재밌는 이야기가 많으니 원본 링크가서 정독하시는걸 추천드립니다!

 

ar 글래스에 관해서 생각보다 상세히 알려주네요!