미니 비전프로의 오클루전 성능

HSC
조회 수 983
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
								
1등김치피자탕수육이좋다
									2023.12.23. 02:13									
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:26									
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
										 HSC 님께
				
									2023.12.23. 02:54									
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.27. 22:48									
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:30									
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
									2023.12.23. 05:08									
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
									2023.12.23. 10:14									
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
									
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113651	13
핫글	미니	중국에서 안드로이드 폰 쓰면 안되는 이유 (feat. 중국 내수용 갤S24에 12기가 램 탑재해준 이유) [60]	삼계탕라면	24.04.27	1808	63
핫글	미니	삼성 GPU와 파운드리는 계속 발전 중입니다. [26]	흡혈귀왕	24.04.27	1388	30
핫글	미니	TSMC Technology Symposium 발표 내용 [7]	좌지우건	24.04.27	562	6
206626	미니	또 아이폰 QLC 사용 가능성 이슈가 나왔군요 [3]	갠냑시	24.01.17	718	1
206625	미니	23울트라 1테라 매물은 거의 없군요 [2]	Kanata	24.01.17	442	0
206624	미니	갤럭시S24시리즈 베이퍼 챔버는 매우 큽니다. [9]	갠냑시	24.01.17	1524	7
206623	미니	24 시리즈 베쳄 근황 [2]	늅늅	24.01.17	1121	8
206622	미니	디자인에 대하여. [16]	루티	24.01.17	737	9
206621	음향	톤프리 UT90S 3일 사용 후기	ASTRAY	24.01.17	883	5
206620	미니	S24 일반모델은 512g가 나오는건가요? [1]	베르바	24.01.17	248	1
206619	미니	S23 지문인식 너무 열받네요 [33]	X6X8BVYV1WH7T	24.01.17	1323	11
206618	미니	PSVR 여전히 나쁘지는 않네요 [3]	RASBI	24.01.17	284	0
206617	음향	결국 DAP 다시 들였네요.	아재건달_보노뭘보노	24.01.17	289	0
206616	미니	기본모델 12기가램모델은 꿈이였던걸까요? [3]	S24울트라존버	24.01.17	594	1
206615	미니	갤럭시 폴더블 Z5 판매량도 천만대 미만이라 하네요. [14]	요트맨	24.01.17	1310	9
206614	미니	mkbhd 애플 비전프로 소감문 [4]	카더	24.01.17	851	0
206613	미니	잡담: 갤럭시 S24 Ultra 긱벤치6 2323/7213 [4]	Section31	24.01.17	1051	6
206612	미니	그 아래 팁스터분 글 펑한건가요?	갠냑시	24.01.17	440	0
206611	미니	갤럭시 입지가 위협받는 이유	S.R	24.01.17	852	11
206610	미니	펜택이 정신을 차렸다 해서 한마디 합니다 [8]	갠냑시	24.01.17	1004	4
206609	미니	램플러스로 만회한다 뭐 그런건가싶네요 [4]	Rekoj	24.01.17	792	0
206608	미니	보라 퍼플 [5]	마키세크리스	24.01.17	714	6
206607	미니	삼성이 안타까운 이유 [14]	LG산흑우	24.01.17	1336	7
206606	미니	전에 울트라 삼닷 컬러 유출을 본거 같은데 [14]	오레오가좋아	24.01.17	655	0
206605	미니	아이폰도 아재폰 예약이긴 하죠. [9]	애옹애옹애옹	24.01.17	1084	5
206604	미니	대다수 원하지 않는 사각 워치로 핏4가	감자너겟	24.01.17	349	2
206603	미니	S24를 구할 숫자 [4]	봄차	24.01.17	806	6
206602	미니	언팩이 오늘 자정 지나선가요? [2]	펄럭펄럭	24.01.17	734	2

👩🏼‍💻미코🌿

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정