미니 비전프로의 오클루전 성능

HSC
조회 수 984
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
								
1등김치피자탕수육이좋다
									2023.12.23. 02:13									
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:26									
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
										 HSC 님께
				
									2023.12.23. 02:54									
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.27. 22:48									
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:30									
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
									2023.12.23. 05:08									
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
									2023.12.23. 10:14									
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
									
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117888	13
핫글	미니	삼성의 배째라 모드를 억제할 무언가가 있었으면 좋겠어요 [14]	Niflheimr	00:15	1242	15
핫글	미니	외산폰이 어려워보이는게 글에서도 보이기는해요 [17]	베이어	10:09	780	13
핫글	미니	s25 울트라 이 루머 렌더링 완전 맘에 드네요 [9]	maMeong	15:58	468	12
144106	미니	디프 간김에 노트20 S20FE 보고왔는데 후라스틱은 역시... [5]	난민	20.12.08	473	0
144105	미니	올해 2월에 사서 지금까지 S20U 사용중인데 [17]	dlwlrma	20.12.08	434	0
144104	미니	노트20울트라에서 아이폰12프로로 온 소감... [12]	루리루리	20.12.08	673	0
144103	미니	펀치홀 드간 폰은 보안스티커 붙이면 오지게 거슬리겠네요 [10]	난민	20.12.08	624	0
144102	미니	BT-W3 쓰는데 약간 불편한 점	띠링	20.12.08	116	0
144101	미니	충전기이어폰은 별로 화가 안 나네요 [5]	헤페바이쎄	20.12.08	285	0
144100	미니	USB C타입 DAC 쓸만한게 뭐가 있나요? [5]	뒷동산	20.12.08	296	0
144099	미니	그 옛날 국방모바일보안 [5]	감비아산도나츠	20.12.08	923	0
144098	미니	동일조건 깔아놓고 한번 투표를 해봅시다. [33]	헤페바이쎄	20.12.08	463	0
144097	미니	s20보다 s20fe fhd가 더 선명한가요? [9]	대왕오징어	20.12.08	558	0
144096	미니	S20 울트라 후면카메라 유리 잔기스 많이 생기나요? [4]	dlwlrma	20.12.08	739	0
144095	미니	갤럭시s20 안드로이드11 리커버리모드 들어가지나요? [4]	그이	20.12.08	2675	0
144094	미니	인텔이 빅리틀 구조에 목매는 이유를 알 것 같습니다. [3]	RISCVCC	20.12.08	484	0
144093	미니	구글 전화로 csc 변경하실때요 [3]	그이	20.12.08	393	0
144092	미니	긱벤치에 로그폰 4로 추정되는 점수 업로드 됐네요 [2]	신규유저	20.12.08	159	0
144091	미니	아이폰 이것만 개선되면 메인폰으로 쓴다 [7]	HQteam	20.12.08	252	0
144090	미니	결국 헤드폰이 나왔군요... [8]	브니엘	20.12.08	347	0
144089	미니	에어팟 맥스 로고 박아넣어주지 [6]	오토카모	20.12.08	373	0
144088	미니	에어팟 맥스 549달러면 [7]	으하하핳	20.12.08	273	0
144087	미니	내년 삼성 im부문 영업이익이 궁금하긴 하네요.. [4]	Eidio	20.12.08	215	0
144086	미니	맥OS를 한번도 안써봤는데 M1맥 써보고 싶네요. [2]	전설의고양이	20.12.08	237	0
144085	미니	솔직히 이건 길거리에서 안 보일 거 같네요 ㅋㅋ [8]	응애나아기미붕이	20.12.08	498	0
144084	미니	이어팟 맥스 다이얼 이 설마 [9]	ㄹㅇㅋㅋ	20.12.08	331	0
144083	미니	삼성 š21 렌더링유출에 대한 해외기사 댓글반응 [1]	aleji	20.12.08	425	0
144082	미니	에어팟 맥스는 경쟁제품이 뭘까요 [2]	슈뢰딩거냥냥이	20.12.08	206	0

👩🏼‍💻미코☀️

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정