미니 비전프로의 오클루전 성능

HSC
조회 수 995
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
				
1등김치피자탕수육이좋다
		2023.12.23. 02:13					
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
						 김치피자탕수육이좋다 님께
				
		2023.12.23. 02:26					
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
					
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
						 HSC 님께
				
		2023.12.23. 02:54					
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
						 김치피자탕수육이좋다 님께
				
		2023.12.27. 22:48					
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
						 김치피자탕수육이좋다 님께
				
		2023.12.23. 02:30					
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
					
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
		2023.12.23. 05:08					
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
		2023.12.23. 10:14					
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
					
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	119761	13
핫글	미니	그냥 이대로면 엑시노스를 접어야.. [39]	갠냑시	24.09.26	1623	13
핫글	미니	탭 s10 공개 됐네요 [14]	cmbbb	00:12	1444	12
핫글	미니	실물 보고 오면 눈만 더 높아 지네요 [5]	KIKIRAKA	24.09.26	904	12
220722	미니	아이폰14프로 리퍼 들어갔는데 원래 이렇게 수리가 오래 걸리나요?	띵홍	11:53	10	0
220721	미니	후속 관련 주저리... [3]	흡혈귀왕	11:45	92	0
220720	미니	잡담: 삼성의 못다이룬 꿈 [17]	Section31	11:32	227	3
220719	미니	16시리즈의 카메라 컨트롤은 mmwave 안테나와 별개입니다	신한대알바	11:29	110	1
220718	미니	라이카 어쎈틱 VS 바이브런트	S.R	11:06	72	0
220717	미니	갤캠스에는 탭S10 배너 올라왔네요 [1]	LG산흑우	11:04	195	0
220716	미니	애플뮤직 갔다가 실망하고 스포티파이로 돌아갑니다. [2]	JJ	10:40	276	5
220715	미니	S24FE 한국 출시일은 언제일까요? [1]	단단	10:36	157	0
220714	미니	IOS 18 업데이트 이후 블루투스 끊김현상 [2]	수학교사	10:01	189	1
220713	미니	탭S10은 왜 엑시를 안박은거일려나요? [14]	시엠	09:44	657	3
220712	미니	탭S10은 개발 과정이 어떻게 된건지 [3]	Niflheimr	09:39	514	6
220711	미니	아니 그래도 탭 S시리즈는 나름 플래그쉽인데 [5]	어리아리	08:54	694	7
220710	미니	뺀에디션의 램 정상화! [1]	윤이	08:30	698	7
220709	미니	탭 S10은 7년 업데이트 이야기가 없네요 [11]	운김	07:53	765	3
220708	미니	삼성이 이러는 이유는 간단합니다. [4]	AurA	07:38	1011	6
220707	미니	루머: 디멘시티 9400, 개당 $200~230 [3]	Section31	07:24	708	5
220706	미니	탭S10 울트라 벤치마크 비교 (vs S24 울트라) [7]	유비소프트	01:22	1243	11
220705	미니	TGS 2024서 등장한 게임패스 입점작들 [1]	BarryWhite	01:02	366	2
220704	미니	"잡스가 살아 있었으면 ~했다" 하는 가정은 근본적으로 무의미한 것 같아요. [6]	가을	00:56	654	8
220703	미니	안드로이드 디바이스 스팀 게임 구동 근황 (Winlator) [6]	흡혈귀왕	00:29	908	12
220702	미니	탭 s10 공개 됐네요 [14]	cmbbb	00:12	1444	12
220701	미니	24FE 나오는 김에 소신발언 [22]	애애앵	00:00	986	12
220700	미니	저는 애플 소프트웨어 능력은 [10]	소나기	24.09.26	763	9
220699	미니	서피스고에 엘리트 넣으면 좋을텐데 말이죠 [5]	엣지	24.09.26	288	2
220698	미니	난 진지하게 김ㄱㄴ이 싫어요 [8]	갠냑시	24.09.26	1141	8

👨‍👩‍👧‍👦미코🌕

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

확장 변수

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정