미니 비전프로의 오클루전 성능

HSC
조회 수 995
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
				
1등김치피자탕수육이좋다
		2023.12.23. 02:13					
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
						 김치피자탕수육이좋다 님께
				
		2023.12.23. 02:26					
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
					
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
						 HSC 님께
				
		2023.12.23. 02:54					
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
						 김치피자탕수육이좋다 님께
				
		2023.12.27. 22:48					
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
						 김치피자탕수육이좋다 님께
				
		2023.12.23. 02:30					
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
					
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
		2023.12.23. 05:08					
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
		2023.12.23. 10:14					
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
					
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	119807	13
핫글	미니	iPhone16 Pro Max와 함께한 대만 여행 [8]	rollin	14:54	394	20
핫글	미니	애플스토어 사과서리해왔습니다 [23]	슈피리어	15:13	725	18
핫글	미니	탭 s10 공개 됐네요 [15]	cmbbb	00:12	1734	12
219362	미니	신제품이라는 유인력이 엄청 강한가 봐요 [1]	Alternative	17:28	216	2
219361	미니	갤럭시 탭 S9 FE 시리즈 One UI 6.1.1 업그레이드	운김	17:09	137	0
219360	미니	기술력의 에코백스.jpg	바른말고운말	16:55	292	2
219359	미니	잡담: 엑시노스 9825 긱벤치5 및 GFX 벤치 그래프	Section31	16:44	264	2
219358	미니	S24FE 글로벌 모델은 8GB군요 [3]	미코한량	16:44	295	2
219357	미니	s25u 램 16기가는 한발 멀어졌네요. [11]	봄차	16:24	566	5
219356	미니	갤럭시 S21 시리즈 펌웨어 업데이트	운김	16:23	151	4
219355	미니	몇일전에 여기서 아이폰 16 프로 케이스 종결자라는 글을 봤었는데요	Jay65535	16:06	253	1
219354	미니	일개 커뮤하는 사람이라 당연히 내부 사정은 모르겠지만 [8]	[성공]함께크는성장	16:01	561	9
219353	미니	팩라시) 폴더블 아이폰 관련 [3]	요트맨	15:59	499	3
219352	미니	솔직히 이럴거면 사업부를 팔아야 [4]	갠냑시	15:44	571	12
219351	미니	5090 5080 스펙 루머가 떴네요 [9]	에우레카	15:42	420	2
219350	미니	엑시노스 선단 공정 활용 방안	카이맨	15:40	221	2
219349	미니	애플스토어 사과서리해왔습니다 [23]	슈피리어	15:13	725	18
219348	미니	대부분의 경우 아이폰 프로는 고용량모델이 의미가 없네요 [5]	댕밤	15:11	352	3
219347	미니	개인적으로 생각하는 ios18 최고의 기능 [1]	성능확실	14:57	355	8
219346	미니	iPhone16 Pro Max와 함께한 대만 여행 [8]	rollin	14:54	394	20
219345	미니	내년 3단 갤럭시 폴드 나올거라네요.! [4]	크로아츠	14:44	602	6
219344	미니	엑시노스의 큰 문제점은... [3]	엔당이희망입니다	14:32	500	7
219343	미니	탭s10 울트라 소식을 들었는데 [1]	순살파닭	14:32	350	2
219342	미니	근데 탭s10되면 기념으로 뭐 바뀔줄 알았는데 없네요	패주초	14:30	129	3
219341	미니	현실적으로 엑시노스가 살 길을 생각해봐도 막막하네요. [9]	gamma	14:01	561	3
219340	미니	갤럭시 발신자 정보 표시 어떻게 하시나요? [9]	AVCD	13:31	333	0
219339	미니	갤럭시탭에 반사방지코팅 적용이 2024년... [9]	Niflheimr	13:10	667	1
219338	미니	갤럭시북4프로 16인치 사용하시는 분 계시나요? [7]	엔당이희망입니다	12:59	273	3

👨‍👩‍👧‍👦미코🌕

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

확장 변수

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정