미니 비전프로의 오클루전 성능

HSC
조회 수 984
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
								
1등김치피자탕수육이좋다
									2023.12.23. 02:13									
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:26									
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
										 HSC 님께
				
									2023.12.23. 02:54									
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.27. 22:48									
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:30									
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
									2023.12.23. 05:08									
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
									2023.12.23. 10:14									
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
									
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117421	13
핫글	미니	빙우주) 폴더블 무게는 기업의 데이터를 믿지 마라 [12]	Mint	24.07.14	1581	27
핫글	미니	갤럭시링 골드 진짜ㅋㅋㅋㅋㅋ [33]	Alternative	24.07.14	1716	17
핫글	미니	s24 울트라... 빠이.. [6]	루팡	24.07.14	1169	16
142583	미니	샸슈	[성공]함께크는성장	24.01.31	291	1
142582	미니	갤럭시 A35 5G 전파인증 [3]	운김	24.01.31	471	1
142581	미니	25도 울트라만 스냅일까요? [7]	나무김	24.01.31	653	1
142580	미니	보급형 폴드도 중요하지만	lunic*	24.01.31	321	1
142579	미니	전화받는중에 버즈끼면... [5]	wooing	24.01.31	631	1
142578	미니	'갤럭시Z 플립6, 배터리 용량 4,000mAh로 증가 [3]	요트맨	24.01.31	808	1
142577	미니	스냅단가미치긴하네요 이럴때일수록	S24울트라존버	24.01.31	545	1
142576	미니	[잡담]물리적 WOL 설치했네요 ㅋ [8]	스퀴니	24.01.31	616	1
142575	미니	비전프로 같은 기기는.. [1]	AurA	24.01.31	341	1
142574	미니	목요일 [1]	후루꾸루	24.01.31	224	1
142573	미니	비전프로는 간만에 실패할거 같네여 [6]	아재건달_보노뭘보노	24.01.31	914	1
142572	미니	S21 배터리 이게 맞나요? [7]	프랑스갤럭시	24.01.30	533	1
142571	미니	구글 렌즈 신기하네요 [5]	갤럭시S23	24.01.30	526	1
142570	미니	니어바이쉐어랑 통합된 퀵쉐어 신버전 올라가있네요 [2]	감비아도나츠	24.01.30	553	1
142569	미니	s24울트라 클리어케이스 feat 슈피겐 [5]	품귀문란	24.01.30	570	1
142568	미니	스와이프 제스처도 쓰다보니 적응되네요. [2]	데밋	24.01.30	484	1
142567	미니	s24노말이나 플러스 사신분들 케이스, 필름 뭐 사셨나요 [17]	sgcr	24.01.30	725	1
142566	미니	루머: (불확실) A18 Pro 칩 긱벤치6 점수 관련 [13]	Section31	24.01.30	1386	1
142565	미니	갤럭시 A24, 퀀텀3 안드로이드 14 재 배포	운김	24.01.30	251	1
142564	미니	혼란한 틈을 타 [1]	감이어디감	24.01.30	368	1
142563	미니	이잉.. 모토로라 엣지 40 업뎃있길래 안드14인가? 했더니 ㅠ [2]	스퀴니	24.01.30	516	1
142562	미니	써클투서치가 페이지 번역도 되는 거였군요 [2]	미하엘무야허	24.01.30	569	1
142561	미니	엣지가 장단이 확실하네요 [6]	갤럭시S23	24.01.30	627	1
142560	미니	24+ 배터리 시간당 10.9%/시간(5G 기준) [2]	하제	24.01.30	567	1
142559	미니	애플펜슬 샀습니다.	미국인턴	24.01.30	175	1

👩🏼‍💻미코🌧️

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정