미니 비전프로의 오클루전 성능

HSC
조회 수 983
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
								
1등김치피자탕수육이좋다
									2023.12.23. 02:13									
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:26									
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
										 HSC 님께
				
									2023.12.23. 02:54									
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.27. 22:48									
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:30									
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
									2023.12.23. 05:08									
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
									2023.12.23. 10:14									
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
									
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114569	13
핫글	미니	[잡담] PC 들일 때 맥이냐 윈도우냐를 고민하시는 분들께 [24]	불심	15:32	737	10
핫글	미니	ios18 제어센터라는데 [18]	오레오가좋아	09:29	1278	9
핫글	미니	갤럭시 문자 알림 아이콘 바뀌었네요. [3]	바닐라라떼	10:03	753	4
205317	미니	삼성브라우저 pc버전은 별소식없는건가요..? [4]	비둘기야먹자	23.12.23	953	0
205316	미니	원가 절감한다고 대놓고 기사가 ㅋㅋ [22]	카더	23.12.23	2692	24
205315	미니	테마파크 수정했으면 하는 사항이 있습니다 [1]	코우키	23.12.23	390	0
205314	미니	여러분은 삼성페이 잘 쓰시나요? [37]	RASBI	23.12.23	1392	0
205313	미니	잡담: 샤오미 레드미 노트 13 시리즈 SoC 공개 [2]	Section31	23.12.23	655	1
205312	미니	각 제조사별 역대 원탑 폰을 고르라면 [22]	Kanata	23.12.23	1327	1
205311	미니	Beeper는 결국 미국 법무부에서 반경쟁법 위반 여부를 조사하네요. [4]	Stellist	23.12.23	1266	18
205310	미니	맥 음악 클라우드 보관함 동기화 다들 되시나요? [3]	룬룬	23.12.23	226	0
205309	미니	노바런처 100원도 안한다는데요? [14]	fin	23.12.23	1395	2
205308	미니	잡담: 리퍼비쉬 맥북프로도 가끔씩 공식 사이트에 있네요. [2]	Section31	23.12.23	477	0
205307	미니	S21+ 인데 one ui업데이트하고 좋아졌네요. [4]	다루하즈	23.12.23	972	6
205306	미니	워치 액티브2 드디어. [2]	팔할오푼	23.12.23	932	2
205305	미니	갤럭시탭 화면 크게/작게는 정말 유용하군요 [5]	금어초8gen3	23.12.23	1044	6
	미니	비전프로의 오클루전 성능 [7]	HSC	23.12.23	983	1
205303	미니	웹개발하면 애플이 그냥 웬수입니다 [13]	ONNURI	23.12.22	2104	38
205302	미니	넷플릭스 게임에 GTA 시리즈가 생겼네요? [4]	MrGom™	23.12.22	1104	3
205301	미니	잡담: 근데... 유선 통신망은 통신3사가 죄다 화웨이 장비도 씁니다(...) [7]	Section31	23.12.22	916	0
205300	미니	[란즈크] 애플 맥에 지원되는 페이스 아이디 인식 지원 특허 승인 [5]	우주안녕	23.12.22	1143	6
205299	미니	삼성 프로는 왜 프로일까요? [10]	찌그렁오리	23.12.22	1310	3
205298	미니	갤럭시 위로 스와이프해서 잠금 해제 불편하지 않나요? [9]	하나림	23.12.22	761	0
205297	미니	KICK 이제 광고도 하네요 [2]	일.칠칠이사오삼팔오	23.12.22	945	5
205296	미니	삼성 브라우저 WebGPU 지원하는군요. [2]	흡혈귀왕	23.12.22	1224	5
205295	미니	아이패드 한,영 전환 원래 이런가요? [10]	유각수23	23.12.22	558	1
205294	미니	X100 Pro 카메라 간단 후기입니다. [26]	PQ	23.12.22	1390	18
205293	미니	그램pro/외장그래픽/360 [8]	Tofubob	23.12.22	857	2

👩🏼‍💻미코🌿

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정