미니 비전프로의 오클루전 성능

HSC
조회 수 984
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
								
1등김치피자탕수육이좋다
									2023.12.23. 02:13									
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:26									
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
										 HSC 님께
				
									2023.12.23. 02:54									
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.27. 22:48									
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:30									
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
									2023.12.23. 05:08									
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
									2023.12.23. 10:14									
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
									
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	116758	13
핫글	미니	개인적으로는 삼성이 상품성에서 최적값을 찾았다고 봅니다. [12]	그렇군요	08:32	1205	15
핫글	미니	컨투어컷 다시 가져오면 안되나요? [23]	빅코	08:05	1162	13
핫글	미니	현업자들도 인정하는, 삼성이 창사 이래 최대 위기인 이유(삼성위기론) [5]	적당히하자	17:11	809	12
205407	미니	S25U에선 폴디드 망원 크게 개선되길 바랍니다. [22]	흡혈귀왕	23.12.25	1414	7
205406	미니	그램은 왜 이 시점에 3050 쓴 걸까요 [18]	MrGom™	23.12.25	1219	5
205405	미니	탭s7 fe와 탭a9+ 중 고민이네요 [2]	거꾸로보일러	23.12.25	441	0
205404	미니	LG 그램 프로 / LG 그램 프로 360 스펙 및 가격 [7]	AlieNaTiZ	23.12.25	995	5
205403	미니	[꿀단지PD] 갤럭시 북4 프로 16인치 [1]	우주안녕	23.12.25	889	1
205402	미니	잇섭 낫싱 워치 프로 영상 떴는데 좋아보이네요. [2]	1o92nd	23.12.25	878	1
205401	음향	개인적으로 wf-1000xm5보단 버즈2 프로가 더 낫네요 [1]	Closers	23.12.25	1129	5
205400	미니	one ui 6.0와도 버벅 거리는 건 똑같네요 [36]	미하엘무야허	23.12.25	1873	22
205399	미니	티머니 애플페이 교통카드 속도 내나…티머니페이-모바일티머니 통합 [4]	Lime	23.12.25	792	2
205398	미니	S24Ultra-I have two things to say [7]	iceuniverse	23.12.25	1285	15
205397	미니	티머니..의 현재 행보가 좀 맘에 안들긴합니다 [11]	스퀴니	23.12.25	1162	8
205396	미니	S23U Termux 데비안에 님프 설치했는데 빈 화면으로 나오네요. [5]	흡혈귀왕	23.12.25	914	0
205395	미니	무한 고민에 빠져벌였어오 [4]	최닉넴	23.12.25	443	0
205394	미니	S24U 망원 렌즈 사이즈 커지는건 단순 루머였나보네요.... [16]	흡혈귀왕	23.12.25	1110	5
205393	미니	아+갤 둘다 쓰면서 갤이 가져왔으면 하는 점 [9]	Kanata	23.12.25	905	5
205392	미니	시대별 진동모터 특	Minny	23.12.25	549	1
205391	미니	버튜버주의)AMD 플루이드모션 테스트해봤습니다. [6]	스퀴니	23.12.25	808	5
205390	미니	크리스마스의 바닷가 feat.갤럭시S23U [7]	Stellist	23.12.25	667	15
205389	미니	겹쳐서 없어져도 되는 옵션...jpg [1]	aleji	23.12.25	1021	2
205388	미니	S9FE 플러스 출고가 자체는 많이 오른건 아닌데... [7]	KIKIRAKA	23.12.25	774	6
205387	미니	받았슈...(사운드코어 스페이스원)	Ginza	23.12.25	323	4
205386	음향	이어팟이 하나 생겼는데… [4]	MrGom™	23.12.25	466	0
205385	미니	S9fe시리즈는 어떤시장을노리고나온건가요 [10]	S24울트라존버	23.12.25	724	5
205384	미니	유튜브 뮤직 아르헨인데 전 안올랐네요 [6]	에피	23.12.25	623	3
205383	미니	플루이드모션 부활 [5]	개🐶	23.12.25	1178	9

👩🏼‍💻미코🌞

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정