미니 비전프로의 오클루전 성능

HSC
조회 수 984
2023.12.23. 02:07

초록색 점은 핸드트래킹 지점입니다.

실시간으로 손의 누끼만 따서 가상 그래픽과 뎁스를 일치화(가상 그래픽이 손에 가려지는 등)

원리는 외부 카메라랑 아이트레킹으로 손 인식해서 오브젝트 세그멘테이션 하는 겁니다.

성능이 누끼따는건 매우 좋아보이는데

핸드트래킹 200~300밀리 세컨드의 딜레이가 있어 퀘스트보다 느리다고 합니다.

이부분은 현재 베타니 개선될 여지가 있습니다.

		7
								
1등김치피자탕수육이좋다
									2023.12.23. 02:13									
 
성능차이가있으니 누끼자체는 비전프로가 더잘따긴하군요

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:26									
이건 누끼가 아니라 퀘스트의 뎁스 API라 아예달라요
 
비전프로는 손만 누끼다서 캡처해서 가상 그래픽위에 놓는거라면(포토샵 레이어 처럼)
 
뎁스 API는 현재 카메라에 찍힌 모든것의 깊이값을 AI가 추정하고 모든 사물이 깊이에 따라 상호작용하고 변화하는거에요
 
퀘스트3도 로컬에서 뎁스가 저정도로 돌아가는게 대단합니다.

					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
김치피자탕수육이좋다
										 HSC 님께
				
									2023.12.23. 02:54									
아 깊이인식기반으로 저부분만 누끼따는게아니라 걍 이미지기반누끼였군용

					[김치피자탕수육이좋다]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.27. 22:48									
아 근데 생각해보니 비전프로에도 라이다가 2개나 달려서
 
저렇게 구현할수는 있겠네요 ㅋㅋㅋ

					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이HSC
										 김치피자탕수육이좋다 님께
				
									2023.12.23. 02:30									
현 비전프로의 방식이라면 결국 정육면체 가상 그래픽안에 손을 집어넣어 통과하거나 정육면체 뒤로 손을 가리는건 못합니다.
 
왜냐면 포토샵 레이어처럼 항상 맨위에 있으니까요
 
					 1
									
					[HSC]님의 댓글을 신고합니다.
					취소
					신고
					
2등Eomjunsik
									2023.12.23. 05:08									
다들 기술력이 정말 대단하네요.
"고작" M2 정도 연산 능력으로 저 처리를..

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
3등노멀라이즈
									2023.12.23. 10:14									
https://mediapipe-studio.webapps.google.com/studio/demo/gesture_recognizer
그냥 모바일에서도 충분히 됩니다.
이거 실행하고 카메라 바꾸면 후면 카메라로도 되고요.
이것보다 더 발전한 핸드트래킹 알고리즘을 메타에서 이미 가지고 있고요. 
혹시나 해서 추가 합니다.
z값도 좌표에 포함되어 있습니다. 뭐 애초에 3d용도는 아닌지라 정확도는 알 수 없지만 구글이 못하지는 않을 거라고 보고요.
다년간 이쪽 업무를 본결과 인식계열은 구글이랑 메타가 탑입니다.

					 3
									
					[노멀라이즈]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117750	13
핫글	미니	삿슈 폴드6 [1]	Minny	16:51	513	13
핫글	미니	미출시 기기 3형제 [8]	Seol	14:28	761	12
핫글	미니	초A급으로 보관중인 갤s8 인증이요. [8]	niotree	13:04	668	10
75533	미니	발열이 더 심해진다면 다들 ZTE처럼 가게될지도 모르겠군요 [4]	RuBisCO	23.11.25	1075	1
75532	미니	지하철에 이런 와이파이가 있었군요 [5]	세츠나	23.11.25	2281	1
75531	미니	라이트모드 꺼버릴지 고민이네요 [5]	LG산흑우	23.11.25	722	1
75530	미니	잡담: 메이주 21 (8 Gen 3) 긱벤치6 [1]	Section31	23.11.25	825	1
75529	미니	잡담: 갤럭시 S23 FE 색상 6개 중 당신의 픽은? [7]	Section31	23.11.25	1126	1
75528	미니	갤러리 업뎃하고 확인해 보니.. [3]	곰장수	23.11.25	1384	1
75527	음향	근데 1000X가 그정도로 심각한가요? [19]	마키세크리스	23.11.26	1882	1
75526	미니	삼성 타이머 저만 맛탱이 갔나요? [2]	찌그렁오리	23.11.26	721	1
75525	미니	잡담: M3 Max, 긱벤치6 싱글점수 X Elite 추월 [1]	Section31	23.11.26	809	1
75524	미니	잡담: 아사히 리눅스 팀, 외부 디스플레이 출력에 관하여 공지 [7]	Section31	23.11.27	487	1
75523	미니	겨울철 워치는 역시 불편하군요 [10]	댕밤	23.11.27	579	1
75522	미니	AMD RDNA 4 "라데온 RX 8000" GPU Navi 44 및 Navi 48 포착	PatGelsinger	23.11.27	491	1
75521	미니	디멘시티 9300, 스로틀링 테스트에서 성능이 46%까지 떨어집니다 [5]	PatGelsinger	23.11.27	823	1
75520	미니	갤워치 스트랩 알리에서 사시나요? [7]	[성공]함께크는성장	23.11.27	437	1
75519	미니	페북앱 광고 극혐이네요 [1]	[성공]함께크는성장	23.11.27	374	1
75518	미니	플립5 업데이트 [1]	Riv.Side	23.11.27	120	1
75517	미니	앤커 보조배터리 100% 넘어도 충전되지 않나요?	인절미빙수	23.11.27	279	1
75516	미니	카메라 떡밥이 도는데 [17]	propeller	23.11.27	1188	1
75515	미니	폴드5 플립5 정식 6.0 원유아이 홈 버전 확인 부탁드립니다 [9]	펄럭펄럭	23.11.27	832	1
75514	미니	폴더블 원 6.0 베타 아니면 오늘 안되겠죠?	아재건달_보노뭘보노	23.11.27	239	1
75513	미니	잡담: 원플러스 12 모든 각도에서 본 디자인 [3]	Section31	23.11.28	416	1
75512	미니	(수정)최신펌 기준 폴드3 1달 사용 후 간단 느낀점 [3]	RASBI	23.11.28	442	1
75511	미니	6.0정식 원유아이 홈 업데이트 오늘부터 배포(정보추가) [7]	펄럭펄럭	23.11.28	796	1
75510	미니	S23 FE 890,000 [11]	달에서사탕만드는토끼	23.11.28	858	1
75509	미니	갤워치 이거 바꿔줬으면 좋겠어요 [3]	비둘기야먹자	23.11.28	494	1

👩🏼‍💻미코🌧️

미니 비전프로의 오클루전 성능

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정