로그인 해주세요.

미니기기 / 음향 게시판 *스마트폰과 PC, 카메라, 스피커 등 IT 미니기기와 음향기기에 관해 교류하는 게시판입니다.

다잊어야해욥

미니 삼성의 VASTA 시스템은 AI를 사용하여 코딩없이 스마트폰 작업을 시각적으로 프로그래밍 할 수 있습니다

구글 번역기 돌렸습니다.

 

 

https://youtu.be/kr2xE-FixjI

 

삼성의 빅스비(Bixby)와 같은 어시스턴트는 작업 자동화와 관련하여 상당히 다재다능합니다. "페이스북 열기 및 최근 사진 3장 공유"와 같은 다단계 명령을 불만없이 수행할 수 있지만 완벽하지는 않습니다. 개발자는 이러한 작업을 프로그래밍해야합니다. 즉, 사용자에게는 다소 대기중인 게임이됩니다.

 

아마도 이것이 토론토에 있는 삼성 AI 연구소의 연구원들이 안드로이드 스마트폰 자동화를 위한 언어 지원 "프로그래밍에 의한 프로그래밍"시스템인 VASTA를 개발한 이유일 것입니다. 컴퓨터 비전을 포함한 AI 및 머신러닝 기술을 활용하여 프로토타입은 인터페이스 요소에 의존하지 않고도 상호작용에 레이블을 지정할 수 있습니다. 또한, VASTA는 빅스비를 뒷받침하는 것과 유사한 자연어 이해 알고리즘 덕분에 프로그래밍 된 작업을 트리거하는 음성 명령을 분석하고 인식할 수 있습니다.

 

“오늘의 스마트폰은 사용자가 여러 가지 복잡한 작업을 수행할 수 있는 정교한 도구와 응용 프로그램을 제공합니다.” 라고 시스템을 설명하는 학술 논문의 공동 저자는 썼습니다. “기존 작업의 다양성과 사용자가 휴대전화에 보내는 시간이 점점 늘어나면서 가장 지루하고 반복적인 작업 (예 : 피자 주문 또는 학교 앱을 사용하여 성적 확인)을 자동화하는 것이 스마트폰 제조업체에게 바람직한 목표입니다 사용자도 마찬가지입니다.”

 

 

이를 위해 연구원들은 VASTA를 통해 사용자가 임의의 (또는 여러) 타사 앱을 사용하여 임의의 작업에 대한 자동화 스크립트를 생성하고 실행할 수 있다고 말합니다. 또한 일련의 동작을 유사하게 자동화할 수 있는 스마트폰용 기존 매크로 기록 도구와 달리 앱 인터페이스의 변경에 대한 접근 방식이 강력하다고 말합니다. (기본적으로 로봇 프로세스 자동화 와 같습니다.)

 

VASTA를 시작하려면 사용자가 음성 명령을 제공해야합니다.이 명령은 Google의 클라우드 음성 텍스트 변환 서비스를 사용하여 텍스트로 변환됩니다. VASTA는 텍스트를 분석하여 새 작업 또는 데모가 존재하는 기존 작업을 참조하는지 확인합니다. 소설이라면 VASTA는 다음과 같이 대답합니다.“어떻게 해야할지 모르겠습니다. 보여줄 수 있습니까?” 시연 단계가 시작됩니다. 이 시점에서 사용자는 홈 화면으로 이동하여 자동화를 생성하려는 작업 순서를 수행하기 전에 실행중인 모든 프로세스를 종료합니다. 그런 다음 VASTA는 학습 단계로 들어가서 객체 감지 및 광학 문자 인식을 활용하여 데모의 요소와 텍스트를 인식합니다.

 

VASTA는 Android Debug Bridge 를 사용하여 각 상호 작용에서 스크린 샷을 캡처하고 탭, 긴 탭 및 스 와이프와 같은 터치 이벤트의 유형, 지속 시간 및 좌표를 캡처합니다. 앱 시작 이벤트의 경우 시작된 앱 이름을 기록하고 정적 시스템 수준 요소에 대한 정확한 탭 좌표를 기록합니다.

 

트리거 된 작업은 일반적으로 수정하지 않고 ADB 명령의 형태로 직접 실행됩니다. 비 정적 요소의 경우 VASTA는 인식 된 텍스트 문자 및 인터페이스 요소와 같은 추가 정보를 사용하여 명령을 실시간으로 수정해야하는지 여부를 결정합니다.

 

각각 6개의 작업 (알람 설정 및 스누즈 옵션 끄기, 이탈리안 레스토랑 찾기 및 거리에 따라 정렬 및 WhatsApp의 특정 연락처에 메시지 보내기 등)을 수행하는 10 명의 참가자가 참여한 사용자 연구에서, 연구원들은 VASTA가 60 개의 스크립트 중 53 개를 성공적으로 실행할 수 있다고 보고했습니다. 또한 사용자가 60회 중 59번과 상호 작용한 모든 요소를 ​​올바르게 찾았으며 60개 중 53개에 대한 정확한 매개변수를 예측했습니다.

 

user_study.png

 

연구원들은 이미지 분류 네트워크를 사용하여 각 UI 요소에 시맨틱 레이블 (예 : "로그인"버튼 또는 "보내기"아이콘)을 할당하는 미래의 작업을 떠납니다. 실행. 또한 한 앱에서 다른 앱으로 데이터 전송을 지원하는 모듈 (예 : 다음 버스의 도착 시간을 찾아서 연락처로 전송)을 지원하는 모듈과 VASTA를 돕기 위해 객체 감지와 XML 데이터를 결합하는 메커니즘을 만들고자합니다. 명령 구조는 비슷하지만 매개변수 값이 다른 작업을 구분합니다 (예 : 콘서트 앱에서 "Metallica 티켓 받기" 및 영화 앱에서 "Avengers 티켓 받기").

 

“우리가 아는 한, VASTA는 스마트폰 작업 자동화를 위해 컴퓨터 비전 기술을 활용하는 최초의 시스템입니다.”라고 이 논문의 공동 저자는 말했습니다. "이 시스템은 여러 운영 체제 및 플랫폼에서 자동화에 적용할 수 있습니다."

댓글
2
서린
1등 서린
2019.11.07. 13:28

와 콘서트 티켓팅 이걸로 하면 꿀이겠네요

[서린]님의 댓글을 신고합니다. 취소 신고
2등 블랙빈디
2019.11.07. 14:05

와...

아직은 속도등의 면에서 한계가 많아보이지만

이거 잘 발전하면 되게 유용할 것 같은데요?

 

사실 제조사 측에서 음성 비서의 능력을 키우는 것도 다 한계가 있죠.

이렇게 개인이 학습시킬 수 있으면 엔간한 앱에서 엔간한 행동은 다 시킬 수 있겠네요 ㄷㄷ

[블랙빈디]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 공지 사이트 이용 수칙 230228 수정 file admin 18.08.04 117725 13
핫글 미니 '이재용이 뿔났다'…'애플스러워진' MX사업부 [13] update 존버합니다 12:17 1212 22
핫글 미니 삼성 직원으로 보이는 사람 영상요 [7] 갠냑시 13:20 1423 9
핫글 미니 싱글벙글 샤오미 플립 소프트웨어 [12] file Mint 15:14 815 7
37962 미니 삼성 갤럭시 S21 FE 5G Bluetooth SIG 인증 file Railgun 21.08.13 292 1
37961 미니 내년에는 올해와같은 핫한논란없겟죠? [7] S22울트라존버 21.08.12 292 0
37960 미니 톤프리 TFP9 음... 볼륨좀 올리니 좋아지네요(음감만) [2] AriMoon 21.07.27 292 1
37959 미니 인텔의 노드 네이밍에 관한 입장 [3] 좌지우건 21.07.27 292 0
37958 미니 울트라 보내기 전 마지막 찰칵 [1] file Closers 21.07.27 292 3
37957 미니 노바런처 7.0.40 베타 [2] [성공]함께크는성장 21.07.27 292 0
37956 미니 갤럭시M62보면 라인업이 참 복잡하긴해요. [2] 읭읭이 21.06.23 292 0
37955 미니 아이패드 프로 12.9 4세대 일단 싸서 질렀습니다. [6] Closers 21.06.10 292 1
37954 미니 접사..매크로센서가 쓰기전까지만해도 왜있나 했으나 [2] file 스퀴니 21.06.05 292 1
37953 미니 미국 스마트폰 시장 점유율 (2021년 1분기까지) [6] file AlieNaTiZ 21.05.24 292 0
37952 미니 11번가 라이브쇼핑에서 버즈 프로 174천원 + 애니콜 케이스 증정 판매 중이네요 file Flex는패가망신 21.05.03 292 0
37951 미니 새 플립 보니 추억이.. file 루딱이 21.05.03 292 2
37950 미니 통신사자회사알뜰폰 규제 필요하다고 생각하시나요? [5] 헤페바이쎄 21.04.27 292 1
37949 미니 어베스트 원격지원 드디어 끝났내요 jangon 21.04.24 292 2
37948 미니 어 그럼 패드 프로 램도...? 8기가...? [6] 루리루리 21.04.21 292 0
37947 미니 붙네요 [4] file fin 21.04.16 292 2
37946 미니 뭐가 더 어그로 끌리나요 [4] 마리아테레지아 21.04.07 292 0
37945 미니 아이폰 앱 좀 여쭤보겠습니다. [3] 루리루리 21.04.01 292 0
37944 미니 S21 울트라 10배 파노라마 S.LSI 21.03.16 292 2
37943 미니 S21U vs S20 4K@30fps 야간 비디오 비교 [12] file 흡혈귀왕 21.02.28 292 1
37942 미니 어시스던트 볼륨바 이동 기능 좋네요 ㅎ [1] file 조르쥬 21.02.26 292 3
37941 미니 s21울트라 1배, 3배, 10배 ⚔ (24.69MB) [8] file halt 21.02.26 292 3
37940 미니 oneui3.0오류인지 무선덱스 켰다 꺼니까 아이콘 죄다 뜨네요 [3] 몰로하지 21.02.14 292 1
37939 미니 픽셀 5a 가 나오려는지 바로 픽셀6으로 가는건지.. [4] Androboy 21.02.05 292 0
37938 미니 우횻www 쿠팡 배송 스따또 [3] file 로아 21.01.28 292 3

추천 IT 소식 [1/]

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...