언어모델이 텍스트 생성을 넘어 자율 주행에도 활용될 것으로 보인다. 텍스트와 이미지를 이해할 수 있는 멀티모달 대형언어모델(LLM), 이른바 대형멀티모달모델(LMM)을 활용해 차량 카메라의 도로 장면 사진을 읽고 도로 상황을 이해해 차량을 제어하는 자율 주행 소프트웨어가 화제다.

테크크런치는 9일(현지시간) 자율주행 소프트웨어 전문 스타트업 고스트 오토노미(Ghost Autonomy)가 LMM을 자율주행에 적용하는 방법을 모색 중이라고 보도했다. 

고스트는 오픈AI의 스타트업 펀드를 통해 500만달러(약 66억원)를 투자받아 설립한 회사로, 마이크로소프트(MS) 애저 클라우드에서 오픈AI 시스템을 활용 중이다. 또 자율주행 소프트웨어 구축을 위해 멀티모달 기능을 갖춘 'GPT-4V' 및 'GPT-4 터보'를 활용하는 것으로 알려졌다.

존 헤이스 고스트 CEO는 "LMM은 '롱테일(longtail)'을 이해하는 새로운 방법을 제공, 현재 모델의 약점인 복잡한 장면에 대한 추론이 가능하게 한다”라며 "이런 사례는 LMM이 더 빠르고 더 많은 기능을 수행함에 따라 증가할 것"이라고 설명했다.