Mobility VLA - Google DeepMind (23.07.10)

https://fornewchallenge.tistory.com/entry/%EC%B5%9C%EC%8B%A0-AI-%EB%85%BC%EB%AC%B8%F0%9F%A4%96Mobility-VLA-%EA%B5%AC%EA%B8%80%EC%9D%98-%EC%8A%A4%EB%A7%88%ED%8A%B8%ED%95%9C-%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC-%EB%82%B4%EB%B9%84%EA%B2%8C%EC%9D%B4%EC%85%98-%EA%B8%B0%EC%88%A0

해당 논문 리뷰를 보고 나의 생각을 정리해본다.

 

멀티모달 명령어 : 처음에 멀티모달 multimodal 이라는 단어가 어색했다. 논문을 읽으면서 대충 이해가 됐지만, Multimodal 이란 여다중 모드, 즉 여러 가지 유형의 입력을 동시에 처리한다는 뜻을 가졌다.

 

VLA : Vision - Language - Action

 

해당 연구에서 VLM을 중점적으로 다뤘는데, VLM을 통해 복잡한 명령어를 통해 추론하고 판단하며, 이를 내비게이션으로 이어가는 기술을 보여주었다.

 

VLM의 출력을 로봇 동작으로 변화하는데 위상그래프 Topological Graph 유용했다고 하는데 무슨 의미인지 잘 모르겠다.

 

논문 pdf : https://arxiv.org/abs/2407.07775