로봇을 위한 모방 학습의 느린 파이프라인 최적화 문제.
로봇을 위한 모방 학습을 진행하는 과정에서 느린 파이프라인의 최적화에 대한 조언을 구하고 있다. 이 모델은 RGB 카메라와 로봇 관절 속도를 사용하여 이미지 인코딩 후 정책의 입력으로 사용된다. 현재 ResNet18 인코더와 DiT 정책 백본을 활용하고 있으며, 저장소에는 Zarr를 사용한다. 프로파일링 결과 파이프라인의 느린 성능을 개선하기 위한 전략을 모색 중이다.
Optimization issues in a slow pipeline for imitation learning in robotics.
The article discusses the challenges faced while optimizing a slow pipeline for imitation learning in robotics. The model utilizes RGB cameras and robot joint velocities to process images and inputs for policy. Currently, it employs a ResNet18 encoder and a Diffusion Transformer policy backbone, with data stored in Zarr. Profiling results indicate a need for strategies to improve the overall pipeline performance.