좌표계

15 분

lidars_and_cameras_sequence와 같은 씬은 서로 다른 센서와 서로 다른 시점의 데이터를 결합할 수 있어야 합니다. 이는 센서 캘리브레이션과 자차 모션 데이터를 사용해 레코딩 데이터를 변환함으로써 이루어집니다. 이 섹션에서는 3D 공간에서 이 작업이 어떻게 이루어지는지 설명하고, 다양한 종류의 데이터가 표현되는 좌표계에 대해 요약합니다. 카메라 센서의 경우 3D 포인트를 2D 픽셀 좌표로 매핑해야 하며, 이는 카메라의 내부 파라미터를 사용하여 이루어지고 카메라 타입에 따라 달라집니다. 자세한 내용은 카메라 캘리브레이션을 참고하세요.

기준 좌표계와 캘리브레이션

각 센서는 자차 위의 위치와 방향에 따라 결정되는 고유한 3D 좌표계를 가지고 있습니다. 이러한 센서 좌표계 간에 측정값을 변환할 수 있는 것이 중요합니다. 이를 위해 센서 좌표계 사이의 중개자 역할을 하는 *기준 좌표계(reference coordinate system)*가 정의됩니다. 기준 좌표계는 자차를 기준으로 임의로 선택할 수 있습니다. 센서

에 대한 캘리브레이션 함수

C_i

를 정의함으로써 포인트

\vec{x_i}

를 다음과 같은 방식으로 기준 좌표계에 매핑할 수 있습니다.

\vec{x_R} = C_i(\vec{x_i})

같은 방식으로 다른 모든 센서에서 나온 포인트들도 기준 좌표계로 매핑할 수 있습니다. 이어서 캘리브레이션의 역함수를 적용하면 좌표계

에서 좌표계

로도 포인트를 매핑할 수 있습니다.

\vec{x_j} = C_j^{-1}(C_i(\vec{x_i}))

월드 좌표계와 자차 모션 데이터

이를 통해 이제 자차에 국한된 좌표계에서 포인트를 표현할 수 있게 되었습니다. 이는 유용하지만, 때로는 서로 다른 시점에 기록된 포인트를 같은 좌표계에서 표현하는 것도 유용합니다. 이를 시간에 대해 정적인 *월드 좌표계(world coordinate system)*라고 부릅니다. 자차의 임의 시점에서의 위치와 방향을 설명하는 자차 모션 데이터를 사용하여 포인트를 월드 좌표계로 변환할 수 있습니다. 자차 모션 데이터를 사용하면 포인트

\vec{x_t}

를 다음과 같이 월드 좌표계로 변환할 수 있습니다.

\vec{x_w} = E_t(\vec{x_t})

이어서, 시각

에 기록된 포인트를 자차 변환 함수의 역함수를 적용하여 시각

t'

의 좌표계로도 변환할 수 있습니다.

\vec{x_{t'}} = E_{t'}^{-1}(E_t(\vec{x_t}))

이는 각 라이다 포인트를 자차의 모션에 대해 보정하는 데 사용할 수 있으며, 이 과정을 모션 보상(Motion compensation)이라고도 합니다. 라이다 포인트는 서로 다른 시점에 기록되기 때문에 포인트 클라우드에 대해 모션 보상을 수행하는 것이 강력히 권장됩니다. 이는 씬을 생성할 때 고빈도의 자차 모션 데이터(IMU 데이터)를 제공함으로써 수행할 수 있습니다.

단일 라이다인 경우

아래 이미지는 단일 라이다인 경우 서로 다른 센서들이 3D 공간에서 서로 어떤 관계를 갖는지 보여줍니다. 자차 모션 데이터는 라이다 좌표계로 표현되어야 함에 유의하세요.

다중 라이다인 경우

다중 라이다인 경우(아래 이미지 참고)에는 각각 자신의 라이다 좌표계로 표현된 여러 개의 포인트 클라우드가 존재합니다. 하나의 포인트 클라우드를 어노테이션하는 것이 여러 개를 어노테이션하는 것보다 효율적이기 때문에, 씬 생성 시 이러한 포인트 클라우드들은 기준 좌표계의 하나의 포인트 클라우드로 병합됩니다. IMU 데이터가 있는 경우, 자차 모션도 보상할 수 있어 각 포인트를 프레임 타임스탬프 시점의 기준 좌표계로 변환할 수 있습니다. 이는 다음을 적용하여 수행됩니다.

\vec{x_w} = E_t(C_i(\vec{x_{i,t}}))


\vec{x_{t'}} = E_{t'}^{-1}(\vec{x_{w}})

여기서

\vec{x_{i,t}}

는 시각

에 라이다

의 좌표계로 표현된 포인트이고,

그리고

\vec{x_{t'}}

는 프레임 시각

t'

의 기준 좌표계로 표현된 포인트입니다.

모션 보상을 활용할 수 있도록 IMU 데이터를 제공하는 것이 권장됩니다. 병합된 포인트 클라우드는 기준 좌표계로 표현되기 때문에, 모든 자차 모션 데이터 역시 기준 좌표계로 표현될 것으로 예상합니다.

데이터 종류별로 다른 좌표계

서로 다른 종류의 데이터는 단일 라이다인지 다중 라이다인지에 따라 서로 다른 좌표계로 표현됩니다. 이는 아래 표에 요약되어 있으며, 예를 들어 자차 모션 데이터는 단일 라이다인 경우 라이다 좌표계로, 다중 라이다인 경우 기준 좌표계로 표현되어야 함을 알 수 있습니다.

Type of data	Single-lidar	Multi-lidar
Lidar point clouds	Lidar	Lidar
Ego poses & IMU data	Lidar	Reference
OpenLABEL export 3D geometries	Lidar	Reference
OpenLABEL export 2D geometries	Pixel	Pixel
Pre-annotations 3D geometries	Lidar	Reference
Pre-annotations 2D geometries	Pixel	Pixel