座標系

lidars_and_cameras_sequenceなどのシーンでは、異なるセンサーからのデータや異なる時点のデータを組み合わせる必要があります。これは、センサーキャリブレーション概要キャリブレーションと自車両モーションデータを使用して記録データを変換することで実現されます。このセクションでは、3D空間でこの変換がどのように行われるかを説明し、さまざまな種類のデータが表現される座標系の概要を示します。カメラセンサーについては、3D点を2Dのピクセル座標にマッピングする必要もあります。これはカメラの内部パラメータを使用して行われ、カメラの種類によって異なります。詳細については標準カメラキャリブレーションカメラキャリブレーションを参照してください。

各センサーは、自車両上の位置と向きに応じた独自の3D空間座標系を持っています。これらのセンサー座標系間で測定値を変換できることが重要です。そのために、センサー座標系間の仲介として機能する基準座標系（reference coordinate system）を定義します。基準座標系は自車両に対して任意に選択できます。キャリブレーション関数

をセンサー

に対して定義することで、点

を以下のように基準座標系にマッピングできます。

同様に、他のすべてのセンサーからの点も基準座標系にマッピングできます。さらに、座標系

から座標系

への点のマッピングも、キャリブレーションの逆変換

を適用することで可能です。

これにより、自車両にローカルな座標系で点を表現できるようになります。これは便利ですが、異なる時点で記録された点を同じ座標系で表現することも有用な場合があります。この座標系は時間的に静的であるため、ワールド座標系（world coordinate system）と呼びます。自車両モーションデータを使用して、点をワールド座標系に変換できます。自車両モーションデータは、任意の時点における自車両の位置と向きを記述します。自車両モーションデータを使用すると、点

を次の式でワールド座標系に変換できます。

さらに、時刻

に記録された点を、時刻

の座標系に変換することも、自車両変換関数の逆変換

を適用することで可能です。

これは、各LiDAR点に対して自車両の動きを補償するために使用でき、このプロセスはモーション補償モーション補償とも呼ばれます。LiDAR点は異なる時点で記録されるため、点群のモーション補償を行うことを強く推奨します。これは、シーン作成時に高頻度の自車両モーションデータ（IMUデータ）を提供することで実現できます。

下の画像は、単一LiDARの場合における3D空間での各センサー間の関係を示しています。自車両モーションデータはLiDAR座標系で表現する必要があることに注意してください。

複数LiDARの場合（下の画像を参照）、それぞれ独自のLiDAR座標系にある複数の点群が存在します。アノテーション効率の向上のため、シーン作成時にこれらは基準座標系の1つの点群に統合されます。IMUデータが利用可能な場合は、自車両モーションの補償も行い、各点をフレームタイムスタンプ時の基準座標系に変換できます。これは以下を適用することで行われます。

ここで

はLiDAR

の座標系で表現された、時刻

における点であり、

はフレーム時刻

における基準座標系で表現された点です。

モーション補償を利用できるように、IMUデータを提供することを推奨します。統合された点群は基準座標系で表現されるため、自車両モーションデータも基準座標系で表現してください。

データの種類によって、単一LiDARか複数LiDARかに応じて異なる座標系で表現されます。以下の表にまとめられており、例えば自車両モーションデータは、単一LiDARの場合はLiDAR座標系で、複数LiDARの場合は基準座標系で表現する必要があることがわかります。