HADAR, "유령같은" 열 이미지에 깊이와 질감을 더하다

자율주행차와 로봇이 안전하고 효율적이려면 주변 환경을 인식해야 합니다. 또한 로봇, 차량, 사람 등 주변 사물의 행동을 예측하고 그에 따라 경로를 계획하고 결정을 내릴 수 있어야 합니다. 즉, 머신 비전이 필요합니다.

전통적으로 머신 비전은 레이더, 소나, 라이더 등의 센서와 카메라의 조합을 통해 구현됩니다. 그러나 머신 비전도 열에 의존하는 경우가 많습니다. 퍼듀 대학의 전기 및 컴퓨터 공학 교수인 Zubin Jacob은 "열 복사는 온도가 0이 아닌 모든 물체에서 발생합니다."라고 말합니다. "나뭇잎, 나무, 식물, 건물 등 모두 열 복사를 방출하지만 이는 눈에 보이지 않는 적외선 복사이기 때문에 우리의 눈과 일반 카메라는 이를 볼 수 없습니다." 그러나 열파가 지속적으로 산란되기 때문에 적외선 카메라에서 생성된 이미지는 물질적 특수성이 부족하여 깊이나 질감이 없는 흐릿하고 "유령 같은" 이미지가 생성됩니다.

"유령" 이미지의 대안으로 퍼듀 대학과 미시간 주립 대학의 Jacob과 그의 동료들은 어수선한 열 신호를 분석하여 질감과 깊이를 "볼" 수 있는 HADAR(열 보조 감지 및 거리 측정) 기술을 개발했습니다. 개념 증명 실험에서 그들은 야간의 HADAR 범위가 낮의 RGB 스테레오 비전만큼 우수하다는 것을 입증했습니다. 그들의 연구는 7월 26일 Nature에 게재되었습니다.

인간은 낮이나 적절한 빛이 있는 환경에서 다양한 색상, 질감 및 깊이를 볼 수 있지만 어둡거나 어두운 상황에서도 많은 열 광자가 튕겨져 나옵니다. 인간은 볼 수 없지만 "이러한 제한이 기계에 적용될 필요는 없습니다"라고 Jacob은 말합니다. "그러나 우리는 해당 정보를 활용하기 위해 새로운 센서와 새로운 알고리즘을 개발해야 했습니다."

실험을 위해 연구진은 도로와 도시 조명에서 멀리 떨어진 습지대의 야외 공간을 선택했습니다. 그들은 거의 100가지의 서로 다른 주파수에 걸쳐 적외선 스펙트럼의 열 이미지를 수집했습니다. RGB 이미지의 각 픽셀이 세 가지 가시 주파수(빨간색은 R, 녹색은 G, 파란색은 B)로 인코딩되는 것처럼 실험의 각 픽셀에는 세 가지 열 물리학 속성인 TeX(온도(T), 재료 지문)로 라벨이 지정되었습니다. 또는 방사율(e), 텍스처 또는 표면 형상(X). "T와 e는 합리적으로 잘 이해되지만 질감에 대한 중요한 통찰력은 실제로 X에 있습니다"라고 Jacob은 말합니다. "X는 실제로 특정 관심 영역을 비추는 장면의 수많은 작은 태양입니다."

연구원들은 수집된 모든 TeX 정보를 기계 학습 알고리즘에 입력하여 깊이와 질감이 있는 이미지를 생성했습니다. 그들은 온도와 방사율을 풀고 열 신호로부터 질감을 복구하기 위해 TeX 분해라고 부르는 방법을 사용했습니다. 그런 다음 정리된 T, e 및 X 속성을 사용하여 인간이 색상을 보는 것과 동일한 방식으로 색상, 채도 및 밝기 측면에서 색상을 확인했습니다. Jacob은 “야간, 칠흑 같은 어둠 속에서도 낮에 돌아와서 RGB 카메라로 범위 지정 및 감지를 수행했을 때 정확도는 동일했습니다.”라고 말했습니다.

HADAR의 가장 큰 장점은 수동적이라는 점이라고 Jacob은 덧붙입니다. “이는 레이저, 음파, 전자기파로 장면을 비출 필요가 없다는 뜻입니다. 또한 LiDAR, 소나 또는 레이더와 같은 능동 접근 방식에서는 현장에 에이전트가 많으면 그들 사이에 많은 혼선이 있을 수 있습니다."

새로운 기술로서 HADAR는 상당히 초기 단계에 있다고 Jacob은 말합니다. 현재 데이터 수집에는 거의 1분이 소요됩니다. 이에 비해, 예를 들어 야간에 운전하는 자율주행차는 주변 환경을 밀리초 단위로 이미지화해야 합니다. 또한 데이터 수집에 필요한 카메라는 부피가 크고 가격이 비싸며 전력 소모가 큽니다. Jacob에 따르면 "과학적 시연에는 적합하지만 광범위하게 채택하기에는 적합하지 않습니다."라고 합니다. 연구원들은 현재 이러한 문제를 연구하고 있으며 Jacob은 이 문제를 해결하기 위해 앞으로 몇 년 동안 연구가 더 진행될 것이라고 예측합니다.