영상기반 에스컬레이터 이상상황 지능형 감지 기술

영상기반 에스컬레이터 이상상황 지능형 감지 기술


영상기반 에스컬레이터 이상상황 지능형 감지 기술
(Image-based Abnormality Intelligent Detection in Escalator)


저자: (한국전자통신연구원)임재호, 최성록, 이재영, 임을균, 조재일, (한국철도공사)안세영, 이호담, 이상재




*본 논문은 2018 춘계승강기학회에서 발표된 내용을 발췌, 게재한 것으로, 참고문헌 및 일부 자료를 생략함. 
(자료제공: 한국전자통신연구원)


에스컬레이터에서 발생하는 이상상황은 후속 사고를 유발하는 경우가 빈번하기 때문에 이를 즉각적으로 감지하고 조치하는 것이 매우 중요하다. 본문의 영상기반 에스컬레이터 이상상황 지능형 감지 기술(Image-based Abnormality Intelligent Detection in Escalator)은 에스컬레이터에서 이상상황이 발생할 시에 이를 실시간으로 인지할 수 있는 지능형 감지 기술을 제안한 것이다. 한국전자통신연구원과 코레일 공동연구로 개발된 해당 기술은 설치된 CCTV에서 영상을 획득하고 실시간으로 분석해 전도 및 역주행 사고 시 관리자가 신속하게 후속조치를 하도록 할 수 있도록 기능을 제공한다. 또한 본 기술은 CCTV 외에는 추가적으로 센서나 장치들을 필요로 하지 않아 경제적인 이점도 갖추었다고 볼 수 있다.


1.서론
CCTV가 감지한 사고상황, 관리자가 빠르게 인지하고 신속조치 할 수 있어
철도역사 내에서 발생할 수 있는 위험사고 중 승객이 넘어지는 역내 전도사고는 전체 여객사고의 약 14.6%에 해당한다. 이 중 에스컬레이터에서 발생하는 사고는 약 37.8%로 매우 빈번하게 발생하고 있다. 에스컬레이터 사고 특성상 후속 사고들이 연이어 발생할 확률이 높기 때문에 이를 방지하기 위한 조치들을 빠르게 수행하는 것이 매우 중요하게 여겨진다.
그러나 공공장소인 철도역사 내에는 현재 다수의 CCTV가 설치되어 있음에도 불구하고 이를 전문적으로 모니터할 인력이 없거나, 있어도 1명이 담당하는 CCTV의 갯수가 과다하다. 실질적으로 역무원이 CCTV 영상을 보고 이상상황을 인지하여 골든타임 내 사고 조치와 전파를 하는 것은 불가능한 현실이다. 그러므로 CCTV에서 획득한 영상을 실시간으로 모니터링하여 이상상황을 감지할 수 있는 지능형 감지 기술이 있다면, 사고발생시 관리자가 즉각적으로 조치와 전파를 하여 현재 발생하고 있는 안전사고를 대폭 줄일 수 있을 것이다.
본 논문에서는 에스컬레이터에서 발생하는 대표적인 이상상황인 전도와 역주행 사고를 CCTV로 획득된 영상을 기반으로 실시간으로 인지할 수 있는 이상상황 지능형 감지 기술을 제안했다.  또한, 테스트베드에서 이상상황을 연출하여 획득한 영상 데이터셋에 제안 기술을 적용한 결과를 확인했다.


2. 본론
2.1 DIS Optical Flow 알고리즘 적용
Optical Flow 알고리즘은 현재 프레임의 해당 픽셀별 이전 프레임에서의 위치를 상대 좌표 값으로 가지는 가시적인 동작 패턴이다. 두 영상 내에서 픽셀 밝기는 항상 동일하고, 객체는 움직임이 느리고 인접할수록 동일 객체라는 가정을 전제로 한다. 이러한 Optical Flow 알고리즘의 특성을 이용해 에스컬레이터 이상상황을 감지하는 문제를 접근할 수 있다.
본 논문에서 제안하는 영상기반 에스컬레이터 이상상황 지능형 감지기술은 CCTV에서 전송하는 에스컬레이터 영상들에  DIS(Dense Inverse Search) Optical Flow 알고리즘을 적용한 것이다. 에스컬레이터 자체와 그 위에 위치한 객체들의 움직임 변화에 대한 정보를 획득하고 이를 분석해서 이상상황을 감지한다.
이때에 움직임 변화 정보는 각 픽셀별 Optical Flow x축과 y축 방향 결과값을 의미하며 이 두 값에 의하여 형성되는 벡터의 방향이 일정 방향을 벗어나는 픽셀 영역을 이상상황 후보 blob들로 생성한다. 그리고 이 후보 blob들이 일정 크기 이상으로 일정 시간 동안 유지되면 최종적으로 이상상황 blob들로 감지한다.


2.2 거리 가중치 적용
하지만 후보 blob들에서 최종 이상상황 blob들을 필터링하는 기준이 되는 일정 크기 임계치를 영상에 획일적으로 적용하면 영상의 윗부분에서 발생하는 이상상황은 감지가 불가하게 된다. 그 이유는 카메라에서 가까운 곳은 더 크게, 먼 곳은 더 작게 나오는 영상의 원근왜곡(Perspective distortion) 현상 때문이다.(그림1 참조)
본 논문에서는 이러한 문제를 해결하기 위하여 3D 공간정보를 이용한 거리 가중치를 적용해 이 문제를 해결적용하였다. 3D공간정보는 핀홀카메라 모델에서 카메라 파라미터를 이용하여 획득할 수 있다.
3D 공간정보로 영상 아랫부분(카메라와 근접)에서 윗부분(카메라와 멀어짐)으로 갈수록 커지는 거리 가중치를 생성하고, 이 거리 가중치를 후보 blob들 중 일정 크기 이하를 필터링하는 임계치를 정규화(normalization) 하는 데에 사용하였다.(그림2 참조)


2.3 MOG2 학습 적용
사고상황 별 후보 blob들을 생성하기 위한 기준이 되는 Optical Flow 벡터 방향에 대한 파라미터는 기본적으로 수동으로 설정이 가능하다. 하지만 수동으로 설정을 하면 사용자에 따라 주관적으로 최적 파라미터가 결정되고 미리 예상하지 못한 이상상황에 대한 Optical Flow 벡터는감지가 불가하다는 단점이 있다. 따라서 본 논문에서는 이러한 단점을 해결하기 위해서 정상상황 영상에서의 DIS Optical Flow x축과 y축 방향 결과값을 MOG2로 학습시키고 학습된 결과에서 벗어나는 벡터들을 이상상황 벡터로 판단하는 방식을 사용했다.


2.4 결과
동대구역 내에 설치된 테스트베드에서 이상상황을 연출하여 획득한 영상 데이터셋에 본 제안 기술을 적용하여 실험을 진행하였으며 그 결과, 검출율은 약 85%, 오보율은 약 20%인 성능을 확인할 수 있었다. (그림3 참조)


3. 결론
본 논문은 영상기반 에스컬레이터 이상상황 지능형 감지 기술을 제안했다. 제안한 기술은 관리자가 이상상황의 후속조치와 전파를 신속하게 할 수 있도록 도와 철도역사 뿐만 아니라 공공장소 내에서 발생하는 에스컬레이터 안전사고를 획기적으로 감소시킬 수 있을 것으로 예상된다. 아울러 기존에 설치된 CCTV 외에는 추가적으로 센서나 장치들을 설치할 필요가 없으므로 경제적인 이점도 갖추었다고 볼 수 있다.

<사사>
본 연구는 국토교통부와 국토교통과학기술진흥원의 연구과제에 의해서 수행되었음.