실시간 객체 인식을 활용한 시각장애인 횡단 보조 시스템 개발 (한양대 캡스톤 연구 참여)

한양대학교 ERICA 캠퍼스 산업경영공학과 캡스톤 연구
(실시간 객체 인식을 활용한 시각장애인 횡단 보조 시스템 개발)

 

“시각장애인은 주변 환경을 인지하기 위해 시각을 제외한 청각과 촉각 등 다른 감각에 의존합니다. 횡단보도 보행 시 소리 신호와 점자 블록 등은 시각 장애인들의 안전한 횡단보도 보행 환경 구축에 영향을 줍니다. 하지만 볼라드와 같은 장애물과 최근 공유 모빌리티 시장이 확대되면서 무분별하게 주차되어 있는 킥보드 등은 시각장애인의 보행에 큰 위협을 주고 있습니다. 따라서 본 연구는 실시간으로 장애물 정보를 탐지하고 사용자에게 경보를 통해 사고를 예방하는 것을 주제로 선정했습니다. 본 연구는 추후 서로 어플의 탑재하여 시각 장애인의 보행환경과 더 나아가 웨어러블 기기의 탑재로 사물인식을 통한 시각장애인의 눈이 되어 줄 수 있을 연구라고 생각합니다.”

한양대학교 ERICA 캠퍼스에서 “실시간 객체 인식을 활용한 시각장애인 횡단 보조 시스템 개발”이라는 주제로 연구를 진행했습니다. 이 연구는 파워코딩머신 팀(산업경영공학과), 한양대학교 김병훈 교수(지도교수), 유니마인드랩(참여기업)이 함께한 프로젝트로 약 1년간 진행되었습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

객체 탐지 모델 중 하나인 YOLOv5 모델을 사용해 사물의 위치와 종류를 파악하고 bounding box의 크기 변화를 통해 사전에 설정한 임계값보다 커지면 경보를 하는 알고리즘을 사용했습니다.

YOLOv5 모델에 자세한 설명은 아래와 같습니다.

 

 

 

 

 

YOLOv5 모델은 객체 탐지 모델 중에서도 one-stage모델로 bounding box의 탐지와 class의 확률을 동시에 진행하기 때문에 탐지 속도가 빠릅니다. 특히 기존의 YOLO 버전에 비해 Backbone 부분과 Head 부분의 차이를 통해 성능과 탐지 속도를 향상 시킬 수 있었습니다.

 

먼저 Backbone의 경우 feature map을 추출하는 단계인데, DarkNet과 CSPNet 그 중에서도 BottleneckCSP를 사용했습니다. CSPNet은 base layer에서 두 개의 파트로 나누어 진행하다가 마지막 cross-stage에서 합치는 알고리즘으로 CNN의 연산을 빠르게 해주는 알고리즘 입니다.

다음으로 Head의 경우 feature map을 바탕으로 물체의 위치를 찾는 단계로, 3가지의 scale에 따라 Bounding box를 만들어 사용하며 모든 Bounding box를 만들어 사용할 때보다 계산량을 줄여 빠르게 작업을 할 수 있습니다.

YOLOv5 모델을 사용해 객체를 탐지하는 프로세스는 다음과 같습니다.

 

이미지를 여러 그리드로 나누고, 객체가 있을 법한 곳에 Bonding box를 여러 개 예측하며 각 Bounding box에 대해 box안에 클래스가 존재하는지 confindence라는 파라미터를 추출합니다. 그 과정에서 bounding box의 IoU라는 값을 계산해 GT Bounding box와 예측 Bouniding box의 값을 비교합니다. IoU 값과 사전의 정의한 threshold값을 비교하여 이상인 Bounding box만 사용하며 학습량을 줄일 수 있습니다. 이후 학습 과정을 통해 객체를 탐지하게 됩니다. 또한 본 연구에서는 수집한 이미지의 수가 부족하다는 문제를 해결하기 위해 이미지 데이터 증강 기법을 사용하며 각 물체에 위치 정보를 나타내는 라벨링을 직접 진행하며 연구를 진행했습니다.

 

 

 

장애물 인지는 장애인 뿐만 아니라 인지 반응이 느린 노인에게도 적용이 가능하기 때문에 이를 깊게 연구하고 개선방안을 찾는 것이 중요한 과제입니다. 본 연구는 실시간 객체 인식 기술을 활용해 정확한 사물 인식과 음성 경보, 실제 어플 탑재로 활용할 수 있다는 점에서 시각장애인의 안전한 횡단보도 보행 환경 조성에 기여도가 있습니다.

또한, 아직은 횡단보도라는 특수한 상황만 고려했다는 점에서 한계점이 있지만 데이터의 확보를 통해 일반 보행 환경과 더 나아가 유니마인드랩의 서로 어플에 탑재로 지속적인 데이터 수집과 함께 탐지 장애물을 늘려가며 시각장애인의 눈이 되어 줄 수 있다는 점에서 연구의 확장이 가능할 것이라 생각합니다.

 

캡스톤 영상.mp4

(▲해당 파일을 클릭시 영상이 재생됩니다.)