연구 진행 방향 정리 (+ KSC 2025, KCSE 2026)

KSC에 LIME을 사용하여 실시간 드론 충돌 위험 예측 연구를 진행하여 논문을 제출하였다.
하지만 실시간 상황에서는 매번 연산을 돌려야 하는 LIME보다 각각 1번의 forward와 backward를 수행하면 되는 Grad-CAM이 더욱 적합한 것 같아, 해당 연구에 Grad-CAM을 적용하여 실험을 진행해 각 기법의 성능 비교 및 평가를 진행할 예정이다.

---

이전 연구는 아래와 같은 로직으로 진행하였다.

우선 드론에서 실시간 영상 프레임을 받아와 YOLOv8n 기반으로 생성한 객체 검출 모델에 전달한다.
이후 객체가 검출되면 LIME에 프레임을 전달하여 모델 예측에 대한 근거를 산출해 UI에 반환하였다.
 
이때 문제점은 크게 두 가지가 있었다.
1. '객체 검출 모델'에 대한 근거를 산출
모델 train 시 사용한 데이터셋은 drone crash dataset이었지만, 해당 데이터셋은 충돌/비충돌을 이진 분류해 놓은 데이터셋이 아닌 근접하게 닿아 있는 이미지 위주로 데이터셋이 구성되어 있었다. 라벨링 또한 객체별로 나뉘어져 있었기에 해당 데이터셋은 충돌 분류보다는 회피 기동 시 사용하기 유용한 데이터셋이었다.
때문에 충돌에 관한 모델이 아닌 객체 검출에 더욱 적합한 모델이 만들어졌으며, 이에 대해 LIME을 적용하였기에 class 검출에 대한 근거를 산출하고 있었다.
 
2. LIME의 시각화에 의존
LIME이 Super Pixel을 시각화하여 UI에 제공하여도 직관적이긴 하나, 사용자 친화적인 인터페이스라고 칭하기에는 애매한 감이 있었다. 어떤 근거로 해당 부분을 마스킹하였는지에 대해 부가적인 자연어 설명이 필요했다.
 

---

현재 연구의 진행 상황은 아래와 같다.

이전 연구의 제안 방법에서 변경된 부분은 이진으로 분류된 충돌 분류 모델을 생성하여, 해당 모델에 LIME을 적용하게 하였다.
이를 통해 해당 시스템은 검출된 객체가 '충돌'로 예측될 시, 검출된 bbox 영역에 한해 LIME을 적용하게 된다.
이로써 이전에는 class 예측에 대한 근거를 LIME이 설명하고 있었다면, 현재는 충돌/비충돌 분류를 한 근거에 대해 설명할 수 있게 되었다.

---

향후 연구에 반영할 사항은 다음과 같다.
1. LLM을 통해 사용자에게 자연어로 모델의 예측 근거에 대한 설명을 제공
이를 위해 ChatGPT 4.0 API를 사용하여 진행 중이며, 전체적인 로직은 설계해 둔 상태이다. (화면에 반환 O)
그러나 prompt 작성 실력이 부족하여 설명이 상당히 빈약한 상태이다.
해당 부분을 보완하면 자연어 설명 기능은 바로 통합이 가능한 상황이다.
 
2. 객체 검출 모델 삭제
현재 detection 모델은 클래스 불균형 문제를 겪고 있다.
원인은 데이터셋에 car calss가 지나치게 많은 탓이다.
또, 객체를 검출한 후 bbox를 씌워 충돌 분류 모델에 보내는 과정 자체가 불필요하다는 피드백을 받았다.
컴퓨터과학 분야는 특히 빠르게 발전하며 새로운 기술들이 많이 나오고 있기에, 현업자의 관점에서 불필요한 과정이 아닐까 하는 의견을 제시해 주었다.
때문에 객체 검출 모델이 있는/없는 version을 각각 만들어 결과를 비교해 볼 예정이다. 큰 차이가 없거나, 없는 쪽이 더 성능이 좋다면 해당 모델을 삭제할 예정이다.
 
3. Grad-CAM과 LIME 기법의 평가 및 비교
앞서 언급했듯 실시간 상황에서는 연산 비용이 큰 LIME이 불리한 경향이 있다.
이에 반해 Grad-CAM은 현업에서도 실시간 상황에서 많이 사용하고 있으며, 학습 없이 모델에 바로 적용할 수 있어 속도 측면에서 더 좋은 성능을 기대할 수 있을 것이다.
 
하지만 현재 충돌 분류 모델(.h5)은 Dense-only 형식이기 때문에 Grad-CAM에 적용하기 위해서는 같은 데이터셋으로 CNN 모델을 새로 생성하여야 한다.

---

참고문헌
LLM: https://arxiv.org/pdf/2403.08946
Grad-CAM: https://arxiv.org/pdf/1610.02391
 
github repository
LIME (KSC.ver): https://github.com/shinjiaaa/drone_collision_LIME.git

GitHub - shinjiaaa/drone_collision_LIME: 2025 KSC - Application of the LIME Technique for Real-Time Drone Collision Risk Predict

Grad-CAM (KCSE.ver): https://github.com/shinjiaaa/drone_collision_gradcam.git

아래 파일은 위 내용을 정리한 ppt이다.

LABSeminar_20251125 (1).pdf

0.54MB