집중 스프린트 — 탐지 모델 라인 총점검
운영 중인 탐지 모델 라인 전체를 한 달에 걸쳐 다시 점검한 스프린트입니다. AI 에이전트 병렬 오케스트레이션으로 실험 설계 → 실행 → 검증 사이클을 자동화해 동시에 5~8개 작업을 운영했습니다(SLURM 클러스터 자원 오케스트레이션 포함).
- 기간
- 2026.07
- 범위
- 웹캠 · 광각 · 전면 카메라 탐지 모델 라인 전체 — 세대교체, 실배포 형상 검증, 2차 검증기 설계, VLM 활용성 평가, 3년 모델 자산 감사
- 역할
- 스프린트 설계 및 전 과제 수행 — 실험 설계, 벤치마크 재구축, 모델 선정, 배포 권고안 도출
- 운영 방식
- AI 에이전트 병렬 오케스트레이션 · SLURM 클러스터 자원 오케스트레이션 · 동시 5~8 작업
왜 한 번에 몰아서 점검했나
3년간 개별 이슈 단위로 대응하다 보면 모델 라인 전체의 상태를 한눈에 보기 어려워집니다. 한 달을 떼어 전체를 같은 기준으로 다시 재는 스프린트를 잡았습니다.
점검 항목은 다섯 가지였습니다 — 최신 모델로의 세대교체 가능성, 실제로 배포되는 형상(INT8 양자화 + 2단 추론) 그대로의 성능, 남아 있는 오탐 유형을 걸러낼 2차 검증기, VLM을 자동검수에 쓸 수 있는지, 그리고 3년치 학습·데이터 자산이 실제로 어떻게 쓰였는지입니다.
각 항목이 독립적이라 순차 실행하면 한 달로는 부족했습니다. 실험 설계 → 실행 → 검증 사이클을 에이전트로 자동화하고 SLURM 자원 할당까지 오케스트레이션해 동시 5~8개 작업을 돌리는 방식으로 처리량을 확보했습니다.
| 성과 | Before → After |
|---|---|
| 웹캠 탐지 모델 세대교체 | mAP50 0.834 → 0.955 · 배경 오탐 12.3% → 4.2% |
| 실배포 형상(INT8 + 2단 추론) 전수 검증 | P 0.999 / R 0.817 · 오탐률 2.01% |
| 태블릿 오탐 2차 검증기 설계·배포 | 모니터 오인식 80% 제거 (실탐지 95% 유지, AUROC 0.978) |
| 스마트글래스 탐지 융합 개선 | F1 0.816 → 0.841 (검출 + DINOv2 임베딩 융합) |
과제별 기록
01 — 모델 세대교체 — 후보 74종 비교
운영 모델이 몇 세대 전 구조에 머물러 있었고, 어떤 최신 모델이 실제 도메인에서 나은지에 대한 근거가 없었습니다.
후보 74종을 3개 벤치마크로 교차 비교해 도메인별 최적 모델을 선정했습니다. 과정에서 학습–벤치 데이터 유출을 콘텐츠 해시로 적발하고 클린 벤치를 재구축했습니다. 2단 추론(TTA)은 미탐을 줄이는 대신(recall +4.5 pt) 추론이 2배 느려지는 트레이드오프를 실측했습니다.
웹캠 탐지 모델 세대교체 — mAP50 0.834 → 0.955, 배경 오탐 12.3% → 4.2%(약 1/3). TTA는 일괄 적용 대신 정확도 우선 / 속도 우선 시나리오별 사용 권고안으로 정리했습니다.
02 — 실배포 형상 전수 검증
벤치마크 수치는 대개 pt 원본 · 단일 추론 기준으로 측정됩니다. 실제 고객 환경에 나가는 것은 INT8 양자화 + 2단 추론 형상이라, 두 수치가 같다는 보장이 없었습니다.
배포되는 형상 그대로 — INT8 양자화 + 2단 추론 — 전수 검증을 수행했습니다.
Precision 0.999 / Recall 0.817, 오탐률 2.01%. 운용점에서의 실제 성능을 숫자로 확정했습니다.
03 — 태블릿 오탐 2차 검증기 설계·배포
모니터를 태블릿으로 오인식하는 유형이 탐지 모델 단독으로는 잘 줄지 않았습니다. 오탐이 곧 비용인 시스템이라 평균 정확도가 아니라 운용 오탐률에서의 실탐지율이 기준이 되어야 했습니다.
기하 프라이어 · 임베딩 · 경량 분류기 3안을 비교 설계해 경량 분류기를 채택했습니다. 성능을 확정하기 전 자체 감사에서 평가셋의 장면 수준 근중복 유출을 적발했고, 클린 스플릿으로 재측정한 뒤에야 수치를 확정했습니다.
AUROC 0.978. 운용점에서 모니터 오인식 80% 제거, 실탐지 95% 유지. 라이브 데모 시스템에 배포했습니다.
이 실험의 후보 3종 ROC와 임계값에 따른 트레이드오프는 메인 페이지의 운용점 위젯에서 직접 움직여 볼 수 있습니다.
04 — VLM 활용성 평가 — 쓸 수 있나, 없나
대규모 자동검수에 VLM 제로샷 판정을 쓸 수 있는지 판단이 필요했습니다.
Qwen2.5-VL로 제로샷 판정 실험을 돌렸습니다. 초기 프롬프트(‘기기 여부’)는 사실상 무작위 수준(AUROC 0.504)이었는데, 질문을 ‘촬영 가능한 렌즈면이 보이는가’로 재정의하자 AUROC 0.762로 반전했습니다 — 모델 능력이 아니라 질문 정의가 병목이었습니다.
그럼에도 대규모 자동검수에는 부적합하다는 결론. 같은 태스크에서 경량 전용 분류기가 추론은 70배 빠르고 정확도도 높았습니다(AUROC 0.99 vs 0.762).
05 — 스마트글래스 탐지 융합 개선
스마트글래스는 형태가 일반 안경과 유사해 검출기 단독으로는 구분 성능에 한계가 있었습니다. 검출 결과에 DINOv2 임베딩을 융합하는 구조로 F1 0.816 → 0.841로 개선했습니다.
06 — 3년 모델 자산 감사
3년간 쌓인 학습 이력과 데이터셋이 어디에 어떻게 쓰였는지 추적이 끊겨 있었습니다. 어떤 데이터가 학습에 한 번도 들어가지 않았는지조차 알 수 없었습니다.
학습 651개를 전수 스캔하고, MD5 콘텐츠 계보로 데이터 사용 이력을 역추적해 복원했습니다.
학습에 한 번도 쓰이지 않은 미활용 데이터 3.9만 장을 발굴했습니다. 이후 학습 계획의 데이터 우선순위 근거가 됐습니다.
화면 · 데모
벤치마크 대시보드와 라이브 데모 화면을 추가할 자리입니다.