단일 프로세스로 얽혀 있던 취약점 수집 파이프라인을, 수집 단계를 분리하고 DB 스키마를 정규화해 안정적·확장 가능한 구조로 재설계
공개된 보안 패치 정보를 기반으로 취약했던 소스코드와 수정 diff를 수집해, 파일/함수 단위 취약점 데이터셋을 구축하는 시스템입니다. 기존 V3는 수집·검증·저장을 하나의 프로세스에서 모두 처리하는 구조였습니다.
모든 작업을 한 프로세스가 담당하던 구조를, 책임이 명확한 두 단계 파이프라인으로 분리하고 단계별 상태를 추적할 수 있게 했습니다.
processed)를 도입해 각 항목을 대기 · 완료 · 실패로 추적하고, 실패 건만 재처리할 수 있게 함데이터 엔지니어로서 V3의 단일 프로세스 구조가 가진 한계를 진단하고, 수집 단계 분리 설계 → DB 스키마 정규화 → 상태 기반 처리 도입까지 V4 재설계를 주도했습니다. 데이터 중복·비효율을 줄이는 동시에, 실패 추적·재처리가 가능한 운영 친화적 파이프라인으로 전환했습니다.