바이너리 로그 전송 시스템 모니터링 & 로그 수집기

1배경

제품 데이터는 중앙에서 고객사 on-premise로 동기화되며, 고객사 측 데이터 동기화 모듈(Updater)에서 오류가 발생합니다. 그러나 이 오류는 고객사 환경 안에서만 발생해 내부에서 즉시 인지하기 어려웠습니다.

• 오류 발생 사실을 내부에서 늦게 파악 → 장애 대응이 지연되는 구조적 문제
• 고객사 환경에 대한 가시성 부재로 선제적 대응이 불가능

2접근

고객사 동기화 모듈의 오류 로그를 정해진 포맷으로 중앙 모니터링 서버에 전송하는 "로그 수집기"를 기획하여, 잠재 문제를 사전에 인지하고 신속히 대응하는 체계를 설계했습니다.

또한 시스템의 명확성과 확장성을 함께 개선했습니다.

• 데이터 타입 용어 표준화 — 모호한 명칭을 의미가 분명한 용어로 정리 (예: other → main, filecomp → source)
• API 버저닝 도입 — 향후 변경에도 하위 호환을 유지할 수 있는 인터페이스 구조 마련

3임팩트

4역할

데이터 엔지니어로서 문제 정의 → 로그 수집기 기획 → 모니터링 체계·인터페이스 설계를 담당했습니다. 단순히 오류를 모으는 데 그치지 않고, 데이터 타입 용어를 표준화하고 API 버저닝을 도입해 시스템이 명확하고 확장 가능하도록 설계했습니다.

고객사 on-premise 동기화 경로의 가시성·안정성을 높이는 데이터 플랫폼 고도화 작업의 일부입니다.