바이너리 로그 기반 데이터 동기화 모니터링 & 로그 수집

1배경

외부에서 제공되는 replica 연결을 보안상 허용하기 어려운 고객사 환경에서는, 고객사 내부 DB가 바이너리 로그 변경분을 받아 제품 데이터를 동기화합니다. 이때 고객사 측 동기화 모듈에서 오류가 발생해도 오류는 고객사 환경 안에서만 발생하므로 운영 측에서 즉시 인지하기 어려웠습니다.

• 오류 발생 사실을 운영 측에서 늦게 파악 → 장애 대응이 지연되는 구조적 문제
• 고객사 환경에 대한 가시성 부재로 선제적 대응이 불가능

2접근

고객사 동기화 모듈의 오류 로그를 정해진 포맷으로 중앙 모니터링 서버에 전송하는 로그 수집 흐름을 기획하여, 잠재 문제를 사전에 인지하고 신속히 대응하는 체계를 설계했습니다.

또한 시스템의 명확성과 확장성을 함께 개선했습니다.

• 데이터 타입 용어 표준화 — 모호한 명칭을 의미가 분명한 용어로 정리 (예: other → main, filecomp → source)
• API 버저닝 도입 — 향후 변경에도 하위 호환을 유지할 수 있는 인터페이스 구조 마련

3임팩트

4역할

데이터 엔지니어로서 문제 정의 → 로그 수집 흐름 기획 → 모니터링 체계·인터페이스 설계를 담당했습니다. 단순히 오류를 모으는 데 그치지 않고, 데이터 타입 용어를 표준화하고 API 버저닝을 도입해 시스템이 명확하고 확장 가능하도록 설계했습니다.

고객사 on-premise 동기화 경로의 가시성·안정성을 높이는 데이터 플랫폼 고도화 작업의 일부입니다.