오픈소스 RAW 데이터 오브젝트 스토리지 구축 (SeaweedFS)

오픈소스 생태계의 메타·바이너리·Git 원본을 외부 의존 없이 재현 가능하게 대규모 보존하는 자체 미러 인프라 설계·구축

기간2026-05 (설계) ~ 06 (구축)

소속래브라도랩스(LabradorLabs) · 데이터파트

역할데이터파트 파트리더 · 설계·구축 주도

SeaweedFSS3HaystackXFSZFSForgejoPostgreSQLEC(6+2)

1배경

오픈소스 생태계의 메타정보(npm·PyPI·Maven·Go 패키지, CVE·OSV·SPDX 라이선스), 바이너리(tarball·wheel·jar 등), Git 원본(RAW repo)을 대규모로 수집·보존하는 자체 미러 인프라가 필요했습니다.

외부 레지스트리·GitHub API의 rate limit 종속을 제거하고 수집 데이터를 안정적으로 확보
수집 시점의 데이터를 재현 가능하게 장기 보관 — 시점 기준 분석·검증을 위한 보존성 확보
수억~수십억 개에 이르는 작은 파일과, 갱신이 잦은 git이 한 인프라에 공존

2핵심 설계 — 데이터의 "수정 패턴"으로 저장소 분리

모든 데이터를 한 저장소에 몰지 않고, 데이터가 어떻게 수정되는가를 기준으로 저장소를 나눴습니다.

메타 · 바이너리 → 오브젝트 스토리지

한 번 쓰고 key로 읽는(write-once, read-by-key) 패턴.

SeaweedFS(S3 호환) · 오브젝트 볼륨 파일시스템 XFS

Git 원본 → 파일시스템

잠금·부분수정·ref 갱신·index 재작성이 잦은 패턴.

ZFS 위 bare repo · 미러 자동화는 Forgejo Mirror에 위임

3기술 선택의 근거

메타·바이너리 = SeaweedFS: 수억~수십억 개의 작은 파일을 Haystack 패킹으로 효율 저장. 객체당 파일 1개인 MinIO는 inode 폭발이 약점이라, 작은 파일 대량 보관에는 SeaweedFS가 유리.
오브젝트 볼륨 파일시스템 = XFS: 대용량·병렬 I/O에 강해 볼륨 파일을 담는 기반으로 채택.
git = ZFS + Forgejo Mirror: git은 ZFS 위 bare repo로 저장. 대규모 repo 미러 자동화(fetch 스케줄링·재시도·인증·모니터링)는 Forgejo의 Mirror 기능에 위임. ZFS는 checksum/scrub으로 bit rot을 자동 감지·복구하고, LZ4 압축·스냅샷·send/recv 복제가 강점.
메타DB = PostgreSQL: SeaweedFS filer 매핑과 Forgejo DB를 한 클러스터에서 분리 공유하고, streaming replication으로 HA 구성.
분산 · 복제: 온프레미스 2서버로 repo 영역을 분산하고, SeaweedFS는 EC(6+2)로 서버 간 복제.

검토했으나 미채택: JuiceFS로 git까지 오브젝트 스토리지에 통합하는 완전 통합 안 — git의 다수 작은 객체 워크로드에서 clone/fetch 성능 저하와 추상화 다중첩(디버깅 난이도)으로 제외.

4임팩트

외부 의존 제거 — 레지스트리·API rate limit에 종속되지 않는 자체 미러 확보

재현 가능한 보존 — 수집 시점의 메타·바이너리·git을 재현 가능하게 장기 보관

확장 가능한 기반 — 작은 파일 대량 + git 갱신을 각각 적합한 저장소로 처리하는 인프라 기반 마련

5역할

데이터파트 파트리더로서 저장소 분리 설계 → 기술 선택 근거 정리 → 구축 착수를 주도했습니다. 데이터의 수정 패턴에 맞춰 오브젝트 스토리지와 파일시스템을 나누고, 작은 파일 대량 저장(SeaweedFS·Haystack)과 git 무결성·복제(ZFS·Forgejo)를 각각 최적화해, 외부 의존 없는 확장 가능한 데이터 인프라 기반을 마련했습니다.

2026-05 설계 문서화, 6월 구축 착수.