깃허브가 연례 행사 유니버스에서 초당 수천 건의 쓰기를 처리하도록 설계한 새 깃 저장소 구조를 공개했다. 내부 시험에서 저장소 하나에 AI 에이전트 5,000개가 동시에 접속해 초당 7,200건을 푸시했고 읽기 지연은 낮게 유지됐다고 한다.
배경에는 에이전트 증가가 있다. 지금 가장 붐비는 저장소도 쓰기는 초당 수십 건 수준이지만, 한 해 안에 이런 부하가 지속될 것으로 깃허브는 본다. 푸시가 늘면 CI와 배포, 다른 에이전트의 읽기도 따라 늘고, 한 저장소의 일일 요청은 3월부터 5월 사이 평균 4,400만 건에서 1억 8,100만 건으로 약 4배가 됐다.
5월에 시작한 루비콘 프로젝트는 역할을 나눈다. 깃 객체는 애저 블롭 스토리지에 두고, 참조와 팩 목록은 복제 로그 서비스인 Ref-CAS가 맡는다. 읽기와 쓰기를 처리하는 가상 복제본은 언제든 교체할 수 있는 컴퓨팅 자원이며, 압축 노드가 뒤에서 팩을 합친다.
Ref-CAS는 정족수 합의로 갱신을 확정해 초당 수만 건의 참조 갱신을 처리한다. 블롭 하나에 쓰기 로그를 두거나 참조를 여러 블롭으로 쪼갠 초기 시제품은 쓰기 처리량이나 읽기 지연에서 한계가 있어 폐기됐다.
새 구조는 제한된 비공개 프리뷰로 제공되며 내년 초 확대할 계획이다. 깃허브는 부분 복제본, 클론 없는 작업, 여러 파일을 한 번에 커밋하는 API도 앞으로 추진하겠다고 밝혔다.
원문: GitHub Blog
이 글은 원문에 담긴 사실을 바탕으로 Raon Community가 새로 작성한 기사입니다. 원문의 저작권은 원저작자에게 있으며, 자세한 내용은 원문에서 확인해 주세요.