Skip to content

Cost

  • Published on
    트레이스와 로그가 하루 수 TB로 늘어나면 검색 엔진이나 시계열 DB 하나로 버티기 어려워집니다. ClickHouse 가 관측 데이터에 잘 맞는 이유를 컬럼 저장과 압축, 정렬 키의 관점에서 정리하고 트레이스와 로그 테이블을 실제 DDL 로 설계합니다. 속성을 Map 으로 둘 것인지 JSON 타입으로 둘 것인지의 판단 기준, 머티리얼라이즈드 뷰로 롤업을 만드는 방법, 파티셔닝과 TTL 로 비용을 통제하는 방법을 다룹니다. 마지막으로 Prometheus 와 OpenSearch 를 이미 쓰고 있을 때 역할을 어떻게 나누는지 정리합니다.
  • Published on
    로그 비용이 컴퓨트 비용을 넘어서는 시점은 대부분의 조직에 옵니다. 그 시점을 늦추는 것은 압축률이 아니라 무엇을 필드로 만들 것인가에 대한 결정입니다. 구조화 로그의 필드 설계부터 OpenSearch 매핑 폭발이 실제로 클러스터를 죽이는 경로, 인덱스 템플릿과 ISM 으로 수명주기를 통제하는 방법, 원칙 있는 샘플링과 보존 계층을 다룹니다. 마지막으로 로그로 메트릭을 흉내 낼 때 드는 비용을 숫자로 계산해 봅니다. OpenSearch 3.5 와 OpenTelemetry Collector v0.157.0 기준입니다.