OTel Collector

개인 학습용. chat gpt 검색 내용. 

틀릴 수 있으며 정확한 내용은 한번 더 검색해보세요. 

 

0.  개요

 

 

OTel Collector는 OpenTelemetry Collector를 줄여서 부르는 말입니다.
애플리케이션이나 서버에서 발생하는 Telemetry 데이터(Logs / Metrics / Traces)를 수집하고, 가공하고, 원하는 곳으로 전달하는 중간 허브 역할을 합니다.

쉽게 말하면:

애플리케이션 → OTel Collector → 모니터링 시스템

구조입니다.

EKS / ECS / EC2 / Lambda
        ↓
OTel Collector
        ↓
CloudWatch / X-Ray / OpenSearch / AMP / AMG

 

---

1. 왜 필요한가?

예를 들어 서비스가 여러 개 있다고 하면

• API 서버
• DB 서버
• Redis
• Kubernetes
• AWS 서비스

이 모든 곳에서

• CPU 사용률
• 응답 시간
• 에러 로그
• API Trace

같은 데이터를 각각 수집해야 합니다.

직접 각각을

• Prometheus
• Grafana
• Datadog
• Jaeger

로 보내면 관리가 복잡해집니다.

그래서 중간에 Collector를 두고

한 번 모아서 → 변환 → 필터링 → 전달합니다.

---

2. 주요 기능

OTel Collector는 크게 3가지 역할을 합니다.

---

(1) Receiver

데이터를 받는 역할

예:

• OTLP
• Prometheus scrape
• Jaeger
• Zipkin
• Fluent Forward
• Syslog

즉,

"어디서 데이터를 받을까?"

를 담당합니다.

---

(2) Processor

데이터를 가공하는 역할

예:

• batch 처리
• sampling
• filtering
• memory limit
• attribute 추가

즉,

"받은 데이터를 어떻게 다룰까?"

입니다.

---

(3) Exporter

최종 목적지로 보내는 역할

예:

• Prometheus
• Grafana Tempo
• Jaeger
• AWS CloudWatch
• Datadog
• Elasticsearch

즉,

"어디로 보낼까?"

입니다.

---

3. 예시 구성

 

receivers:
  otlp:
    protocols:
      grpc:
      http:

processors:
  batch:
  memory_limiter:

exporters:
  prometheus:
    endpoint: "0.0.0.0:8889"

service:
  pipelines:
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [prometheus]

 

의미:

애플리케이션에서 metric 수집
→ batch 처리
→ Prometheus로 전달

---

4. Agent mode vs Gateway mode

Agent mode

각 서버마다 설치

App → Local Collector → Backend

 

장점:

• 빠름
• 로컬 정보 수집 쉬움

---

Gateway mode

중앙 집중형

App → Central Collector → Backend

 

장점:

• 관리 쉬움
• 정책 통일 가능

---

실제 운영

보통 둘 다 사용합니다.

Agent + Gateway

 

형태가 많습니다.

---

5. Kubernetes에서 자주 사용

특히

Kubernetes
환경에서는 거의 필수급입니다.

이유:

• Pod가 계속 생성/삭제됨
• 서비스가 많음
• Trace 중요
• 중앙 관리 필요

그래서

• DaemonSet (Agent)
• Deployment (Gateway)

형태로 많이 구성합니다.

---

6. 한 줄 정의

아주 쉽게

observability 데이터의 프록시 서버

조금 전문적으로

telemetry pipeline engine

---

7. 핵심 요약

항목의미

OTel	OpenTelemetry
Collector	수집/가공/전달 엔진
데이터 종류	Logs / Metrics / Traces
핵심 구성	Receiver / Processor / Exporter
주 사용처	K8s, MSA, Cloud 환경

---

한 줄로 끝내면:

“Prometheus 이전 시대의 exporter가 아니라
observability 전체를 통합하는 중간 플랫폼”