Prometheus

group_wait/group_interval/repeat_interval

route:
  receiver: "mail"
  group_by: ['alertname', 'instance', 'severity']   ★ 同一アラート名、同一インスタンス、同一サービスのアラートに対して
  group_wait: 30s                                   ★ 30秒以内のアラートは同一アラートと見なす
  group_interval: 10m                               ★ 10分毎に通知
  repeat_interval: 1h                               ★ 一度通知したアラートは 1時間後に通知

• group_wait
  • How long to wait to buffer alerts of the same group before sending a notification initially.
  • 初回の通知を送信する前に、同じグループのアラートをバッファリングするために待機する時間
• group_interval
  • How long to wait before sending an alert that has been added to a group for which there has already been a notification.
  • 既に通知があるグループに追加されたアラートを送信するまでの待機時間
• repeat_interval
  • How long to wait before re-sending a given alert that has already been sent in a notification.
  • 既に通知された特定のアラートを再送するまでの待機時間

SD の重複排除

scrape_configs:
- job_name: blackbox
  honor_timestamps: true
  scrape_interval: 15s
  scrape_timeout: 15s
  metrics_path: /probe
  params:
    module: [icmp]
  file_sd_configs:
    - files:
      - /home/hoge/prometheus/dns_sd_1.json
      - /home/hoge/prometheus/dns_sd_2.json

[
  {
    "labels": {
      "env": "hoge",
      "team": "hoge"
    },
    "targets": [
      "huga1",
      "huga2"
    ]
  }
]

[
  {
    "labels": {
      "env": "hoge",
      "team": "hoge"
    },
    "targets": [
      "huga1",
      "hoge1"
    ]
  }
]

監視ホスト

• huga1
• huga2
• hoge1

Backlinks

• Multiprocess with Python prometheus_client