「Prometheus」- 配置设置(=> PROMETHEUS/Configuration)

  CREATED BY JENKINSBOT

Configuration

Configuration | Prometheus

通过命令行(./prometheus -h)或配置文件(–config.file)来指定服务配置;命令行多用于指定不变的配置(不经常变动);

重新加载配置:SIGHUP 或 http:///-/reload(需开启 -web.enable-lifecycl);
如果配置文件存在错误,将不会被重载;

针对配置选项的细节,这里不再深入。在具体场景中,我们将进一步查阅相关内容;

Rules: Recording and Alerting

Recording rules | Prometheus
Alerting rules | Prometheus

Prom 支持两种规则:
1)Record Rule:针对已有指标进行计算,以产生新的指标;
3)Alert Rule:告警规则。每当警报表达式在给定时间点产生一个或多个矢量元素时,对于这些元素的标签集,警报就会被视为活动的。

通过 rule_files 参数,来引用 rule 定义(Rule 定义在文件中);

通过 promtool 命令,来检查 Rule 文件的定义是否正确;

在 Rule File 中:
1)Alert Rule 与 Record Rule 存在与 Group 中;
2)同个 Group 中的规则,按照顺序被执行;

Record Rule:

groups:
- name: cpu-node
  rules:
  - record: job_instance_mode:node_cpu_seconds:avg_rate5m
    expr: avg by (job, instance, mode) (rate(node_cpu_seconds_total[5m]))

Alert Rule:

groups:
- name: example
  rules:
  - alert: HighRequestLatency
    expr: job:request_latency_seconds:mean5m{job="myjob"} > 0.5
    for: 10m
    labels:
      severity: page
    annotations:
      summary: High request latency

- name: example-02
  rules:
  # Alert for any instance that is unreachable for >5 minutes.
  - alert: InstanceDown
    expr: up == 0
    for: 5m
    labels:
      severity: page
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."

# for:用于等待时间,如果在该时间按内再次出现,则触发告警。
# labels:为 Alert 增加新标签,并且覆盖已有标签;标签值可以模板化;
# annotations:用于指定一组信息标签,可用于存储更长的附加信息,例如警报描述或 Runbook 链接。注解值可以模板化;

# $labels:其包含告警实例的所有 标签键值对;
# $externalLabels:其包含配置的外部标签(有外部系统的场景);

查看运行时的告警:
1)通过 Prom 的 Alerts 标签能够看到当前的告警,及其状态;
2)针对 Pending/Firing 状态,Prom 将生成合成的 Time-Series:ALERTS{alertname=”<>”, alertstate=”<.>”, <additional alert labels>},其样本为 1 则表示告警活跃,其样本为 0,则表示告警失效。

发送告警信息:
1)Prom 负责发现问题,计算告警, 是并不发送告警规则;
2)Alertmanager 负责告警信息的发送;
3)此外,Prom 还能够对 Alertmanager 进行服务发现;

为了避免产生过多的 Alert 和 Series,通过如下方式进行限制:
1)通过 limit 参数,能够针对每 Group 进行限制;
2)当 limit 耗尽:所有 Series 将被丢弃;所有 Alert 也被丢弃(任何状态);
3)并且会被以错误的进行记录,同样不会写入过时的标记;

Template: Examples and Reference

Template examples | Prometheus
Template reference | Prometheus

在 Prom 中,模板的使用比较广泛:Label、Alert、Console Page(页面被模板化,并在 Label 或 Templating 中引用)
Prom 的 Template 也是基于 Go Templating 系统;

Prom 的模板系统,具有如下特性:
1)能够简单引用变量值,而产生动态的 Lable Value 与 Annotaion Value;复杂场景建议使用 Console Page,而非在 YAML 中写入大段文本;
2)通过使用循环,来产生内容;还有更加高级和复杂的循环机制,来实现某些特殊场景;
3)通过查询得到结果,并获得其中某个值;
4)从 URL 中提取参数;
5)定义可重用模板,以便于在多个 Console 间引用;

模板参考手册

官方 Template reference 文档,其中记录能够在模板中使用的函数;

模板具有多种类型,不同类型的模板其能够使用的参数并不相同,并且还有其他差异:
1)告警字段模板:包含 .Value, .Labels, .ExternalLabels, and .ExternalURL 四个参数;
2)Console 模板:能容更加丰富;具体细节这里不再展开,建议阅读官方文档;

Unit Testing for Rules

Unit Testing for Rules | Prometheus
How to check your prometheus.yml is valid – Robust Perception

测试文件,并结合 promtool 工具,用于测试 Rule 文件是否正确,并且是否按照预期执行;

这里不再详细说明,在后续的使用过程中,我们将再深入了解。

通过 promtool 命令,检查配置文件是否正确:promtool check config prometheus.yml

HTTPS and authentication

HTTPS and authentication | Prometheus

Prom 支持对 Client 进行 TLS / Basic Auth 认证(实验性质,将来可能会发生变更);

这里不再详细说明,在后续的使用过程中,我们将再深入了解。

章节列表

「Prometheus」- 安全、保护