Observability on 断念梦的站点

Thanos

Mon, 01 Jan 0001 00:00:00 +0000

概述

参考：

GitHub 项目，thanos-io/thanos

官网

K8S 训练营，Kubernetes 监控-Thanos

公众号-k8s 技术圈，使用 Thanos 集中管理多 Prometheus 实例数据

公众号-k8s 技术圈，Thanos Ruler 组件的使用

首先需要明确一点，Thanos 是一组程序的统称。这一组程序可以组成具有无限存储容量的高可用 Metrics 系统。可以将其无缝添加到现有 Prometheus 之上。

单独使用 Prometheus 可能产生的问题

长、短期数据未分层，一套 Prometheus 在被查询长周期指标时，Prometheus 所在服务器的内存、CPU 使用率飙升，甚至可能导致监控、告警服务不可用，原因在于两点：
- 查询长周期数据时，Prometheus 会将大量数据载入内存
- Prometheus 载入的不是降采样数据
查询的时间范围越大，需要的内存就越多。在另一个生产的方案中，采用 VictoriaMetrics 单机版作为远端存储，服务器内存高达 128G。同时，这种方式还存在丢数据的情况。
Prometheus 联邦的方式，只是结局了将多个 Prometheus 聚合起来的情况，并没有提供抽样的能力，不能加快长周期指标的查询，不适用于当前远端存储的场景。

综上所属

Thanos Compact 组件能对指标数据进行降采样，以提高大时间范围查询的效率
Thanos 的 Sidecar 和 Receiver 组件都可以将指标数据转存到对象存储中
Thanos Querier 组件可以
此时，通过 Thanos 将数据分了层
- 短期数据保存在 Receiver 或 Prometheus 中，用于告警系统的高频查询以及 Grafana 的展示
- 长期数据保存在对象存储中，以供后续分析使用

Thanos 架构概述

Thanos 遵循 KISS 和 Unix 哲学，由一组组件组成，每个组件都可以实现特定的功能：

SNMP(传统监控标准)

Mon, 01 Jan 0001 00:00:00 +0000

概述

参考：

RFC 1157，A Simple Network Management Protocol (SNMP)

RFC 1156，Management Information Base for Network Management of TCP/IP-based internets

Wiki, SNMP

Simple Network Management Protocol(简单网络管理协议，简称 SNMP)。想实现该协议，通常需要由两部分完成(监控端和被监控端)，是在两端的两个进程之间进行通信，该进程都需要占用一个 socket

监控端：通常称为 NMS 端，管理端
被监控端：通常称为 Agent 端，NMS 要去收集被监控端的数据的时候，可能收集到的是一些很敏感的数据(CPU 使用率，带宽占用率等，这些一般是不公开的)，所以需要在被监控节点上部署一个专门的程序，这个程序能在本地取得一定的管理权限，然后接受监控端发送的数据收集指令，代为在被监控节点本地完成数据收集，所以被称为 Agent 端，代理端

SNMP 的工作模式，使用 udp 协议发送报文

监控端主动发送请求到被监控端的 agent 去收集数据
被监控节点主动向监控端报告自己所采集的数据
当监控端发现被监控端发生异常时，可以发送一些控制指令，将被监控端修改一些参数

实现 SNMP 的组件

Management Information Base(管理信息库，简称 MIB) # 用来定义所有监控端的 objects，其中包括 objects 的名称、OID、数据类型、描述(干什么用的)。MIB 也可以看作是 SNMP 的服务端与代理端的沟通桥梁，只有具有统一的格式，才能确定数据。
- Object(对象) # 这个对象可以是一个具体需要采集到的数据，比如内存、CPU、磁盘、网络接口等等，也可以是一种抽象的集合，比如地区、硬件、系统、硬件、网络等等。上面说的所有事物，每一个都是一个 Object。所以，Object 可以包含另一个 Object，这也是人称常常将 MIB 称为树状的原因
  - Object Identifier(对象标识符，简称 OID) # 每一个 Object 都有一个 OID
  - 数据存取格式：即每个 object 除了 OID 用作标示以外，还有数据内容需要遵循一定个格式规范
Structure of Managerment Intormation(管理信息结构,简称 SMI) # 是 ASN.1 的子集
SNMP 本身 # 一般通过 Net-SNMP 中的工具实现。

所谓的 MIB，其实主要是通过文件记录的内容。与其说是用文件记录，不如说 MIB 就是使用 ASN.1(标准的接口描述语言) 编写的代码。ASN.1 语言同样有类似 import、 function 这类的东西。只不过，记录 MIB 文件的语言，又与 ASN.1 有一些细微的区别，我们暂且称为 MIB 语言 吧~

观测容器

Mon, 01 Jan 0001 00:00:00 +0000

概述

参考：

容器的 Observability 如何实现？

Docker 为什么不内置 cAdvisor？docker stats 命令为什么不设计个接口直接吐出来 OpenMetrics 格式的数据？

cAdvisor

参考：

GitHub 项目，google/cadvisor

Prometheus 官方文档，指南 - 使用 cAdvisor 监控 Docker 容器指标

http://www.xuyasong.com/?p=1483

Container Advisor(容器顾问，简称 cAdvisor) 为容器用户提供了对其运行中容器的资源使用情况和性能特征的深入理解。它是一个持续运行的守护进程，负责收集、汇总、处理并导出有关运行容器的信息。具体而言，它会记录每个容器的资源隔离参数、历史资源使用情况、完整历史资源使用直方图以及网络统计信息。这些数据会按容器和整机维度分别导出。

cAdvisor 被集成在 Kubelet 中

暴露的指标

cadvisor_version_info 具有常数“1”值的度量，由内核版本、操作系统版本、docker 版本、cadvisor 版本和 cadvisor 修订版标记。
container_cpu_cfs_periods_total 已用强制周期间隔数。
container_cpu_cfs_throttled_periods_total 节流周期间隔数。
container_cpu_cfs_throttled_seconds_total 容器被限制的总持续时间。
container_cpu_load_average_10s 过去 10 秒内容器 cpu 负载平均值的值。
container_cpu_system_seconds_total 以秒为单位消耗的累积系统 CPU 时间。
container_cpu_usage_seconds_total 以秒为单位消耗的累积 CPU 时间。
container_cpu_user_seconds_total 以秒为单位消耗的累积用户 cpu 时间。
container_file_descriptors 容器的打开文件描述符数。
container_fs_inodes_free 可用索引节点数
container_fs_inodes_total inode 数
container_fs_io_current 当前正在进行的 I/O 数
container_fs_io_time_seconds_total 花费在 I/O 上的累计秒数
container_fs_io_time_weighted_seconds_total 累积加权 I/O 时间（以秒为单位）
container_fs_limit_bytes 此文件系统上的容器可以消耗的字节数。
container_fs_read_seconds_total 阅读花费的累计秒数
container_fs_reads_bytes_total 读取的累积字节数
container_fs_reads_merged_total 合并读取的累积计数
container_fs_reads_total 已完成读取的累计计数
container_fs_sector_reads_total 已完成扇区读取的累积计数
container_fs_sector_writes_total 已完成扇区写入的累积计数
container_fs_usage_bytes 此文件系统上的容器消耗的字节数。
container_fs_write_seconds_total 写入花费的累计秒数
container_fs_writes_bytes_total 写入字节的累积计数
container_fs_writes_merged_total 合并写入的累积计数
container_fs_writes_total 已完成写入的累积计数
container_last_seen 上次导出器看到容器的时间
container_memory_cache 页缓存内存的字节数。
container_memory_failcnt 内存使用次数达到限制
container_memory_failures_total 内存分配失败的累积计数。
container_memory_mapped_file 内存映射文件的大小（以字节为单位）。
container_memory_max_usage_bytes 以字节为单位记录的最大内存使用量
container_memory_rss RSS 的大小（以字节为单位）。
container_memory_swap 容器交换使用量（以字节为单位）。
container_memory_usage_bytes 当前内存使用量（以字节为单位），包括所有内存，无论何时访问
container_memory_working_set_bytes 当前工作集（以字节为单位）。
container_network_receive_bytes_total 接收字节的累计计数
container_network_receive_errors_total 接收时遇到的错误累积计数
container_network_receive_packets_dropped_total 接收时丢弃的数据包的累积计数
container_network_receive_packets_total 接收的数据包的累积计数
container_network_transmit_bytes_total 传输的累积字节数
container_network_transmit_errors_total 传输时遇到的错误累积计数
container_network_transmit_packets_dropped_total 传输时丢弃的数据包的累积计数
container_network_transmit_packets_total 传输的数据包的累积计数
container_processes 在容器内运行的进程数。
container_scrape_error 1 如果在获取容器指标时出错，则为 0 否则
container_sockets 容器打开的套接字数。
container_spec_cpu_period 容器的 CPU 周期。
container_spec_cpu_quota 容器的 CPU 配额。
container_spec_cpu_shares 容器的 CPU 份额。
container_spec_memory_limit_bytes 容器的内存限制。
container_spec_memory_reservation_limit_bytes 容器的内存预留限制。
container_spec_memory_swap_limit_bytes 容器的内存交换限制。
container_start_time_seconds 自 Unix 纪元以来容器的启动时间（以秒为单位）。
container_tasks_state 处于给定状态的任务数
container_threads 容器内运行的线程数
container_threads_max 容器内允许的最大线程数，如果值为零则无穷大
container_ulimits_soft 容器根进程的软 ulimit 值。如果 -1 则无限制，优先级和好除外

Observability on 断念梦的站点

Thanos

概述

Thanos 架构概述

SNMP(传统监控标准)

概述

实现 SNMP 的组件

观测容器

概述

cAdvisor

暴露的指标

Grafana 面板