工具不工作,先看版本、配置和日志。 以Prometheus为例,先回答抓取的数据从哪来、指标由谁触发、查询留下什么记录。
指标采集、存储和告警规则工具。适合容器和微服务指标;不适合长期存全量日志。
形态与技术栈:Go、时序数据库。主要模块:抓取、指标、规则、告警、服务发现、查询。
Prometheus 不工作,先看四层:版本、配置、路径/权限、日志。不要一上来卸载重装。
完整读报错:第一行说明场景,最后一行说明原因;中间找文件名、行号和错误码。
常见误判:版本不匹配、配置没生效、路径含空格/中文、权限不足、插件冲突。每次只改一个变量。
修完用同一个命令复跑,并观察十分钟;只成功一次不算修好。
从第一站到收口
把主线按 抓取 → 指标 → 规则 走一遍。第一站看数据从哪来,第二站看谁有权改,第三站看结果写到哪;最后在 查询 留一条能查的记录。节点之间对不上,先停下来补接口,不要继续加功能。
这条主线里,最容易被跳过的是 指标 的权限和 规则 的结果校验;跳过这两步,后面只能靠人工补。
容易翻车的地方
- 标签爆炸
- 抓取失败
- 存储增长
- 规则错
模拟一次完整流程
假设你已经在测试环境跑通了 Prometheus,现在要决定是否上线。先不要全量。第一步,在 抓取 里用一条真实数据走完整流程,记录输入、输出和耗时;第二步,在 指标 里改一个错误输入、断开一个依赖或收回一项权限,看错误提示和日志能不能对上;第三步,在 规则 里核对结果,确认没有重复写入、没有越权、没有残留临时文件。
这个场景的重点不是功能多,而是 抓取成功率、查询延迟、存储、告警 这几项有没有可复现的记录。只靠“看起来正常”判断,上线后一出问题就说不清是数据、权限还是代码。
复跑时重点看 抓取成功率、查询延迟、存储、告警:只要有一项只能靠截图证明,就先补日志和检查项,不要直接全量。Prometheus 的问题通常不在功能少,而在入口、权限和数据三处没有留下可复核的记录。
最后留一个检查:把这次 抓取 到 查询 的流程写成十行以内的操作记录,交给没有参与的人按记录复跑一次。对方如果能在不追问你的情况下走通,说明入口、权限和文档都够清楚;如果走不通,先补记录,不要急着加功能。
验收表
- 版本/提交:记录实际部署的版本号或压缩包名。
- 测试入口:抓取、指标、规则 各一条 URL/命令。
- 核心流程:从入口到结果,写清每一步的输入、输出和状态码。
- 指标:抓取成功率、查询延迟、存储、告警 各记一个基线值。
- 异常:失败时的提示、日志位置、影响范围和恢复时间。
- 回滚:备份路径、恢复命令、验证人。
值不值得继续
- 这次是试用、灰度还是正式全量?
- 上线后谁负责日常维护和故障响应?
- 授权/许可证是否覆盖当前用法和二次分发?
- 核心数据能否导出,换系统时能不能带走?
- 出现严重故障时,多长时间能恢复到可用状态?
交接表按 抓取、指标、查询 三块列:改什么、为什么改、怎么退。每项要能指到真实路径或字段;Prometheus 后面升级、迁移和换人,都靠这张表减少来回确认。
权限和数据
网络隔离、鉴权、标签、保留。上线前把这几项写成检查项,不要等出事再补。
最后一遍检查
- 安装:抓取 的安装来源、版本和路径记下来。
- 配置:全局配置和项目配置分开,改一项能回退。
- 权限:目录、账号和令牌按最小权限,不用管理员日常运行。
- 升级:升级前看变更说明,升级后复测核心命令。
- 数据:配置、历史和导出数据有备份,换电脑能恢复。
- 指标:抓取成功率、查询延迟、存储、告警 有基线,峰值不抖。
- 兼容:目标系统、Shell、终端和插件版本各测一次。
- 日志:命令输出、错误日志和系统日志能对上时间。
- 扩展:插件/脚本有来源和卸载方式,不装重复能力。
- 记录:版本、配置路径、验证命令和回滚方式写下来。
这次不做什么
Prometheus 先控制标签基数。用户 ID、URL 这类高基数字段不要进标签;抓取目标和规则要版本化;存储和保留要设上限。
Prometheus 的这次故障排查,先解决入口、权限和数据里的一个具体问题,不要顺手改支付、会员和服务器底层。范围越小,回滚越快;范围写清楚,后面才好判断值不值得继续投入。
参考
参考:https://code.visualstudio.com/docs;https://git-scm.com/doc。
再核对一次:Zabbix、云监控、VictoriaMetrics 之间的差异不只是界面。许可证、数据迁移和升级成本要一起看,否则换一套源码可能比改现有系统更贵。
把 抓取成功率、查询延迟、存储、告警 写成可复现的记录:什么时候测、用什么数据、结果多少。没有记录,下次出问题只能凭感觉。
这次的范围只围绕 Prometheus 的故障排查,不顺手改支付、会员和服务器底层;范围越清楚,回滚越容易。
后续动作不要写成口号:先把 抓取 的入口和权限列清楚,再把 指标 的数据检查写成可重复的步骤,最后给 查询 留一条可查的记录。三件事各有负责人和完成时间,才算真正落地,先别急着上线。

