智能告警

一、告警初始化

1、自动初始化

  对于新注册的服务器、Windows服务、部署的ERP站点和SqlServer数据库，监控对象自动发现后，无需手动操作，程序会自动初始化生成告警设置。

 （1）服务器告警自动初始化：对于服务器的CPU、内存、磁盘和服务器未打卡标准规则，新注册的服务器，会自动初始化生成CPU、内存、磁盘和未打卡告警设置。

 （2） Windows服务告警自动初始化：对于Windows服务不可用标准规则，Windows服务不可用标准规则会自动初始化生成服务不可用告警

 （3） 站点告警自动初始化：对于站点不可用标准规则，新部署的ERP站点会自动初始化生成站点不可用告警设置

 （4） SQLServer数据库告警自动初始化：对于SQL Server数i据库和数据库实例标准规则，新安装的数据库会自动初始化生成SQL Server实例和SQL Server数据库告警设置

2、手动初始化

 （1）后台-告警规则-告警初始化

  勾选告警规则，点击“告警初始化”，选择初始化租户，勾选的租户分发该规则，则会将该规则初始化生成告警设置，未选择分发租户的告警规则不会初始化生成告警设置。

 （2）中台-告警设置-一键初始化化

  在中台-告警设置页面，服务器、Web站点、Windows服务、SQL Server数据库、第三方服务、产品、URL、MySQL、Kubernetes类型的告警设置页面，可点击“一键初始化”，根究当前的告警规则初始化生成告警设置。

 （3）中台-主数据管理-初始化所有告警

  在中台-主数据管理页面，点击“初始化所有告警”，会初始化生成告警设置，目前只针对Windows服务器。

二、告警配置

  以K8S监控告警为例：

  1、添加监控对象

   入口：管理平台-主数据管理-主机-配置监控对象-容器页面

   （1）点击‘添加’按钮，打开新增页面

   （2）选择容器所在集群、部署方式和部署名称，添加容器监控对象成功

   （3）添加的容器监控对象支持编辑和删除

  2、告警规则设置

  支持设置标准规则和个性规则

  （1）添加告警标准规则

    ① 入口：后台-规则管理-告警规则页面

    ② 点击“新增

    ③ 在新增规则页面，对象类型选择“Kubernetes”，告警维度选择“容器”，告警项可选择”容器CPU使用率”、“容器内存占用”、“容器网络发送（Tx）”、“容器网络接收（Rx）”，选择条件，自定义设置阈值或选择动态基线

    ④ 规则提交创建成功后，会同步下发到所有租户

  （2）添加Kubernetes告警个性规则

    ① 入口：管理平台-应用设置-告警设置-Kubernetes-规则设置页面

    ② 点击“新增

    ③ 在新增规则页面，告警维度选择“容器”，告警项可选择”容器CPU使用率”、“容器内存占用”、“容器网络发送（Tx）”、“容器网络接收（Rx）”，选择条件，自定义设置阈值或选择动态基线。未添加容器监控对象，则不能选择动态基线

    ④ 规则创建成功，只对当前租户有效。

  3、告警设置

  （1）入口：中台-应用设置-告警设置-Kubernetes-告警设置页面

  （2）点击“新增”

  （3）在新增告警页面，告警规则选择k8s告警规则，告警对象选择添加的容器监控对象

  4、告警设置

  在告警详情页面会显示告警基本信息、告警详情和容器监控详情快照。

三、告警规则分发

  集中运维后台可对配置的标准规则进行分发至不同的租户：

  1、规则分发：点击分发后，可根据租户标签、运维状态、监控部署各维度选择分发的租户，点击分发后，该租户的告警设置中则自动生成对应的告警规则。

  2、规则取消：对于已分发规则的租户可进行取消分发，取消分发后该租户对应的规则及该规则生成的告警设置将关联删除。对于新增或删除的规则的租户，可通过下载明细进行确认。

四、告警分派

  1、告警一般分派：当告警产生时，首先会根据”服务云后台-服务管理“模块、”服务云后台-值班管理“、“服务云后台-服务人员”模块判断，告警产生时间为”服务时间“或”值班时间“，若为”服务时间“，告警自动转派至该区域的主责人，区域主责人由“服务人员”模块进行配置。若主责人处于“请假管理”模块配置了请假时间，处于请假状态，则自动分派至第二主责人进行处理；若为“值班时间”，告警根据“值班管理”模块中的定义值班人员，分派至对应的值班人员进行处理。

  2、告警分派规则：除一般分派外，告警可根据“服务后台-告警管理-告警分派设置”中新增分派规则制定处理人。设置分派规则时可根据“区域”、“告警对象类型”及“告警主题”进行配置，对于符合配置规则的告警，则优先分派至指定的处理人进行处理。

  告警分派后，运维工程师在集中运维后台中，可查看其对应的待办进行进一步处理。

五、告警集成

  通过生成租户不同告警来源的应用及对应的webhook链接，实现第三方告警信息获取，目前支持容器云、Alertmanager、阿里云、华为云，并在服务云中生成对应的告警。进入服务云-智能监控-管理平台-应用设置-告警中心-第三方集成页面完成下述配置，进行第三方告警对接。

  1、华为云：点击华为云添加应用，配置应用名称，保存即可自动根据目前所在租户生成对应的webhook链接，并按照配置步骤完成配置后，即可通过配置进行告警对接；（一个租户可配置多个华为云链接，通过应用名称区分）

  2、 阿里云：点击阿里云添加应用，配置应用名称，保存即可自动根据目前所在租户生成对应的webhook链接，并按照配置步骤完成配置后，即可通过配置进行告警对接；（一个租户可配置多个阿里云链接，通过应用名称区分）

  3、promethues：点击Promethues添加应用，配置应用名称，保存即可自动根据目前所在租户生成对应的webhook链接，并按照配置步骤完成配置后，即可通过配置进行告警对接；（一个租户可配置多个Promethues链接，通过应用名称区分）

  4、 容器云：由于容器云与服务云已完成租户对接，容器云发送的告警后台可自动识别的租户，因此无需新增获取WebHook链接进行配置。仅需完成告警设置服务云即可获取告警。

  5、应用启用或关闭：所有配置的应用状态为启用时，该服务云可正常接收应用配置的WebHook链接发送的告警信息；若配置关闭后，服务云则不接收关闭应用对应的WebHook发送的告警信息

六、告警通知

  1、租户中台设置个性化告警通知策略

  （1）进入租户中台-应用设置-通知中心-通知策略管理页面，会显示当前租户已设置的通知策略，包括中台设置的个性化通知策略和后台下发的标准通知规则

  （2）点击“新增规则”，在新增通知规则页面

    ① 填写通知策略名称：自定义输入通知策略名称

    ② 选择通知条件：按标签、告警严重级别和产品不同类别设置通知条件

    ③ 选择通知场景：按不同状态的告警设置通知场景

    ④ 选择通知方式和通知对象：可选择一种或多种通知方式，只按勾选的通知方式发送通知

    ⑤ 提交：个性化通知策略新增成功，默认为开启状态

  （3）新增的个性化通知策略支持复制、编辑、删除和关闭/开启

  2、云运维后台设置标准告警通知规则

  （1）进入云运维后台-更多-通知中心-告警通知规则页面，会显示设置的所有标准通知规则

  （2）点击新增通知规则，在新增通知规则页面：

    ① 填写通知规则名称：自定义输入通知规则名称

    ② 选择通知条件：按标签、告警严重级别和产品不同类别设置通知条件

    ③ 选择通知场景：按不同状态的告警设置通知场景

    ④ 选择通知方式和通知对象：可选择一种或多种通知方式，只按勾选的通知方式发送通知

    ⑤ 提交：通知规则新增成功

  （3）通知规则下发租户。在通知规则操作列点击下发租户，在选择分发对象页面勾选要下发的租户，点击确定，通知规则下发成功。

  （4）后台下发的通知规则为标准通知规则。下发的标准通知规则，会显示在租户中台的通知策略管理页面，支持复制、查看和关闭/开启。

  3、说明

  （1）设置的通知策略只有开启才会生效

  （2）通知策略的通知方式默认都是取标准模板

  （3）企业微信群设置的入口为：云运维后台-更多-创新实验室-企业微信群组管理页面，创建企业微信群并关联租户