织云Metis时间序列异常检测全方位解析.pptx
- 文档编号:18747485
- 上传时间:2023-10-27
- 格式:PPTX
- 页数:32
- 大小:4.91MB
织云Metis时间序列异常检测全方位解析.pptx
《织云Metis时间序列异常检测全方位解析.pptx》由会员分享,可在线阅读,更多相关《织云Metis时间序列异常检测全方位解析.pptx(32页珍藏版)》请在冰点文库上搜索。
织云Metis时间序列异常检测全方位解析,腾讯社交网络运营部Metis智能运维团队,传统时序监控的问题与新思路,检测算法原理与应用,特征工程与打标工程,样本库建设与管理,Metis概述(智能运维应用实践),业务规模,轻微的异常就会影响到大量的外网用户,在线2.8亿月活8.05亿,SNG服务器20w+,社交类指标240w+,传统监控与新思路,形态各异,准确率低,维护成本高,随着业务发展,传统监控呈现出的一些问题,传统监控与新思路,算法和机器学习的新思路是否可应用?
传统时序监控的问题与新思路,检测算法原理与应用,特征工程与打标工程,样本库建设与管理,Metis概述(智能运维应用实践),常见的机器学习算法,回归,基于实例,正则化,贝叶斯,聚类,基于核,关联规则,决策树,深度学习,从大量输入中总结出准确预测的规律(模型),=+,=2+,=1,2,3=1+2+3+,=1(3)=(11212+12
(2)22+13
(2)32+1
(2),1
(2)=(1111+12
(1)2+13
(1)3+1
(1)2
(2)=(2111+22
(1)2+23
(1)3+2
(1)3
(2)=(3111+32
(1)2+33
(1)3+3
(1),x,x1,x2,x3是我们的输入y是期望的输出a,b,c,d(W,b)是我们要求解的参数f是转换函数(公式、函数、算法、模型)也就是我们要找的“规律”,数值型预测0/1型预测概率型预测等,技术路线演进,技术框架,离线模块,数据存储,统计算法&无监督算法输出疑似异常,样本库(人工标注),特征工程(离线计算),有监督算法(离线计算),数据提取,统计算法&无监督算法输出疑似异常,加载有监督模型,特征工程(实时计算),有监督算法(输出异常),在线模块,ABTest模块,人工审核,Atest(实验模型A),Btest(实验模型B),第一层:
统计判别算法,3sigma算法与控制图算法的优缺点,第一层:
无监督算法,无监督学习算法的优缺点,第一层:
无监督算法,第一层:
无监督算法,第一层:
无监督算法,第二层:
有监督算法,有监督算法能解决的问题,传统时序监控的问题与新思路,检测算法原理与应用,特征工程与打标工程,样本库建设与管理,Metis概述(智能运维应用实践),特征工程,特征是数据中抽取出来的对结果预测有用的信息。
特征工程包含了特征提取、特征构建、特征选择等模块,样本,初始特征分布情况,特征监控,样本分析,全流程特征分析,参数分析,误差分析,特征有效性分析,离散化,离群点分布,共线性,缺省值,去均值,归一化,特征有效性分析,特征选择,特征组合与转换,模型调优,更新模型,因子化,相关性,缺省值,因子化,连续特征,离散特征,标准化,特征工程,特征工程,统计特征,最大值,最小值,值域最小值位置、最大值位置均值,中位数平方和,重复值方差,偏度,峰度同比,环比,周期性自相关系数,变异系数,特征工程,拟合特征,移动平均算法带权重的移动平均算法指数移动平均算法二次指数移动平均算法三次指数移动平均算法奇异值分解算法自回归算法深度学习算法,特征工程,分类特征,熵特征值分布特征小波分析特征,聚类Kmeans分类器,打标工程,输出异常视图到前端页面人工确认是否真的异常,假异常则校正后台根据人工校正的结果,存下校正后的所有结果:
正常记为1,异常记为0,传统时序监控的问题与新思路,检测算法原理与应用,特征工程与打标工程,样本库建设与管理,Metis概述(智能运维应用实践),样本库管理与建设,样本库管理,样本是核心价值样本的丰富程度制约检测效果,格式、长度、标签(分类、正负)、时间戳、标志、来源,样本查看:
权限、类别、业务维度等样本查找:
字段检索、相似度检索、时间片检索样本分类:
标记、算法分类等,训练、提取、伪装、构造、分类、,样本的积累贯穿机器学习的始终,功能集合,北向串联,通用规范,价值积累,样本库管理与建设,功能应用,样本库存储,正负,来源,窗口,类别A,类别B,类别C,C,R,U,D,提取,分类,查找,添加,伪装,构造,训练模型,离线打标,特征分析,算法调参,样本库管理,Action层:
触发功能与样本数据的交互,DAO层:
封装与数据进行联络的任务,无业务逻辑,显著提升应用效率和数据规范,Service层:
功能模块的逻辑应用实现,数据层:
根据样本量选择存储;三级分类,Metis时间序列异常检测业务效果,目前效果,90%+,80%+,用少量模型覆盖所有曲线,统计判别+无监督+有监督,准确率,计算方法:
人工抽查,查看告警出来的时间序列和时间点是否准确辅助工具:
打标工程,召回率,计算方法:
人工从业务中选择一批异常的时间序列和相应的时间点,然后让这批序列通过现有模型,看看是否被召回辅助工具:
样本库管理,传统时序监控的问题与新思路,检测算法原理与应用,特征工程与打标工程,样本库建设与管理,Metis概述(智能运维应用实践),渐进式的AIOps能力,织云Metis,腾讯织云AIOps应用实践,时间序列异常检测,集群智能负载均衡,容量分析与预测,多维根因分析,生死指标监控,学件N,学件,学件,学件,学件,学件组合,学件,学件,学件,学件,学件组合,学件,学件,学件,学件,学件组合,自动扩缩容决策,直播多维根因分析,更多运维场景,学件库,串联应用案例,容量分析与预测,平衡木,灰度上线,变更体检,时间序列异常检测,生死指标监控DLP,平衡木,资源,权限,pkg,配置,文件,脚本,流程引擎,监控,自动扩容缩容,绿色表示运维场景,蓝色表示自动化工具,黑色表示智能化学件,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 织云 Metis 时间 序列 异常 检测 全方位 解析