1、4.3 选取工作区104.4 功能实现114.4.1 新建空表114.4.2 克隆DF表114.4.3 数据增加124.4.4 数据过滤134.4.5 数据选择134.4.6 数据排序144.4.7 数据去重154.4.8 列类型更改164.4.9 字符串处理174.4.10 单字段分组统计184.4.11 行列互换184.4.12 填充空值194.4.13 设置索引204.4.14 重置索引204.4.15 分组统计214.4.16 UDF函数214.4.17 机器学习224.4.18 lambda函数234.4.19 简要信息234.4.20 绘图244.4.21 存储数据24第5章 自助
2、分析255.1 操作目标255.2 操作步骤25第6章 交互分析276.1 操作目标276.2 操作步骤27第7章 可视化设计337.1 操作目标337.2 操作步骤337.2.1 静态面板管理337.2.2 动态面板管理377.2.3 交互面板管理387.2.4 多屏互动管理437.2.5 导航管理487.2.6 门户展示52第8章 数据加载548.1 操作目标548.2 操作步骤548.2.1 装载CSV类型数据548.2.2 装载PKL类型数据558.2.3 装载UDB（scan）数据源558.2.4 装载UDB（query）数据源568.2.5 装载JDBC数据源568.2.6 装载N
3、OSQL数据源57第9章 UDB连接57第10章 JDBC连接5710.1 操作目标5810.2 操作步骤58第11章 对象管理61第12章 脚本运行6312.1 上传脚本6312.2 执行脚本63第13章 系统管理6413.1 用户管理6413.1.1 搜索功能6413.1.2 新增功能6513.1.3 编辑功能6613.2 应用管理6813.3 图片管理7113.4 方案管理7213.5 授权码管理73第14章 分析中心7414.1 登录7414.2 功能介绍74第15章 预警中心7715.1 登录7715.2 功能介绍7715.3 预警数据的产生7815.4 存储预警数据79第16章 I
4、PAD导航7916.1 登录8016.2 导航切换80附录1 交互分析操作流程81附录2 可视化分析操作流程93附录3常见问题处理995第1章 关于本手册本手册，适用于使用“飞象大数据分析系统”产品的客户。介绍了如何使用本产品各个功能，及各功能的具体操作方法。1. 手册组成内容本手册，由以下内容组成：“第2章 在您操作之前”，介绍了在您使用本产品之前，需要的准备工作；“第3章 快速入门”，通过介绍产品的体系结构、登录退出方法、产品界面，以及产品的操作流程顺序，帮助您快速的认识产品。第4到15章，根据第3章中的操作流程图，按顺序逐个展开，详细介绍各个功能的具体操作方法。第2章 在您操作之前在您使
5、用本产品之前，请您做好如下准备工作：1. 产品部署1、已安装“飞象大数据分析系统”，且系统能正常使用。（建议内存不少于128G，硬盘不少于50G）2、集群部署：多台FEA部署，形成分析集群，或者spark集群部署。2. 授权码 在系统安装完成以后，需对FEA3注册授权码才能正常使用。发送申请授权码邮件后，会收到对应的授权码，将该授权码填入授权码页面即可。3. 浏览器 火狐、谷歌（建议使用火狐浏览器）4. 分辨率显示器的屏幕分辨率，建议设置为1280*960、1920*1080。5. 软件系统需求 支持64位的centos系统，rehat系统，suse linux系统、ubuntu系统，建议采用
6、centos6.5。6. 名词解释术语定义FEA3飞象大数据分析系统第三个版本的简称。DF表飞象大数据分析系统用于处理数据的内存表交互分析飞象大数据分析系统采用的原始语言，可以参考原语手册。自助分析飞象大数据利用ES做碰撞分析spark集群部署融合常见的hadoop、spark大数据平台，以集群方式分析数据。第3章 FEA3入门3.1 体系结构3.2 登入与退出3.2.1登入1. 后台管理登入用浏览器打开管理登录页http:/ip地址/fea（例：http:/10.68.23.210/fea）。如下图所示：输入用户名密码后点击按钮。进入到主界面。说明：初始管理员用户名为admin，密码为ilo
7、vefeat00!。 新建用户初始密码统一为ilovefea。2. 门户展示登入用浏览器打开门户登录页http:/ip地址（例：/10.68.23.210），如下图所示：进入门户首页，如下图所示：注：登录门户前，必须通过后台管理配置好用户、应用、图片等关联信息。3.2.2登出登录首页后，点击右上角的图标，显示“修改密码”和“注销”，点击按钮即可退出界面。3.2.3修改密码点击 右上角的按钮，“修改密码”出现如下界面：输入新的密码，点击按钮，修改完成。3.3 操作流程步骤1：注册SN号。参考安装手册第6章内容步骤2：添加用户。为用户分配分析引擎，确定是否为分析人员进入后台，关联应用管理设置。参考
8、手册13.1章节内容。只有admin用户具有添加、编辑用户权限。步骤3：加载数据。将数据文件或者数据库中的数据导入到DF表中，进行分析处理。可参考第8章内容或者原语手册load原语。步骤4：分析处理数据。目前有两种方式进行数据处理：可视分析，参考第4章内容；交互分析，参考第六章内容和原语手册。步骤5：面板配置。将分析结果通过图表直观的展示出来，可以展示静态面板、动态面板、交互面板、多屏互动等等。具体操作可参考第7章中7.2.1、7.2.2、7.2.3、7.2.4。每种图表有具体得数据格式要求，请参照可视化设计入门培训教程。步骤6：配置导航。将配好图表的面板添加到导航中，方便以后展示给用户一个整
9、体的内容。可参考7.2.5和7.2.6章节内容。步骤7：图片管理。为用户展示的内容添加背景图片，契合展示的主题。可参考13.4章节内容。步骤8：应用管理。提供了门户样式选择，轮播时间，门户的logo、背景、图表方案，以及展示的内容：导航。步骤9：方案管理。提供了各个图表插件的可自定义的样式配置方案。步骤10：用户管理。为新添加的用户配置应用，关联上一步骤配置的应用管理。每个不同用户就能得到不同的内容。参考13.1章节内容。第4章 可视分析4.1 可视分析概述可视化分析，可以让分析师像使用Excel数据透视表一样，处理大量规范数据，非常快速、高效、灵活。在数据增加、过滤、选择、排序、去重、更改类
10、型、字符串处理、分组统计等操作完成后，生成汇总数据。不仅具有强大的数据处理能力，而且可以将数据以易于观察的折线图/柱状图/散点图/饼图/堆积图/面积图/排名表/信息块/文本信息/分页表格/地图散点图/地图热力图/热力图/南丁格尔玫瑰图/迁徙图/圆形关系图/力导向图/自定义关系图/桑基图/柱线图/横向柱状图/地图热力散点图/内外环/仪表盘/横向堆积图/面积堆积图等方式表现出来，更好的帮助分析师处理和比较数据。使用更加灵活，呈现方式多样。4.2 操作目标进入可视化分析界面，可以快速查看并选取不同工作区需分析的数据。以表格的形式透视库里的数据，根据需要做简单的分析。包括增加数据、过滤数据、选择数据、
11、数据排序、数据去重、更改数据类型、字符串处理（数据类型输字符串）、数据分组统计、UDF函数、lambda函数、绘图、对数据进行存储。4.3 选取工作区可视化分析界面中默认工作区的是在public，点击当前工作区的标签，输入工作区名称，回车之后就会切换到该工作区并显示该工作区所有的DF表。 初始界面执行操作后界面4.4 功能实现4.4.1 新建空表在打开的DF表中，输入表名，点击“确定”按钮，即可简单创建一张空表。4.4.2 克隆DF表点击工作表区的，输入表名，点击，克隆一张数据结构相同的DF表4.4.3 数据增加点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“需要增加的列名
12、”和“表达式”，点击，表中的数据就会增加一列（col1）。4.4.4 数据过滤 点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“新的表名”和“表达式”，点击，表中的数据就会保留符合条件的数据，去掉条件之外的数据。4.4.5 数据选择点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“新的表名”，选取需要保留的“列名”，点击。如下提所示：4.4.6 数据排序点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选择主要关键字和排序方式，点击。4.4.7 数据去重点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“新的表名”和选取“字段名
13、”，点击。4.4.8 列类型更改点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，先调整显示结果条数，选择下拉条，会有“10、25、50、100”四种显示方式。可以快速搜素到字段名进行数据类型更改，如下图所示：将col1字段类型int64改成布尔类型（bool），点击右边的，该字段数据类型得到更改。4.4.9 字符串处理点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选取字段名，输入表达式，输入新列名，点击。4.4.10 单字段分组统计，输入“表名”，选择“字段名”，点击。4.4.11 行列互换，输入“表名”，点击。4.4.12 填充空值，输入“表名”和“填充值”，点
14、击。4.4.13 设置索引，输入“表名”，选取“字段名”，点击。4.4.14 重置索引即可。4.4.15 分组统计，输入“表名”，选取“统计方式”，输入“函数”点击。4.4.16 UDF函数，选择“UDF包”，输入“新的表名”，选取“函数包”，选取“函数名”，输入“参数”，点击。函数包有3个，包括udf0包、udfA包、可视化VL包，没有参数的UDF函数可省略不写。4.4.17 机器学习，输入“新的表名”，选取“机器学习函数”，输入“参数”，点击，没有参数的机器学习函数可省略不写。4.4.18 lambda函数点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选取“字段名”，输入“
15、表达式”和“新列名”，点击。4.4.19 简要信息点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击。4.4.20 绘图点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，出现空白框，选择你需要的图形即可。这里我选择了折线图，注数据类型不符合图表类型的是画不出图表的。具体数据类型格式可参考飞象大数据分析系统之可视化设计入门培训教程01 折线图示例：4.4.21 存储数据点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选取“存储类型”，输入“文件名”和“参数”，点击。数据将会存储在workspace目录下，可以直接通过load语句直接调用。第5章 自助分析5.1
16、 操作目标自助分析利用表的时间轴作为索引，读取表中的数据，展示部分数据内容。自助分析有count、max、min、sum、arg等统计函数。X轴有多种选择类型，包括terms、range、ip_range、histogram、date_histogram等。简单的选择条件就能得到你想要的分析结果，绘出图形，为不懂SQL语句的用户提供好的体验。另外提供了不同类型图形，下载图片，存储数据，与可视分析互动等功能。5.2 操作步骤1、将ES集群和esql组件安装好，通过原语define udb0 as ip:8001将FEA3连接到udb上，可以通过show defines查看是否连接对。这时我们访问
17、自助分析，点击选择索引的下拉框就有数据了。必须是udb0连接，其他的都导致不能访问es集群的数据2、选择ES集群上有时间轴的表，演示表ip_day。选中该表，在面板上能展示部分数据。3、上述步骤完成后，切换到分组面板，这时需要配X轴，Y轴。Y轴函数默认不变，x轴选择date_histogram类型，字段是时间标识，间隔选择年，点击标签，得到分析结果。4、 图表切换，选择右上角的图表类型，可以切换图表类型。也可以将图表保存到图片下载。依次为数据视图、折线图、柱状图、还原、保存为图片。依次点击数据视图、折线图、柱状图、还原、保存为图片按钮，就有不同的展现方式。其中还原是将图表类型还原到初始图表，保
18、存图片是将图表下载到本地。如下所示：数据视图折线图柱状图第6章 交互分析6.1 操作目标高级交互通过原语实现数据分析，通过每条语句就能分析数据，得到结果，保存到ssdb上。右边的工具箱就是快捷的操作，帮助分析师可以便捷的上传数据、脚本，查看运行的任务，定时器，日志输出等。主要是分析师分析数据通过原语加载数据，分析数据，存储结果。6.2 操作步骤1. 原语操作用use wwq 新建工作区（为避免和他人干扰，建议自己新建工作区）。输入原语（show tables，点击按钮或者“回车键”可以得到结果。可以在调试窗口，输入原语进行调试。调试无误后，可叫调试窗口的原语保存为fea脚本。2. 文件管理点击
19、右边的文件管理工具，进入管理界面如下图所示：数据上传操作：点击按钮，选中 数据文件，点击按钮，即可将文件上传，目前支持的数据文件格式较多，包括：csv、pkl、txt、EXCEL、sql。下图红色部分即为新上传的文件。fea脚本上传操作：点击按钮，选中fea脚本，点击按钮，即可将脚本上传。下图红色部分即为新上传的fea脚本。在线创建、编辑fea脚本操作：在输入框中输入fea脚本名称，点击新建按钮，即可新建fea脚本进行在线编辑。里面的内容是关于ML_studio.fea脚本的原语代码，点击“标准化fea脚本”，自动在脚本开头插入以下注释，用户可根据具体情况来编辑内容如果脚本中的中文乱码，则可以
20、通过“gbk编码转utf8编码”功能来实现中文的正常显示。点击上方的“在线编辑”后，出现编辑页面，可以添加、删除、修改、注释各个原语语句。编辑好后，点击保存代码标签，上方会出现保存成功的提示，如下图所示：UDF函数上传操作：点击按钮，选中udf文件，点击按钮，即可将udf自定义函数文件上传。3. 正则表达式点击按钮，可以查看数据格式，规范化数据处理。避免不必要错误。比如ip地址数据格式是：d+.d+.d+.d+，日期的数据格式是：d4-d1,2-d1,2。验证采集的数据是否符合正则表达式，将日志2011-2-30输入在线正则表达式测试框，点击按钮，正确就能得到反馈的正确结果。不正确匹配结果，如
21、下图所示：4. 控制台点击按钮，可以查看DF表，运行任务，连接，定时器，单值变量，日志输出等信息。第7章 可视化设计7.1 操作目标FEA根据需要，还可以开发各种可视化图形，迅速的修订各种图表的显示方式，这也是FEA数据分析工具的独特优势：站在数据使用者的角度，定制打造分析工具。分析师可以根据展示需要，把数据报表整理成各种图形要求的数据格式，通过FEA把相关数据用各种图形展示出来。让用户对结果一目了然。7.2 操作步骤7.2.1 静态面板管理点击，选择，进入静态面板管理。输入ID，中文描述（非必填项）点击按钮，进入静态面板的构建页面，即可进行图表的绘制。面板选项说明：名称是否必填项名词解释图表
22、选择否选择该面板已绘制的图表数据（Key）是用于绘图的ssdb数据库中的数据绘图标题解释该图的作用图表类型绘图的类型宽度图表的宽度高度图表的高度横坐标图表起始位置的横坐标纵坐标图表起始位置的纵坐标图层图表所在的图层，共0-10层，0最低，10最高，默认为第5层图例图表中个颜色所代表的对象，可自定义显示位置（上下左右）边框图表的边框，有10种边框样式可供选择X轴名称X坐标的注释Y轴名称Y坐标的注释刷新时间刷新图表数据的间隔时间，空表示不刷新功能键说明新建根据面板设置的参数，新建一个图表删除删除选中的图表重绘根据面板设置的参数，重新绘制选中的图表预览全新的面板，必须在保存面板设置之后才能预览保存保
23、存当前的面板设置返回面板左上角的返回按钮，返回到静态面板管理页面缩放面板右上角的缩放按钮，点击后可以收缩、展开面板Esc构建页面的刻度尺显示快捷键，按下可以显示或隐藏刻度尺Del删除图表的快捷键，按下可删除选中的图表Ctrl多选键，按住Ctrl键，同时选中多个图表，可对多个图表进行对齐操作示例如下图所示：7.2.2 动态面板管理点击，选择，点击进入动态面板管理界面。输入ID，中文描述（非必填项），参数（填写格式为变量名=默认值，例如name=ww）面板选项、功能键同静态面板。注意数据（Key）选项中，动态面板可以用变量名来代替某些动态的Key名。示例如图所示：7.2.3 交互面板管理点击，选择
24、，点击进入交互面板管理界面。点击按钮，进入构建页面。交互面板共分以下5种类型：查询统计：通过查询条件，将查询统计得到的数据，通过关联的页面展示出来，只能显示单个结果。搜索：通过搜索条件，将搜索得到的数据，通过关联的页面展示出来，可以显示多个结果。CRUD：以表格的形式，对数据进行增删改查操作。CRUD2：表单：以表单的形式，对数据进行编辑操作。下面以查询统计和搜索类型为例进行说明。查询统计面板选项说明脚本查询统计所执行的脚本参数名查询内容所对应的变量默认值查询内容的默认值中文名查询框的中文描述类型查询框的展现形态，有文本框、下拉框等15种类型是否显示是否在交互面板显示查询框字典关联当类型为下拉
25、框时，激活该选项。选取字典Key作为下拉框的内容，字典Key必须以dd:开头操作可以对参数进行上移下移和删除操作页面关联选择将查询统计的结果数据，以静态面板或动态面板或多屏互动展示位置查询框在交互面板的位置状态查询完成后，选择查询框是否仍显示构建一个用于主机查询的交互面板，用于查询的fea脚本为znyw_zj_info.fea，查询条件为IP地址，查询框的默认值为10.68.120.74，对应脚本的变量参数为ip，将查询结果通过ID为lchinfo2的动态面板展示，其中查询框位于交互面板的左侧，并且在查询完成后一直显示。脚本znyw_zj_info.fea内容详见附件。ID为lchinfo2的动态面板内容如下图所示：保存上述的交互面板设置，进行预览，可在查询框输入IP地址，查询对应的主机信息。搜索交互面板的标题主页面交互面板的主页面，可引用静态面板、动态面板、多屏互动搜索框的中文描述搜索所执行的脚本参数搜索内容所对应的变量面板选择将搜索的结果数据，以动态面板展示行数每页显示的结果数量上限结果集搜索得到的结果数据的集合，以Key的形式保存在ssdb数据库中，并依次将结果集中的数据，通过参数传递给关联的动态面板。结果集中有多少条数据，交互面板就会得到多少个结果（每个结果都通过关联的动态面板展示）。结果集是一种临时性的Key，一般以FPS结尾，如test_FPS。其中FPS是系统执行脚
