智能建模（ymodel）功能简介-九游会登陆

智能建模支持txt、csv等格式的数据文件。

选择文件后，可以定义数据文件的参数配置。

下一步，可以定义变量类型、日期格式和选出状态。

变量类型既可以自动检测，也可以导入数据字典配置。数据字典格式如下：

jdbc数据源

odbc数据源

导入数据以后，显示了数据的基本特征：

目标变量是survived（需要用户设置），有12个变量，891条记录。

自动解析了各个变量的类型和推荐的选出状态。

离散变量包括单值变量、二值变量和分类变量。

缺失率：缺失值在全部数据中的占比。
势：离散变量可取值集合的成员数量。
饼图直观显示了各分类的占比。

分组目标频数表将样本按分类值分组，观察每组样本的数量和正样本数，正样本率以及赔率（发生比）。

二值目标的正样本是指样本数较少的分类值。通过右图可以看到，在本例中正样本是目标变量值为1的记录。

目标变量的饼图

odds wrt all 图形显示了每组样本的赔率和总的赔率。样本较少的分类（样本数少于100个）不进行绘制。

分组目标统计量将样本按分类值分组，观察每组样本的统计量。包括：频率，平均值，标准差，中位数，最小值和最大值以及z-stat。

分组目标统计图，使用箱线图的形式，更直观的表现了每组样本的分布情况。箱线图可以用来标记异常值。

连续变量包括数值变量、计数变量和时间日期变量。

描述性统计量显示了数据的基本统计信息。

频数分布图，绘制了频数分布直方图，正态分布曲线，以及箱线图。

分组描述性统计量，将样本按目标变量值分组，分别进行统计，并绘制相应的箱线图。

分组频数分布图，将每个区间的样本按目标变量值分组，频数用不同颜色显示。

pearson相关系数：用于描述两个连续变量之间的线性相关性。

spearman秩相关系数：用于描述两个连续变量之间的等级相关性。

相关系数的绝对值越大，表示两个变量的相关性越大。

上图是地下室面积和房价之间的相关系数。可以看到两者有很强的相关性。

单因素散点图直观的展现了当前变量（地下室面积）和目标变量（房价）相关的分布情况。其中黄线为回归线。

提供导出数据探索报告到excel文件的功能。第一页是各类变量的基本信息：

第二页是各类变量与目标变量的关联性：

智能建模的预处理过程集成在建模的流程中，一键式自动预处理。

根据变量类型去除一些无关的变量。例如id和长文本，没有缺失值的单值变量等。

根据变量重要度筛选变量，只保留重要度较高的变量。变量重要度可以由数据字典导入，也可以通过建模得到。

增加衍生变量family

统计变量family

增加衍生变量agearea

统计变量agearea

在模型选项中可以定义是否数据预处理和是否智能填补。

如果数据已经进行过预处理，可以取消数据预处理。

智能填补可以更好的对缺失值进行补缺，但是会消耗更多的硬件资源和时间，当数据量很大时不建议智能填补。不勾选时会进行简单填补。

智能建模支持图中几种二分类算法模型，还可以设置每种模型是否使用以及抽样次数。在右侧可以设置各模型的参数值。对于普通用户可以不用关心这些设置。

智能建模提供了分类模型常用的3个评价指标：

分类模型：roc曲线

roc曲线是真正类率与"1-真负类率"的关系图。roc曲线可以被视为评估给定模型所有可能决策性能的可视化显示。

分类模型：提升度

提升度（lift）表示使用关联规则可以提升的倍数，是置信度与期望置信度的比值。

提升度特别适合有针对性的市场营销等场景。

分类模型：查全率

查全率图显示模型找到正样本的情况，主要应用在数据不平衡的场景。累计查全率是各组累计正样本数与总正样本数的比值。

分类模型：准确率表

阈值：用来区分正负样本的值。
准确率：预测正确的样本占所有样本的比率。
精确率：预测为正样本的结果中，预测正确的比率。
查全率：正确预测正样本的数量，在所有正样本中的比率。

多分类模型

目标变量是分类变量时，模型表现通过切换预测值查看每个分类的模型表现。

回归模型：评价指标

智能建模提供了回归模型常用的6个评价指标：

回归模型：残差图

残差是观察值与预测值之差。残差图是以残差为纵轴，以任一数值变量为横轴的散点图。图中黄线为三倍rmse。

可以调整横轴变量和横纵轴的数值范围进一步查看。

回归模型：结果对照图

结果对照图横轴为随机均分的样本，纵轴为对应的观察值和预测值。其中蓝色为观察值，红色为预测值。

titanic模型最终使用的分类模型及参数

房价模型最终使用的回归模型及参数

变量重要度的作用

1. 参考变量重要度，有针对性的对数据重新处理。
2. 使用重要度高的变量进行交互生成衍生变量，如路程/时间=速度，速度*时间=路程等重新建模。
3. 参考变量重要度，有针对性的对客户进行建议。

创建模型以后，可以使用测试数据进行预测。

对于二分类模型，第一列是目标变量为正样本的概率。

以titanic为例，预测624号乘客幸存的概率为21.584%。

对于回归模型，第一列是对目标变量的预测值。

以房价预测为例，预测1461号房屋的价格为129298.66。

通常预测数据中是不包含目标变量的。

当预测数据中包含目标变量时，可以根据预测结果计算模型表现，用来评估模型。

单条预测通过拖拽方式修改变量值，即时查看预测结果。

变量是按重要度降序排列的，通常靠前的变量对于预测结果的影响更大。可以看到年龄较小的女性幸存率很高。

对于房价预测模型，可以看到当房屋地下室面积从334拖拽到5642时（其他变量没有改变），房价有了大幅提升。

a7

a8

a9

a10

a5

a6