1. 软件缺陷分类的作用 最近先后几波同事找到我这边来讨论软件缺陷分类。 第一波:需要用缺陷分类用于业界软件漏洞的分类。根据上月底国家缺陷漏洞库CNNVD发布《2022年度网络安全漏洞态势报告》显示,2022年度新增漏洞近2万5千个,达到历…
概述 FM主要是解决稀疏数据下的特征组合问题,并且其预测的复杂度是线性的,对于连续和离散特征有较好的通用性。 公式为: 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspar…
概述 读取由scikit-learn等平台生产的GBDT的PMML模型文件,并对新的数据进行预测。当前只支持GBDT的分类模型。预测的结果包含预测的类别及其概率,以及一个包含各个类别,及其概率的详细信息字段。 输入 参数 子参数 参数说明 …
概述 使用pytorch实现的多层感知机分类算法,可运行于异构资源池上。 该算子通过cuda自动判断gpu是否可用。若gpu可用,优先使用gpu训练;否则使用cpu训练。 输入 参数 子参数 参数说明 data_url _ data_url…
概述 使用PyTorch实现的多层感知机分类算法,可运行于异构资源池上。 该算子通过cuda自动判断GPU是否可用。若GPU可用,优先使用GPU训练;否则使用CPU训练。 输入 参数 参数说明 train_url train_url为存储模…
决策树分类 梯度提升树分类 LightGBM分类 线性支持向量机分类 逻辑回归分类 多层感知机分类 朴素贝叶斯分类 随机森林分类 FM算法 GBDT PMML模型预测 多层感知机分类(pytorch) 多层感知机预测(PyTorch) 父主…
概述 “梯度提升树分类”节点用于生成二分类模型,是一种基于决策树的迭代分类算法。该算法采用迭代的思想不断地构建决策树模型,每棵树都是通过梯度优化损失函数而构建,从而达到从基准值到目标值的逼近。算法思想可简单理解成:后一次模型都是针对前一次模…
概述 “决策树分类”节点用于产生二分类或多分类模型。 决策树是附加概率结果的一个树状的决策图,是直观的运用统计概率分析的图法,树中的每一个节点表示对象属性的判断条件,其分支表示符合节点条件的对象,树的叶子节点表示对象所属的预测结果。其通过基…
概述 对mmlspark python包中LightGBM分类的封装 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 spark…
概述 “支持向量机分类”节点构造一个线性支持向量机模型,支持二分类和多分类。该节点采用Trust Region Newton Method(TRON)算法优化L2-SVM模型,更适用于大规模数据的建模,模型训练效率更高。 算法实现方式的简介…