机器学习库评估指标总结

作者:神秘网友 发布时间:2021-02-23 17:20:17

机器学习库评估指标总结

回归评估指标

RMSE(均方根误差) MSE(均方误差) R2(拟合优度检验) MAE(平均绝对误差) Explained Variance (解释方差) Max Error(最大误差) Median Absolute Error(中位绝对误差)
MLLIB 库 ok ok ok ok ok no no
ML 库 ok ok ok ok no no no
SKLEARN 库 ok ok ok ok no ok ok

MLLIB 中的RegressionMetrics

位于org.apache.spark.mllib.evaluation 包下

// 获取真值列 与预测列 的rdd 数据集
val evaluateRDD: RDD = evaluateDF.rdd.map(row = (row.getDouble(0), row.getDouble(1)))
// 实例化度量对象
val metrics = new RegrtessionMetrics(evaluateRDD)
// 计算评估指标
val rmse = metrics.rootMeanSquaredError
val mse = metrics.meanSquaredError
val r2 = metrics.r2
val mae = metrics.meanAbsoluteError
val explained_variance = metrics.explainedVariance

ML 库中的RegressionEvaluator

位于org.apache.spark.ml.evaluation 包下

// 处理要评估的数据集,定义真值列与预测列
val evaluateDF = df.withColumnRenamed("X", "label")
  .withColumnRenamed("Y", "prediction")
// 设置不同的metricsName 参数来进行指标的计算
val rmse = new RegressionEvaluator().setMetricName("rmse).evaluate(evaluateDF)
val mse = new RegressionEvaluator().setMetricName("mse).evaluate(evaluateDF)
val r2 = new RegressionEvaluator().setMetricName("r2).evaluate(evaluateDF)
val mae = new RegressionEvaluator().setMetricName("mae).evaluate(evaluateDF)

SKLEARN 库中的metrics

from sklearn.metrics import explained_variance_score, max_error, mean_absolute_error, mean_squared_error, median_absolute_error, r2_error

// 计算评估指标,y_true:真值列,y_pred:预测列
val mse = mean_squared_error(y_true, y_pred)
val r2 = r2_score(y_true, y_pred)
val mae = mean_absolute_error(y_true, y_pred)
val explained_variance = explained_variance_score(y_true, y_pred)
val me = max_error(y_true, y_pred)
val medianAE = median_absolute_error(y_true, y_pred)

机器学习库评估指标总结 相关文章

  1. Intern Day4 - 中间件

    学习大纲和要点 需要学会:大概原理、怎么用、怎么实现/创建 两个最基本职责: 选择是否将请求传递给管道中的下一个中间件。也可以直接响应,但是会造成管道的短路。 短路:指结束请求并开始响应,是一种机制,是非常有必要的一种手段,可以避免很多不必要的

  2. Asp.net core 学习笔记之 authentication + authorization + identity + identity server 4 + angular 第二篇 (Introduction, Scaffold, Overview)

    1.Introduction to Identity https://docs.microsoft.com/en-us/aspnet/core/security/authentication/identityview=aspnetcore-5.0tabs=visual-studio dotnet new webapp --auth Individual -uld -o WebApp1 new webapp 是做一个 razor page --auth Individ

  3. hashMap源码学习

    简介 hashmap是双链表格式的存储结构K,V存储数据,没有顺序性,1.7基于hash表存储。允许空值存在,键中有且只允许有一个,值中也允许有空值存在。初始容量大小为16加载因子为0.75。线程不安全,在并操作时存在安全问题。 常见操作解读 初始化new 初始化的时

  4. Kafka学习笔记

    目录 一、Kafka简介 1、Kafka是什么 2、消息队列内部实现原理 4、Kafka架构 5、分布式模型 二、Kafka集群部署 1、环境准备 1.1、集群规划 1.2、jar包下载 1.3、虚拟机准备 1.4、安装jdk 1.5 安装Zookeeper 2、Kafka集群部署 3、Kafka命令行操作 4、Kafka配置

  5. git使用笔记

    记录一下学习git的代码 git官方使用文档 1.安装git Windows系统Git安装教程(详解Git安装过程) # 任意文件打开 git bash here git --version # 检查安装版本 git config --list # 检查配置信息 2.初始配置 git config --global user.name 'your_name' git c

  6. Flask学习笔记 —— 路由

    路由 现代 web 应用都使用有意义的 URL ,这样有助于用户记忆,网页会更得到用户的青睐, 提高回头率。 使用 route() 装饰器来把函数绑定到 URL: from flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return 'Index Page'@app.r

  7. zookeeper安装

    准备3-5台机器 1.首先安装jdk 2.下载zookeeper 3.解压 tar xf zookeeper***.gz 4.mkdir /opt/name 5.mv zookeeper /opt/name 6.vim /etc/profile export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL export JAVA_HOME=/usr/java/jdk1.8.0_281-amd

  8. .Net工作流elsa-workflows官方文档学习:创建并运行定期工作流

    网页:https://elsa-workflows.github.io/elsa-core/docs/guides-recurring-task 在本节中,我们将执行以下操作: 以编程方式定义一个工作流,使用TimerEvent活动每5秒自动执行一次。 让我们开始吧! 创建控制台项目 创建一个名为Elsa.Guides.RecurringTask.

  9. 《图解Java多线程设计模式》学习笔记(三)Single Threaded Execution模式

    一、Single Threaded Execution 以一个线程运行 也成为临界区,临界域 二、不使用Single Threaded Execution的程序 1. 场景 一个门只允许一个人通过 三个人频繁通过这个门 人通过们后,统计人数递增 程序会记录人信息 2. 代码 // 表示人通过的门public class

  10. yaml语法学习

    yaml语法学习 配置文件 SpringBoot使用一个全局的配置文件 , 配置文件名称是固定的 application.properties 语法结构 :key=value application.yml 语法结构 :key:空格 value 配置文件的作用 : 修改SpringBoot自动配置的默认值,因为SpringBoot在底层都

每天更新java,php,javaScript,go,python,nodejs,vue,android,mysql等相关技术教程,教程由网友分享而来,欢迎大家分享IT技术教程到本站,帮助自己同时也帮助他人!

Copyright 2020, All Rights Reserved. Powered by 跳墙网(www.tqwba.com)|网站地图|关键词