原标题:无需写代码!谷歌生产机器学习模型解析神器,代号What-If

原标题:测试机器学习模型不用写代码!谷歌“what-if”工具轻松化解

引言

在机械学习世界,AUC值通常用来评论一个二分类模型的教练效益,对于众多机械学习只怕数额挖掘的从业者或在校学员来说,AUC值的定义也时常被提起,但鉴于大多数时候大家都以凭借一些软件包来练习机器学习模型,模型评价指标的乘除往往被软件包所封装,因而大家平日会忽视了它们的现实意思,那在多少时候会让我们对此手头正在开始展览的职务感到嫌疑。小编也曾碰到类似的标题,由此期望借由本文来梳理下AUC值的含义与计算方法,通过实际的事例支持读者加深驾驭,同时提交了应用scikit-learn工具库计算AUC值的不二法门,供各位参考。

铜灵 编写翻译整理

新京葡娱乐场网址 1

定义

AUC的全称是Area under the Curve of
ROC
,也就是ROC曲线下方的面积。那里出现了另贰个定义,便是ROC曲线。那么ROC曲线是个什么东西呢?我们参看下维基百科上的定义:在信号检查和测试理论中,接收者操作特征曲线(receiver
operating characteristic
curve
,或者叫ROC曲线)是一种坐标图式的辨析工具,用于 (1)
选拔最好的信号侦测模型、遗弃次佳的模子。 (2)
在同样模型中设定最好阈值。那么些定义最早是由世界二战中的电子工程师和雷达工程师发明的,用来侦测战场上的敌军载具。归纳来说,能够把ROC曲线通晓为一种用于总括分析的图片工具。

那么具体到机械学习的辩论中,ROC曲线该怎么驾驭吧?首先,需求建议的是,ROC分析的是二元分类模型,也正是出口结果只有二种档次的模型,比如:(中性(neuter gender)/中性(neuter gender))(有病/没病)(垃圾邮件/非垃圾邮件)。在二分类难点中,数据的价签日常用(0/1)来表示,在模型陶冶成功后展开测试时,会对测试集的各种样本总计二个介于0~1之间的概率,表征模型认为该样本为阴性的概率,大家得以选定1个阈值,将模型测算出的概率进行二值化,比如选定阈值=0.5,那么当模型输出的值超越等于0.5时,大家就觉着模型将该样本预测为阴性,也正是标签为1,反之亦然。选定的阈值区别,模型预测的结果也会相应地转移。二元分类模型的单个样本预测有多种结果:

  1. 真阳性(TP):判断为阴性,实际也是中性(neuter gender)。
  2. 伪阴性(FP):判断为中性(neuter gender),实际却是中性(neuter gender)。
  3. 真中性(neuter gender)(TN):判断为中性(neuter gender),实际也是中性(neuter gender)。
  4. 伪中性(neuter gender)(FN):判断为中性(neuter gender),实际却是中性(neuter gender)。

那三种结果能够画成2 × 2的混淆矩阵:

新京葡娱乐场网址 2

二阶混淆矩阵

有了混淆矩阵,就可以定义ROC曲线了。ROC曲线将假中性(neuter gender)率(FPMurano)定义为
X 轴,真中性(neuter gender)率(TPTucson)定义为 Y 轴。当中:

  • TP昂科威:在装有实际为中性(neuter gender)的样书中,被科学地看清为中性(neuter gender)的样本比率。
  • FPENCORE:在具有实际为中性(neuter gender)的样本中,被张冠李戴地看清为中性(neuter gender)的样本比率。
  • TPR = TP / (TP + FN)
  • FPR = FP / (FP + TN)

给定1个二分类模型和它的阈值,就能够依据全数测试集样本点的真实值和预测值计算出三个(X=FPKuga, Y=TP瑞虎)
坐标点,这也正是绘制单个点的章程。那整条ROC曲线又该怎么画吗?具体方法如下:

在大家陶冶完一个二分类模型后,能够行使该模型对测试集中的成套样本点计算一个一见依旧的可能率值,每一个值都介于0~1之间。就算测试集有九拾几个样本点,我们得以对那九贰13个样本的预测值从高到低排序,然后依次取种种值作为阈值,一旦阈值鲜明大家就足以绘制ROC曲线上的二个点,遵照那种情势依次将九十九个点绘制出来,再将顺序点依次连接起来,就得到了小编们想要的ROC曲线!

然后再回到最初的难点,AUC值其实正是ROC曲线下方所覆盖的面积,当大家绘制出ROC曲线之后,AUC的值自然也就总计好啊。

今日,谷歌(谷歌(Google))生产了已开源的TensorFlow可视化学工业具TensorBoard中一项新效用:What-If
Tool,用户可在不编写程序代码的事态下分析机器学习(ML)模型。

倒计时**8**天

示例

此处引用上海财经大学张伟楠先生机器学习课件中的例子来注明:

新京葡娱乐场网址 3

AUC总计示例

如上海体育场所所示,我们有7个测试样本,模型的预测值(按大小排序)和样本的真正标签如右表所示,绘制ROC曲线的上上下下经过如下所示:

  1. 令阈值等于第3个预测值0.91,全数大于等于0.91的预测值都被判定为中性(neuter gender),此时TPLAND=四分之一,FP逍客=0/4,全部大家有了第三个点(0.0,0.25)
  2. 令阈值等于第2个预测值0.85,全数大于等于0.85的预测值都被判定为阴性,那种气象下第1个样本属于被错误预测为中性(neuter gender)的阴性样本,也正是FP,所以TPKuga=四分一,FPRAV4=四分一,所以大家有了第四个点(0.25,0.25)
  3. 根据那种艺术依次取第二 、四…个预测值作为阈值,就能挨个得到ROC曲线上的坐标点(0.5,0.25)、(0.75,0.25)…(1.0,1.0)
  4. 将依次点依次连接起来,就得到了如图所示的ROC曲线
  5. 计算ROC曲线下方的面积为0.75,即AUC=0.75

不用写代码?

新智元将于三月三日在法国首都国家会议中央设置AI WOENCORELD
2018社会风气人工智能高峰会议,MIT物理教师、今后生命研讨所创办者、《生命3.0》小编马克斯Tegmark,将刊登演讲《大家什么运用AI,而不是被其防止》,切磋如何面对AI军事化和杀人民武装器的产出,欢迎到现场调换!

代码

在领会了AUC值的盘算原理后,我们再来看看哪些在代码中贯彻它。经常很多的机器学习工具都卷入了模型目标的乘除,当然也席卷AUC值。那里大家来一起看下scikit-learnAUC的估摸情势,如下所示:

>>> import numpy as np
>>> from sklearn.metrics import roc_auc_score
>>> y_true = np.array([0, 0, 1, 1])
>>> y_scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> roc_auc_score(y_true, y_scores)
0.75

能够看来,使用scikit-learn新京葡娱乐场网址,工具提供的roc_auc_score函数计算AUC值分外简单,只须求提供样本的骨子里标签和预测值那三个变量即可,大大便利了作者们的利用,真心多谢这个开源软件的小编们!

是的,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交到二个可用来研讨模型结果的可相互的视觉界面。

总结

看来那里的伙伴们是否对AUC值的定义有了更好的理解啊。总的来说,AUC值就是3个用来评论二分类模型优劣的常用指标,AUC值越德州仪器常申明模型的意义越好,在实际应用中大家得以借助软件包的照应函数进行飞快计算。即便各位还有部分题材也许是对文章中的有些部分有问号,欢迎在评论区研商。

新京葡娱乐场网址 4

来源:Google AI

参考

ROC曲线维基百科
张伟楠先生课件
机器学习和总计里面包车型地铁auc怎么精晓? –
微博

250张人脸和在模型中检查和测试微笑后的结果

编辑:大明

What-If
Tool里功用很多,包括机关用Facets将数据集可视化,也有从数额汇总手动编辑示例并查看更改效果的功能,还可以自动生成部分关系图,显示模型预测随着单个特征的变更而改变的方向。

【新智元导读】谷歌(Google) AI推出“what-if
”工具,用户完全不必要编写制定代码就能分析机器学习模型。该工具提供交互式可视化界面,用户能够探索并相比较模型结果,能够十分的快地意识模型中的错误。

只是,那还不是What-If Tool的成套实力。

营造高速的机器学习系统,须要提议并缓解广大难题。仅仅锻练模型然后就放着不管是遥远不够的。优异的机械学习从业者要像侦探一样,时刻放在心上探索怎么着更好地领略营造的模型:数据点的变型将对模型的猜度结果造成什么影响?同三个模型对不一样的群众体育会有什么样分化的变现?用来测试模型的数据集的多样化程度怎样等等。

7大功能

要回应那几个难题并不便于。要回应这几个“假诺”难点,平时要编写自定义的叁遍性代码来分析特定模型。这么些进度不仅功效低下,还要除了程序员,其余人很难参加立异机器学习模型的经过。

What-If Tool首要有七马虎义,不知道有没有您供给的那一款:

谷歌 AI
PAI智跑布署的三个重中之重就是让更常见的人工流生产能力够更有利地对机器学习系统开始展览检查、评估和调剂。

职能一:可视化推断结果

明日,大家专业文告What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新职能,它同意用户在不编写代码的动静下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了二个交互式可视化界面,用于探索模型结果。

基于猜测结果的例外,你的演示会被分为不一样的颜色,之后可用混淆矩阵和别的自定义方式展开处理,从差别风味的角度展现预计结果。

新京葡娱乐场网址 5

新京葡娱乐场网址 6

What-If工具展现一组250张面部图片及其检查和测试微笑模型的结果

效益二:编辑三个数据点,看模型表现怎样

What-If工具作用强大,能够使用Facets自动展现数据集,从数据集手动编辑示例并查阅更改的成效,还能够自动生成都部队分重视图(partial
dependence
plots),展现模型的前瞻结果随任何单个作用的改动而变化的情景。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图