林轩田老师-机器学习基石学习笔记7

2017/11/09 learning note 共 903 字,约 3 分钟

由于最近一直在准备比赛的事情就好久没有更新了。没想到的是一回过神就是这么重要的VC维的概念。

上讲回顾

这里写图片描述 上一讲讲到了这个重要的主题结论,将Ein和Eout的关系限定在了一个VC bound的数值当中,这里我们的重要参数是成长函数mH,这一讲将提出一个稳定的结论替换掉它。 整体概括一下: 这里写图片描述

VC维的定义

首先VC是两个著名科学家 这里写图片描述 我们都知道每一个H-est都有一个breakpoint称之为断点,这个点我们需要有一个具体的专有符号去标识,于是有:

VC-Demension

但是,VC维并不是breakpoint的值,而是: 表示最大的不是breakpoint的点的数目,最大的可以将其分割的数目。 数学表述:

VC Demension: 对于假设空间H,满足生长函数m(N) = 2^N 的最大的N, 记为dvc(H).

将VC维和上一讲的成长函数联系起来: 代换一下 这句话什么意思呢?我们看一下例子: 这里写图片描述 只说明了一个问题——当VC维有限大,则具备好的机器学习的素材。

VC维大小

先看个二维PLA的情况:图已经很清楚啦! 这里写图片描述 我们通过数学证明(个人认为无关紧要且不要求) 发现: 1、There are some d + 1 inputs we can shatter. 这里写图片描述 2、We cannot shatter any set of d + 2 inputs. 于是: 这里写图片描述

dvc<=d+1

VC的物理意义

VC维的存在解决了问题: d+1—>感知器的纬度—>衡量了自由度—>让人知道产生多少二分类 这里写图片描述 所以选择一个好的dvc是非常重要的。 得到规律: 这里写图片描述

VC 维与假设参数w 的自由变量数目大约相等。

VC维的解释

1、VC 维反映了假设H 的强大程度,然而VC维并不是越大越好。【一定要有限大】 这里写图片描述 这个函数知道,dvc越大,Ein就越小但是那个根号里面的值就越大,这样以来我们知道,dvc最好是在其适当的大小中。 2、模型较复杂时使VC维大的时候,需要更多的训练数据 理论上是这样的: 这里写图片描述 但是实际上 这里写图片描述 原因是: 这里写图片描述 这些理由均是我们之前的理论证明铺垫而来: 现在我们知道了,VC bound很宽松 ,但是VC维的概念很重要。 同时,林老师也说:

philosophical message of VC bound important for improving ML

文档信息

Search

    Table of Contents