首页 > 学习笔记 > 统计机器学习(一)基本概念
2018
07-19

统计机器学习(一)基本概念

  • 统计学习:计算机基于数据构建概率统计模型并运用模型对数据进行分析预测的一门学科。
  • 几个空间:输入空间、特征空间、输出空间、假设空间

  1. 输入空间(X)、输出空间(Y):将输入与输出所有可能取值的集合成为输入、输出空间。可以是有限集合,也可以是整个空间(欧式)。一般来说输出空间要小于输入空间。
  2. 特征空间:每个具体的输入(可能经过特征工程处理)都是一个实例,由特征向量表示,则所有的特征向量存在的空间为特征空间。模型都是定义在特征空间上的。
  3. 假设空间:模型属于输入到输出的映射集合,这个集合就是假设空间。一般模型结构确定下后,假设空间的大小也就确定了。

注意:有时假设输入空间=特征空间,不与区分;有时假设输入空间≠特征空间,则要将输入空间映射到特征空间,比如SVM的核函数

  • 统计学习三要素:模型、策略、算法

  1. 模型:在监督学习当中,我们的目的是学习一个由输入到输出的映射,这个映射就是模型。一般来说,模型有两种形式,一种是概率模型统计机器学习(一)基本概念 - 第1张  | 一只学霸(条件概率分布), 另一种形式是非概率模型统计机器学习(一)基本概念 - 第2张  | 一只学霸(决策函数)。我们根据实际情况和具体的学习方法来决定是用概率模型还是用非概率模型。
  2. 策略:通俗来说,策略就是代价(风险)函数。严格定义下,策略即经验风险函数和结构风险函数,使其最小化,是一个目标函数
  3. 算法:有了上述的模型和策略,学习这个模型=使目标函数具有最优解,一种求目标函数最优解的优化算法

  • 机器学习结构图

统计机器学习(一)基本概念 - 第3张  | 一只学霸

最后编辑:
作者:admin
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。