美高梅平台下载-美高梅娱乐平台登录

热门关键词: 美高梅平台下载,美高梅娱乐平台登录

感知机学习算法={原始形式和对偶形式},感知机

日期:2019-10-03编辑作者:美高梅平台下载

美高梅娱乐平台登录 1

机器学习五 -- 机器学习的“Hello World”,感知机

  • 在机器学习中,感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面,为求得超平面导入了基于误分类的损失函数,利用梯度下降法 对损失函数进行最优化。感知机的学习算法具有简单而易于实现的优点,分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的实例进行预测的,因此属于判别模型。感知机由Rosenblatt于1957年提出的,是神经网络和支持向量机的基础。
  • 假设输入空间为X⊆Rn,输出空间为Y={-1, +1}。输入x∈X表示实例的特征向量,对应于输入空间的点;输出y∈Y表示示例的类别。由输入空间到输出空间的函数为

    美高梅娱乐平台登录 2

    称为感知机。其中,参数w叫做权值向量weight,b称为偏置bias。w⋅x表示w和x的点积

    美高梅娱乐平台登录 3sign为符号函数,即美高梅娱乐平台登录 4

  • 在二分类问题中,f的值用于分类x为正样本还是负样本。感知机是一种线性分类模型,属于判别模型。我们需要做的就是找到一个最佳的满足w⋅x+b=0的w和b值,即分离超平面(separating hyperplane)。如下图,一个线性可分的感知机模型

    美高梅娱乐平台登录 5

    中间的直线即w⋅x+b=0这条直线。

感知机是二类分类的线性分类模型,是神经网络和支持向量机的基础。其输入为实例的特征向量,输出为实例的类别,取+1和-1二值之一,即二类分类。感知机对应于输入空间(特征空间)将实例划分为正负两类的分离超平面,属于判别模型。我们对于感知机的学习旨在求出将训练数据进行线性划分的分离超平面,为此目标,我们需要导入基于误分类的损失函数,利用后文所提到的梯度下降法对损失函数进行极小化,求得感知机模型。

美高梅娱乐平台登录 6美高梅娱乐平台登录 7

感知机模型

  • 感知机学习算法本身是误分类驱动的,因此我们采用随机梯度下降法。首先,任选一个超平面w0和b0,然后使用梯度下降法不断地极小化目标函数

    美高梅娱乐平台登录 8

对此我们都知道了什么叫感知机了。这里给出一个比较数理化的定义:假设输入空间(特征空间)是XєRn,输出空间是Y={+1,-1}。输入xєX表示实例的特征向量,对应于输入空间的点,输出yєY表示实例的类别。由输入空间到输出空间的如下函数

感知机学习算法={原始形式和对偶形式}

f(x)=sign(w*x+b) 

美高梅娱乐平台登录 9

称为感知机。其中,w和b为感知机模型参数,wєRn叫做权值或权值向量,bєR叫做偏置,w·x表示w和x的内积,sign是符号函数,即为

  • 输入:T={,...}(其中xi∈X=Rn,yi∈Y={-1, +1},i=1,2...N,学习速率为η)输出:w, b;感知机模型f=sign 初始化w0,b0,权值可以初始化为0或一个很小的随机数 在训练数据集中选取 如果yi≤0w = w + ηy_ix_ib = b + ηy_i,直至训练集中没有误分类点

美高梅娱乐平台登录 10

 

  • 问题描述

    美高梅娱乐平台登录 11

  • data.csv

感知机有以下几何解释:线性方程w·x+b=0对应于特征空间Rn的一个超平面S,其中w是超平面的法向量,b是超平面的截距。这个超平面将特征空间划分为两个部分,位于两部分的点分别被称为正、负两类。因此,超平面S即被称为分离超平面。

感知机学习策略

1,1,-10,1,-13,3,14,3,12,0.5,-13,2,14,4,11,2,-1

给定一个数据集合T={(x1,y1),(x2,y2),……,(xn,yn)},其中xiєX=Rn美高梅娱乐平台登录,,yiєY={+1,-1},i=1,2,3,,,,n,如果存在某个超平面S:w·x+b=0能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧,即对所有yi=+1的实例点,有w·xi+b>0,对所有yi=-1的实例点,有w·xi+b<0,则称数据集T为线性可分数据集;否则,称数据集T为线性不可分。

  • percetron.py

刚才我们有提到,我们感知机学习的目标就是求得一个能够将训练集正实例和负实例点完全正确分开,为了找到这样一个分离超平面,我们需要定义损失函数并将损失函数极小化。

给定一个数据集合T={(x1,y1),(x2,y2),……,(xn,yn)},其中xiєX=Rn,yiєY={+1,-1},i=1,2,3,,,,n,感知机sign(w·x+b)学习的损失函数定义为

"""# -*- coding: utf-8 -*-"""Created on Fri Dec 8 14:24:10 2017@author: jasonhaven"""import numpy as npimport matplotlib.pyplot as pltdef sign: ''' x:特征向量 y:标记 w:权值向量 b:偏置 功能:计算 y=w*x+b ''' y=np.dot+b#返回只有一个元素的ndarray return intdef train(X,Y,w,b,yita): ''' X:n维特征向量 y:n维标记向量 w:权值向量初始 b:偏置初始 yita:学习率 功能:训练模型,计算优化模型参数(感知机算法的原始形式) ''' flag = False #损失函数是否最小 while not flag: count_error=0 for i,xi in enumerate: yi=Y[i] signy=sign if signy*yi<=0: w+=(yita*yi*xi).reshape b+=yita*yi count_error+=1 if count_error==0: flag=True return w,b def draw(train_datas,sign_of_train_datas,w,b): plt.figure('percetron') #设置横坐标 x=np.linspace #w[0]*x[0]+w[1]*x[1]+b=0 #计算函数值 y=-/w[1] #绘制函数 plt.plot(x,y,color='r') #绘制数据集 for i in range(len(train_datas)): if(sign_of_train_datas[i]==1): plt.scatter(train_datas[i][0],train_datas[i][1],s=100) else: plt.scatter(train_datas[i][0],train_datas[i][1],marker='x',s=100) plt.title('percetron') plt.xlabel plt.ylabel plt.show() def read_from_csv(): file='./data.csv' content=np.loadtxt(file,delimiter=',') train_datas=[] sign_of_train_datas=[] for line in content: train_datas.append(line[0:2]) sign_of_train_datas.append(line[-1:]) return train_datas,sign_of_train_datasif __name__=='__main__': #数据集 #train_datas=[[3,3],[4,3],[1,1],[2,3],[4,5],[1,2]] #ign_of_train_datas=[1,1,-1,1,1,-1] train_datas,sign_of_train_datas=read_from_csv() #构造输入实例 X=np.array(train_datas) Y=np.array(sign_of_train_datas) #设置初始w0,b0 w0=np.zeros((X.shape[1],1)) b0=0 #设置学习率 yita=1 #训练模型 w,b=train(X,Y,w0,b0,yita) print draw(train_datas,sign_of_train_datas,w,b)

L(w,b) = -∑yi(w·xi+b)(xiєM)

  • 运行结果

    美高梅娱乐平台登录 12美高梅娱乐平台登录 13

其中M为误分类点的集合。这个损失函数就是感知机学习的经验风险函数。

想一想:是不是可以肯定损失函数L(w,b)是非负的,为什么?

感知机学习算法

感知机学习算法转化为求解损失函数式子的最优化问题,下面简单介绍一下两个具体的算法:原始形式和对偶形式。

感知机学习的原始形式

感知机学习算法是误分类驱动的,如果我们人类逼格够高,给出任意一个线性可分数据集,可以马上脑补出一个将其数据集完全正确分类的模型,那么就用不着感知机学习算法了。所以,我们需要用算法来尽可能的优化函数来达到期望目标。其方法具体采用了随机梯度下降法。首先,任意选取一个超平面w0,b0,然后用梯度下降法不断的极小化目标函数,极小化过程中不是一次使M中所有误分类点的梯度下降,而是一次随机选取一个误分类点使其下降。

本文由美高梅平台下载发布于美高梅平台下载,转载请注明出处:感知机学习算法={原始形式和对偶形式},感知机

关键词:

美高梅平台下载上面很简单,加载test2.html时会加

效果: 写了一个测试代码,用require.js配合它的一个插件text.js实现了最简单的单页应用程序,简单的记录一下,方便以后...

详细>>

要实现一个表格很容易,考虑不响应任何事件的

本篇给TableView添加几个事件处理,简单来说分为两种:整行响应事件和单元格响应事件,考虑不响应任何事件的话就...

详细>>

View 的测量是在 onMeasure() 方法中进行,继承子V

1一个高度满屏也就是match_parent,宽度自定义的一个VIew, 不是系统组合控件 ,需要全部自己绘制 2 需要向外抛出自定...

详细>>

注解处理器,接下我们将学习使用APT

主目录见:Android高级进阶知识我们在开发的时候为了提高效率往往会选择一个基于注解的框架,但是有时使用反射通...

详细>>