非参方法

参数学习方法:

假设了一个在整个输入空间上有效的模型,将问题归结为在样本上估计少量参数,(如:线性模型估计w,高斯分布估计mu和sigma).参数学习方法假定了一个模型,当模型假定不成立,或者样本不是一个分组,可能导致很大的误差。(如:语音识别,由于不同口音、性别、年龄、发音等,没有单个同样的模型).

半参数方法:

为样本每个分组假定一个参数模型,(如:使用混合分布估计输入样本).

非参数方法:

只假定相似输入具有相似输出(如:k近邻),非参数方法使用合适的聚类度量相似性,对于输入样本,从训练集中找出它们的相似示例(输入样本的邻域),并由相似的实例插值得到正确的输入。参数模型定义了一个全局模型,所以训练样本都影响最终估计,而非参数方法不存在全局模型,需要时估计局部模型(如:局部加权线性回归),它们只受邻近训练样本影响,是局部响应.因此非参数模型不是固定的,复杂性依赖训练集大小,非参数学习方法又称基于实例或基于记忆的方法,输入样本搜索训练集中相似样本,并基于相似子集插值。

references

非参数方法、参数方法与半参数方法