设计一个学习系统

------------------------------------------------------学习的基本概念

学习的宽广定义：任何计算机程序通过经验来提高其任务处理性能的行为。

学习的严格定义：如果一个计算机程序针对某类任务T使用P作为衡量标准，而且使用经验E进行自我完善，那么我们策划那个这个计算机程序针对任务T从经验E中学习，其性能使用P进行衡量。

例子：西洋跳棋的学习问题

------------------------------------------------------设计一个学习系统

选择训练经验：

选择目标函数：

决定要学习的知识的确切类型以及执行程序应该如何使用这些知识。一般学习任务被简化成为发现一个理想目标函数V的可操作描述。要完美地学习这样一个V的可操作的形式是非常困难的。事实上，通常我们仅希望学习算法得到近似的目标函数，由于这个原因学习目标的过程常常被称为函数逼近。

选择目标函数的表示：

一般来说，选择这个描述包含一个重要的权衡过程。一方面，我们总希望选取一个非常有表现力的描述，以最大可能地逼近理想的目标函数V。另一方面，越有表现力的描述需要越多的训练数据，使程序能从它表示的多种假设中选择。如果把一个目标函数表示为线性函数，则如V(b)=w0+x1*w1+x2*w2+x3*w3。其中x1到x3为不同参数，w0到w3为不同参数的权重。

选择函数逼近算法：

最终设计：

在机器学习方面，一个有效的观点就是机器学习问题经常归结于搜索问题，即对一个非常大的假设空间进行搜索，以确定一个与观察到的数据和学习器已有知识假设的最佳拟合。因此学习器的任务就是搜索这个假设空间来定位与训练数据最佳拟合的假设。