Dirichlet Process-非参数贝叶斯（1）
狄利克雷过程（ ）是目前变参数学习（non ）非常流行的一个理论。
随机过程可以看做一个可数无穷多的随机向量的集合（ is an of ,where the index set can be infinite）
由两个参数（/alpha， 基本分布H）定义，生成无限数量的随机变量，
这些随机变量的联合分布是 （有限维）在无限维上的推广，同dir和beta分布一样，可以用作无限维的共轭先验
（注意，虽然 和无限维理论上是“无限维”，但是在有限个可见训练/测试样本中，其表现为有限维，
也就是说，我们不必预先指定类别数量K，而是，当新类别的样本出现时，将自动被打上新标签，这是non 的基础
另有一种算法叫 model，也能从样本中推断出类别数，但是这模型的类别数有一个预设上界K，而DPMM( model)的类别数没有上界）
1. 的定义
假设存在在度量空间\Theta上的分布H，和一个参数\alpha，
G是在度量空间\Theta上的一个分布（意思是对任意theta的子集A，G（A）是一个函数，使得0
如果对于度量空间\Theta的任意一个可数划分（可以是有限或者无限的）T1, T2,...,Tn，都有下列式子成立：
这里Dir是 分布，我们称G是满足 的。H也成为base 。
举个简单的例子，
在CRP中，Ti可以看成是第i张桌子，G（Ti）就是第i张桌子的概率
（G(1),G（2），...,G(K)）~(alpha/K,alpha/K,....alpha/K)，
在K趋于无穷大时候的情况
以下为DP的性质。
这个定义是1973年最早提出的，比较晦涩。有三种构造性方法：Polya urm model， ，Stick-
基本的构造是这样：
2. Polya urm model
假设存在可数无限多种颜色的球，一个空的urn
1. 第一次，按照H分布选定一个颜色，取出对应颜色的球放入urn中
2. 后续，有两种选球法，按其中之一选定一个颜色，取出对应颜色的一个球放入urn中
i）按均匀分布从urn中取出一个球，按该球的颜色取
ii）按H分布选定一个颜色
则有
也就是
其中Xi表示第i个摸出来的球的颜色；
在 中，Xi表示第i个客人选中的桌子，
可以看出，polya urn model和 都满足性质，因此可以表示为上面的（1）式。
此时随机元素G就是 。
（但是我不知道（6）和（4）如何等价？？？在~lisa//31-10-2006.pdf看到一个解释是在K->无穷时，
3.Stick-
可以看出，G的生成方法是，先按照H分布抽取出无限样本点，然后/pai_k重新赋权。这是一个取值无限的离散分布（取值点数量是可数无穷，而如果H是实数上的分布，取值点数量是阿列夫1哦）,每次抽取，可以抽取出不同的/beta,H,生成不同的G。
可以证明G是 。
（stick-break 来源是/pai数列，这有点象每次从长度为1 的木棍上折下一定的长度，E（/beta）=1/(1+/alpha）,当/alpha较小，则开始几个木棍会很长，也就是说，如果用它作为聚类的prior，将会倾向于分成更少更大的类)
Stick- 和之前CRP和urn的关系是
the or the Polya Urn Model stop. For each group i , this gives a wi of that fall into group i .So of the CRP or Polya Urn model to out these , can we them ?This is what the Stick- does。
Thus, the Stick- is the CRP or Polya Urn Model from a point of view. For , to table 1 to the is to to table 1 with w1 .
===============
is one way to a over a space
所以，G不是一个固定的分布，也是一个随机量。G~DP（/alpha,H）,DP是分布G的分布，每次抽出一个G，可以抽出很多不同的G，这些G符合同一个分布
----------------------------------------------------------------------------------------------------
附录：infi 性质相关性质
1.在de 的数学书中，他证明了，当一个可数无限维随机变量集合{x1,x2,...}满足infi 性质，即，对集合中取出任意N个元素，组成一个集合{x1，x2，...,xN} 如果其上的联合概率和顺序无关，即对{1，2，..N}的任意新排列,记为C1，C2...CN，有P(x1，x2...xN)=P(x_C1,x_C2,...,X_CN),则P（x1，...xN）可写成如下形式：
（1）
也就是说可以把G当成一个类似于参数的东西，使得联合概率中，每个xi相对于G独立，P（G）是参数G的先验概率分布。
这个式子中G可以是无限维的，此时P(G)也由分布推广到了一个随机过程
在上述3个模型中，可以证明，都满足 性质，也就是说，由G过程中可以生成一族X变量，在urn中，xi是第i个球的颜色，CRP中，Xi是第i个人的桌子
同时，这个性质也为使得用MCMC求解DPMM成为可能
参考文献：
的入门介绍： ： for
到的另一个不错的入门介绍：~/notes/dpmm.pdf
~lisa//31-10-2006.pdf
