第一个TF程序：Softmax回归介绍

Softmax回归介绍

我们知道MNIST的每一张图片都表示一个数字，从0到9。我们希望得到给定图片代表每个数字的概率。比如说，我们的模型可能推测一张包含9的图片代表数字9的概率是80%但是判断它是8的概率是5%（因为8和9都有上半部分的小圆），然后给予它代表其他数字的概率更小的值。

这是一个使用softmax回归（softmax regression）模型的经典案例。softmax模型可以用来给不同的对象分配概率。好了，那么概率又是什么东东？你可以把它看作是实现某件事情的可能性，如足彩中，鲁能泰山队赢上海上港的概率为50%，平和输的概率分别为30%、20%。

softmax回归（softmax regression）分两步：

第一步：为了得到一张给定图片属于某个特定数字类的证据（evidence），我们对图片像素值进行加权求和。如果这个像素具有很强的证据说明这张图片不属于该类，那么相应的权值为负数，相反如果这个像素拥有有利的证据支持这张图片属于这个类，那么权值是正数。

对于给定的输入图片 x 它代表的是数字 i 的证据可以表示为：

其中W_i 代表权重， 代表数字 i 类的偏置量，j 代表给定图片 x 的像素索引用于像素求和。