通过逻辑回归的 sigmoid 函数把线性回归转化到 [0, 1] 之间,这个值为什么可以代表概率?

通过逻辑回归的 sigmoid 函数把线性回归转化到 [0, 1] 之间,这个值为什么可以代表概率?

LR的sigmoid函数得到的值并不是天生就能被认为是概率。只是因为我们拿正确的概率分布和它的cross-entropy作为loss function去训练它,才使它逼近了我们想去逼近的那个概率分布模型。

训练完了之后,每个特征对应的参数就表示这个特征对这个概率的贡献度。

换句话说,是因为我们对着一个概率分布函数去训练它,所以使得它的输出是表示一个概率值的。

事实上我们不用sigmoid,用tanh或者其它能够具有类似值域的非线性函数也是可以的。

sigmoid函数的好处是,可以让每个特征的贡献度之和分布到整个实数区间上。