损失函数

在最优化，统计学，计量经济学，决策论，机器学习和计算神经科学的领域中，损失函数或成本函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数，借此直观表示的一些"成本"与事件的关联。一个最佳化问题的目标是将损失函数最小化。^[1]一个目标函数通常为一个损失函数的本身或者为其负值。当一个目标函数为损失函数的负值时，目标函数的值寻求最大化。

在统计学中，损失函数的作用是估计参数。

例子

平方损失函数

平方损失函数十分常见，比如用在最小二乘法中。它在数学上通常比其他损失函数更容易进行处理，这是因为它具有方差的性质，以及对称性：高于目标值的误差产生的损失与低于目标值同样大小的误差产生的损失相等。假设目标值为t，那么平方损失函数为

\lambda (x)=C(t-x)^{2}\;

其中C为某个常数，它的值与决定无关，并且可以通过设为1来略去。

0-1损失函数

在统计学与决策论中，一个常见的损失函数是0-1损失函数

L({\hat {y}},y)=I({\hat {y}}\neq y),\,

其中 $I$ 是指示函数。

参见

分类问题之损失函数

参考文献

^ 5 Regression Loss Functions All Machine Learners Should Know. Heartbeat. 2018-06-05 [2018-10-23].

[1] 5 Regression Loss Functions All Machine Learners Should Know. Heartbeat. 2018-06-05 [2018-10-23].

[1]