损失函数(最大似然损失函数公式)

损失函数，最大似然损失函数公式？

−yilogΠ(xi)−(1−yi)log(1−Π(xi)

损失函数(最大似然损失函数公式)

入射波和反射波合成的驻波方程？

y=2Acos(2兀x/入兀/2)cos(2兀t/T-兀/2)

加π是因为有相位的突变

中间是减号而不是加号是因为入射波和反射波传播方向版相反造成的。

例如：

当入射波向X轴正方向传播时，波函数表达式y=Acos【w（t-x/u）+&】

当入射波向X轴负方向传播时，波函数表达式y=Acos【w（t+x/u）+&】

简单推导质量平方损失函数？

损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。

其中，平方损失函数经常用在预测标签y为实数值的任务中，一般不适用于分类问题。

平方损失函数公式，y为真实值，\bar{y}为预测值：

J(\theta)=\frac{1}{2}(y-\bar{y})^2 (1)

二、为什么回归问题中损失函数可以用平方形式？（平方损失函数的由来）

基础准备：

正态分布 X\sim N(\mu ,\sigma ^{2}) ，连续型随机变量X的概率密度为：

f(x)=\frac{1}{\sqrt{2\pi \sigma }} e^{-\frac{(x-\mu )^{2}}{2 \sigma^{2}}} (2)

设总体X的概率密度为f(x,\theta )，其中\theta为未知参数，(x_{1},x_{2},...,x_{n})是一次试验中所获得的样本观察值，则似然函数为

L(\theta ,x_{1},x_{2},\cdot\cdot\cdot ,x_{n})=\prod_{n}^{j=1}f(x_{j},\theta ) (3)

证明：

设y为真实值，\bar{y}为预测值，x为输入，\epsilon为误差

则：

\left\{\begin{matrix} y^{(i)}-\bar{y^{(i)}}=\epsilon ^{(i)}\\ y^{(i)} = \theta^Tx^{(i)} \end{matrix}\right.

整理可得：

y^{(i)} = \theta^Tx^{(i)} + \epsilon^{(i)}

假设\epsilon^{(i)} \thicksim \mathcal{N}(0,\sigma^2)，分布是均值为0，方差为\sigma^2的正态分布，那么根据公式(2)可得，的概率密度为：

f(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp}\biggl(-\frac{(\epsilon^{(i)})^2}{2\sigma^2}\biggl)

整理后等价于：

f(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp}\biggl(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2}\bigg)

根据似然函数的定义得:

\begin{align*} L(\theta) &= \prod_{i=1}^nf(y^{(i)}|x^{(i)};\theta) \\ &= \prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp}\biggl(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2}\biggr) \end{align*}

两边同取log，得：

\begin{align*} \mathrm{log}L(\theta) &=\mathrm{log}\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp}\bigg(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2}\bigg) \\&= \sum_{i=1}^n\mathrm{log}\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp}\bigg(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2}\bigg) \\ &=-n\mathrm{log}{\sqrt{2\pi}\sigma}-\frac{1}{\sigma^2}\cdot\frac{1}{2}\sum_{i=1}^n(y^{(i)}-\theta^Tx^{(i)})^2\end{align*}

为了让似然函数尽可能打，需要让 \frac{1}{2}\sum_{i=1}^n(y^{(i)}-\theta^Tx^{(i)})^2尽可能小，（其余部分都为定值）；

也就等价于\frac{1}{2}\cdot(y-\bar{y})^2最小化。

我们把这个函数称为损失函数J(\theta )，在训练模型时，通过训练来找到使J(\theta )最小的\theta值。