当前位置： 首页 > news >正文

涡阳做网站王烨烨

news 2025/11/6 8:14:08
涡阳做网站,王烨烨,网站连接数据库失败怎么办,杭州做网站公司对数似然损失函数（Log-Likelihood Loss Function） 对数似然损失函数是机器学习和统计学中广泛使用的一种损失函数，特别是在分类问题（例如逻辑回归、神经网络）中应用最为广泛。它基于最大似然估计原理，通过…

对数似然损失函数（Log-Likelihood Loss Function）

对数似然损失函数是机器学习和统计学中广泛使用的一种损失函数，特别是在分类问题（例如逻辑回归、神经网络）中应用最为广泛。它基于最大似然估计原理，通过最小化负对数似然（negative log-likelihood, NLL）来优化模型参数。

1. 对数似然损失的定义

对于一个分类问题，我们的目标是预测输入 x 属于类别 y∈{0,1} 的概率。假设模型输出的概率为 P(y=1|x) = \hat{y}​，则：

对数似然函数

似然函数衡量模型参数在观察到数据下的概率。假设数据集为 \{(x_i, y_i)\}_{i=1}^N​，样本 i 的预测概率为 \hat{y}_i，其似然函数为：

L(\theta) = \prod_{i=1}^N P(y_i | x_i; \theta)

对数似然函数

对数化简乘积：

\ell(\theta) = \log L(\theta) = \sum_{i=1}^N \log P(y_i | x_i; \theta)

 

2. 损失函数形式

为了简化计算，优化通常使用负对数似然损失函数（即最大化对数似然的对立面）：

\mathcal{L}(\theta) = -\ell(\theta) = -\sum_{i=1}^N \log P(y_i | x_i; \theta)

二分类问题

对二分类问题，假设 P(y=1|x) = \hat{y}​，P(y=0|x) = 1 - \hat{y}​，则：

P(y|x) = \hat{y}^y (1 - \hat{y})^{1-y}

对数化并取负得到：

\mathcal{L}(\theta) = -\sum_{i=1}^N \left[ y_i \log \hat{y}_i + (1 - y_i) \log (1 - \hat{y}_i) \right]

这就是交叉熵损失函数的形式，广泛用于二分类问题。

3. 推导直观理解

1. 对数似然的意义

对数似然量化了模型预测的质量：

  • y_i = 1：我们希望预测概率 \hat{y}_i​ 越大越好。
  • y_i = 0：我们希望预测概率 1 - \hat{y}_i​ 越大越好。

通过最大化对数似然（或最小化负对数似然），模型会调整参数使其预测概率最接近真实概率。

2. 为什么对数？

  • 简化计算：对数化后，将乘积变为求和，优化更加高效。
  • 凸性：对数函数的特性使得损失函数在很多情况下是凸的，便于求解全局最优解。

4. 多分类问题

对于多分类问题（如 softmax 分类器），假设类别标签为 y∈{1,2,…,K}y，模型预测类别 j 的概率为 \hat{y}_j = P(y=j|x)。

似然函数

P(y|x) = \prod_{j=1}^K \hat{y}_j^{\mathbb{1}(y=j)}

其中 {1}(y=j)是指示函数，表示样本 y 是否属于类别 j。

对数化

\ell(\theta) = \log P(y|x) = \sum_{j=1}^K \mathbb{1}(y=j) \log \hat{y}_j

负对数似然损失

对于整个数据集：

\mathcal{L}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \hat{y}_{i,y_i}

其中，\hat{y}_{i,y_i}​​ 是样本 i 对真实类别 y_i 的预测概率。

5. 代码实现

以下是二分类和多分类对数似然损失的 Python 实现：

1. 二分类损失

import numpy as npdef binary_log_likelihood_loss(y_true, y_pred):"""计算二元对数似然损失函数。参数:y_true: 真实标签数组，包含0和1，表示负类和正类。y_pred: 预测标签数组，包含0到1之间的浮点数，表示属于正类的概率。返回:返回二元对数似然损失函数的负均值。"""# 避免数值问题y_pred = np.clip(y_pred, 1e-10, 1 - 1e-10)# 计算并返回二元对数似然损失return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))# 示例
y_true = np.array([1, 0, 1, 1, 0])
y_pred = np.array([0.9, 0.1, 0.8, 0.7, 0.3])
# 计算损失并输出
loss = binary_log_likelihood_loss(y_true, y_pred)
print("Binary Log-Likelihood Loss:", loss)

输出结果

Binary Log-Likelihood Loss: 0.22944289410146546

2. 多分类损失

from sklearn.metrics import log_loss# 示例数据
# 实际的类别标签
y_true = [0, 2, 1, 2]
# 预测的类别概率，每个子列表代表一个样本预测为各个类别的概率
y_pred = [[0.9, 0.05, 0.05],[0.1, 0.1, 0.8],[0.2, 0.7, 0.1],[0.05, 0.1, 0.85]
]# 使用 sklearn 计算对数似然损失
# 该函数计算的是模型预测的类别概率与实际类别标签之间的对数似然损失
# 对于多分类问题，该损失函数可以衡量模型预测概率与真实标签之间的差异程度
loss = log_loss(y_true, y_pred)
print("Multi-class Log-Likelihood Loss:", loss)

输出结果

Multi-class Log-Likelihood Loss: 0.2119244851021358

6. 对数似然损失的应用

  1. 逻辑回归：
    • 二分类逻辑回归中，使用对数似然损失来拟合模型参数。
  2. 神经网络：
    • 输出层通常采用 softmax 函数并结合对数似然损失，用于多分类任务。
  3. 最大熵模型：
    • 最大化熵等价于最小化负对数似然。

7. 优点与缺点

优点

  • 对概率建模有理论支撑，直观解释预测置信度。
  • 能有效捕捉预测概率的质量。

缺点

  • 对异常值敏感：错误分类的高置信预测会导致损失剧增。
  • 数值问题：log⁡(0) 会引发计算错误，需引入数值稳定策略。

对数似然损失函数连接了统计学中的最大似然估计与机器学习中的损失优化，是现代监督学习模型的理论基石之一！

http://www.yayakq.cn/news/506080/

相关文章：

  • 兰州做网站哪家专业找加工订单的网站
  • 温州市微网站制作电话做网站网站建设专业公司哪家好
  • 网站开发费用的会计分录素马网站建设费用差距
  • 招聘预算网站怎么做企业网站建设公司宣武
  • 萤石云网站开发google地图 wordpress
  • 上海市建设工程质监站网站wordpress 增加背景
  • 包头网站建设兼职怎么推广微信小程序
  • 广州外贸网站制作常用于制作网页的软件
  • 亚马逊网站建设性提议惠州市seo网站设计
  • 做特价的网站网站建设投资风险分析
  • 自己可以给公司做网站吗wordpress4.9.6中文版
  • 网站后台管理员职责个人网站毕业设计作品
  • 石家庄网站建设全包做商业网站是否要备案
  • 做网站现在要多少钱wordpress中修改链接
  • 陕西省住房和城乡建设厅官方网站wordpress网站搬家
  • 建设银行网上营业厅官方网站下载教育机构做网站素材
  • 创一家网站网站备案核验点 上海
  • 网站设计三把火学生网页设计主题推荐
  • 好看的手机网站模板免费下载服务器做网站配置
  • 上海网站建设公司指南电商出口营销要多少钱
  • 潍坊知名网站建设网站网络优化服务器
  • 西安网站建设公司排定制网站建设托管
  • 男女之间做那个的网站中国建设职业注册中心网站
  • 中国建设人才服务信息网是不是假冒网站wordpress支持大数据处理
  • 网页制作制作网站如何自己制作公司网站
  • 国外的网页制作网站福州制作网站提供商
  • 网站制作案例流程图python版 wordpress
  • 旅游网站制作旅游网科技袁人袁岚峰
  • 邯郸市建设局查中级职称网站怎么增加网站的外链
  • 网站建设免谷歌seo是什么意思