当前位置: 首页 > news >正文

企业是做网站还是做微信成品源码1988

企业是做网站还是做微信,成品源码1988,智能手机网站建设,网站名称是什么在网上查了一些资料,但是这个情况和网上都不太一样。前100epoch能正常训练,loss缓慢下降,精度缓慢增大,但是突然loss就Nan了,我想应该不是样本问题也不是梯度爆炸或者loss中有除0吧,毕竟都训练了100epoch了…

在网上查了一些资料,但是这个情况和网上都不太一样。前100epoch能正常训练,loss缓慢下降,精度缓慢增大,但是突然loss就Nan了,我想应该不是样本问题也不是梯度爆炸或者loss中有除0吧,毕竟都训练了100epoch了
最终发现问题:
之前代码为:

predict = torch.log(torch.softmax(result, dim=-1))

损失函数为:

torch.nn.NLLLOSS

更改后

#predict = torch.log(torch.softmax(result, dim=-1))

直接删去softmax和log而损失函数改为:

criterion= nn.CrossEntropyLoss()

nan消失
网上查阅nn.CrossEntropyLoss()的实现为:

import torch.nn as nnm = nn.LogSoftmax()loss = nn.NLLLoss()# input is of size nBatch x nClasses = 3 x 5input = autograd.Variable(torch.randn(3, 5), requires_grad=True)# each element in target has to have 0 <= value < nclassestarget = autograd.Variable(torch.LongTensor([1, 0, 4]))output = loss(m(input), target)

其实直接使用pytorch中的loss_func=nn.CrossEntropyLoss()计算得到的结果与softmax-log-NLLLoss计算得到的结果是一致的。那原因主要在nn.LogSoftmax()上了。直接使用nn.LogSoftmax()和分开写:torch.log(torch.softmax(result, dim=-1))有什么不一样吗?为什么torch.log(torch.softmax(result, dim=-1))这样写会在训练过程中产生nan呢?

http://www.yayakq.cn/news/104618/

相关文章:

  • 手机网站 分享按钮网站建设 合作协议
  • 如何建立网站视频成都网站外包公司
  • 北京建机官网查询北京网站优化怎么样
  • 网站开发人员的短中长期目标浙江中联建设集团有限公司网站
  • 小规模网站开发税率莱芜手机网站建设电话
  • 生产建设网站基坑开挖深度做网站项目的意义ppt介绍
  • 网站的建设费用预算策划书ppt
  • 制作一个网站需要注意什么wordpress+学校模版
  • 网站开发工具软件彩票网站怎么做ip管理
  • 深圳做分销网站设计wordpress 3.8.3下载
  • 大兴专注高端网站建设磁力狗
  • 大岭山网站建设网页构建语言
  • 有培训做网站 小程序的学校楼市最新消息新政策
  • 不用虚拟机可以做网站吗平台搭建阳光房是否违章建筑
  • wordpress 免费主题站高端网站的设计开发公司
  • 北京网站建设价格天wordpress显示用户无效
  • 北京住建网站深圳展览展示公司排行
  • 网站建设预算方案app的技术框架有哪些
  • 教育中介公司网站建设费用wordpress中文采集插件
  • 帝国cms做网站流程石家庄网络公司招聘
  • 网站开发html的题网站中文名称注册
  • 做视频网站赚做视频网站赚外贸建站服务
  • 察隅网站建设腾讯如何做网站
  • html5手机企业网站模板wordpress获取点击量
  • 深圳网站建设找哪家好网站空间到期怎么办
  • 建设企业网站哪个好免费建设展示网站
  • 唐山有制作网站的没长安网站建设工作总结
  • 营销型网站建设思路建设网站多久到账
  • 广州商城建网站渠道做俄罗斯外贸的网站
  • 上饶便宜的网站建设ziranzhi wordpress