caffe: train error: Serializing 25 layers--- Check failed: proto.SerializeToOstream(&output)

   2023-02-09 学习力828
核心提示:I0221 21:47:41.826748  6797 solver.cpp:259]     Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)I0221 21:47:41.826756  6797 solver.cpp:590] Iteration 9980, lr = 0.001I0221 21:47:44.453655  6797 solver.cpp:468] Snapshott

I0221 21:47:41.826748  6797 solver.cpp:259]     Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)
I0221 21:47:41.826756  6797 solver.cpp:590] Iteration 9980, lr = 0.001
I0221 21:47:44.453655  6797 solver.cpp:468] Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel
I0221 21:47:44.453685  6797 net.cpp:948] Serializing 25 layers
F0221 21:47:47.096515  6797 io.cpp:69] Check failed: proto.SerializeToOstream(&output)
*** Check failure stack trace: ***
    @     0x7f06066beb7d  google::LogMessage::Fail()
    @     0x7f06066c0c7f  google::LogMessage::SendToLog()
    @     0x7f06066be76c  google::LogMessage::Flush()
    @     0x7f06066c151d  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f0606effe4e  caffe::WriteProtoToBinaryFile()
    @     0x7f0606e1d30f  caffe::WriteProtoToBinaryFile()
    @     0x7f0606e20a46  caffe::Solver<>::SnapshotToBinaryProto()
    @     0x7f0606e206ec  caffe::Solver<>::Snapshot()
    @     0x7f0606e1fe72  caffe::Solver<>::Step()
    @     0x7f0606e1f1d3  caffe::Solver<>::Solve()
    @           0x416280  train()
    @           0x418206  main
    @     0x7f0605be376d  (unknown)
    @           0x414fe9  (unknown)
Aborted (core dumped)
d302@d302-MS-7816-04:~/wangxiao/caffe-master$


解决方案:  2016年8月14号 补充

 

caffe: train error:  Serializing 25 layers---  Check failed: proto.SerializeToOstream(&output)

 

 

前两天有园友来问我,这个问题有没有解决,我回答说:忘了,好久之前的了,果然今天就出现了这个问题,昨晚跑的 VGG,出现了相同的问题,可是我之前跑那个代码 一直没问题啊,呃呃呃,我看错误是:

Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel

 

Check failed: proto.SerializeToOstream(&output) 

 

我扫了一眼,保存的 caffemodel,发现: _iter_10000.caffemodel 是存在的,但是 _iter_10000.solverstate 不在,估计是保存的问题,难道是空间不够用了?我删除了其他无关的 model,在 8000次迭代产生的 model上继续训练,待会就知道是否是 磁盘空间不足导致的问题了。。。

 

 

目测,已经过了那个错误的点了,所以,解决这个问题的答案是:存储空间不足,清理磁盘空间吧 。。。

 

另外,感谢园友的提醒,他解决的方法是:

  原来是之前穿件文件用了sudo,跑程序的时候没有加sudo,导致权限不够,加了sudo后就ok了

 

 
反对 0举报 0
 

免责声明:本文仅代表作者个人观点,与乐学笔记(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • caffe调试 ubuntu1404+eclipse
    转自:http://blog.csdn.net/yaoxingfu72/article/details/47999795首先确保你caffe编译成功,而且makefile.config中将DEBUG:=1那一行取消注释,我的caffe根目录为 caffe-master。你也可以在Eclipse中编译caffe,我是先编译好caffe,然后进入Eclipse中调试1
    03-08
  • caffe数据集——LMDB caffe scale
    caffe数据集——LMDB caffe scale
    LMDB介紹Caffe使用LMDB來存放訓練/測試用的數據集,以及使用網絡提取出的feature(為了方便,以下還是統稱數據集)。數據集的結構很簡單,就是大量的矩陣/向量數據平鋪開來。數據之間沒有什麼關聯,數據內沒有復雜的對象結構,就是向量和矩陣。既然數據並不復
    03-08
  • 如何在Caffe下实现SSD caffe部署
    如何在Caffe下实现SSD caffe部署
    一. 配置 Caffe环境及下载、编译、测试SSD源码1.下载源码git clone https://github.com/weiliu89/caffe.gitcd caffegit checkout ssd2. 编译源码配置Makefile.config【Instuction】【已配置好文件】编译python接口等make -j8# Make sure to include $CAFFE_RO
    03-08
  • Caffe hdf5 layer data 大于2G 的导入
    问题:      Datatype class: H5T_FLOAT,      Check failed: error == cudaSuccess (2 vs. 0)  out of memory.      hdf5 layer 最大的导入的大小是2G, 超过会报错[1]。解决方法:     有人 h5repart -m1g 将数据集分割成多个文件每个是
    02-10
  • caffe神经网络中不同的lr_policy间的区别
    lr_policy可以设置为下面这些值,相应的学习率的计算为:- fixed:   保持base_lr不变.- step:    如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数- exp:     返回base_lr
    02-10
  • Ubuntu配置GPU+CUDA+CAFFE ubuntu配置dns
    参考网站:http://blog.csdn.net/xizero00/article/details/43227019/ (主要参考)http://www.cnblogs.com/platero/p/3993877.html (caffe+cudaGPU)http://www.cnblogs.com/platero/p/4118139.html (cuDNN)http://developer.download.nvidia.com/compute/cuda/
    02-10
  • 关于深度学习(deep learning)的常见疑问 --- 谷
    问答环节问:在finetuning的时候,新问题的图像大小不同于pretraining的图像大小,只能缩放到同样的大小吗?” 答:对的:)问:目前dl在时序序列分析中的进展如何?研究思路如何,能简单描述一下么答:这个有点长,可以看看google最近的一系列machine trans
    02-10
  • 深度学习框架Caffe —— Deep learning in Prac
    因工作交接需要, 要将caffe使用方法及整体结构描述清楚。 鉴于也有同学问过我相关内容, 决定在本文中写个简单的tutorial, 方便大家参考。 本文简单的讲几个事情:Caffe能做什么?为什么选择caffe?环境整体结构Protocol buffer训练基本流程Python中训练Debu
    02-09
  • 使用caffe的HDF5数据完毕回归任务
        一直在研究怎样用caffe做行人检測问题。然而參考那些经典结构比方faster-rcnn等,都是自己定义的caffe层来完毕的检測任务。这些都要求对caffe框架有一定程度的了解。近期看到了怎样用caffe完毕回归的任务,就想把检測问题当成回归问题来解决。   
    02-09
  • caffe添加自己的层
    caffe添加自己的层
    首先修改src/caffe/proto/下的caffe.proto,修改好后需要编译     然后修改include/caffe/layers/logwxl_layer.hpp然后修改src/caffe/layers/logwxl_layer.cpp和logwxl_layer.cu最后make all ,make test ,make runtest在make runtest的时候,卧槽有一个错
    02-09
点击排行