运行Hybridnets的val.py的出现killed

记录一下跑深度学习第一次碰到内存不足的情况（以往out of memery都是out的显存）
情况是这样的，我跑Hybridnets的源码的时候总是只能训练一轮，在跑验证集的时候就被killed了，我的batchsize和numworkers都改到1了，用watch -n 1 nvidia-smi监控显存的使用情况发现显存完全够用，确认不是显存的原因，于是直接下载了别人的weight拿来evaluation，结果是也被killed了，问题确实出现在模型评价阶段。

使用命令dmesg | tail -7找到kill的报错信息[5566089.647485] Memory cgroup out of memory: Killed process 1921139 (python) total-vm:57435468kB, anon-rss:28811464kB, file-rss:68356kB, shmem-rss:391176kB, UID:1000 pgtables:64812kB oom_score_adj:0这表示内存溢出。

使用watch -n 1 free -h监控内存占用情况，发现进程被kill之前内存占用确实不断上升直到溢出。

换了一个内存大的机器，看了一下内存占用情况发现峰值达到了120G，不过这里numworks是4，换成1的话也得30G以上的内存。

解决方案

先记录一下问题，目前解决方案是直接换机器，但感觉应该是代码写的有问题，同样是同时完成检测任务和分割任务的YOLOPX在evaluation的时候就没出现进程被killed的问题。
之后有时间再详细看下能不能从代码层面解决问题……