关于GPU上进程杀不死的解决

【时间】2018.12.13 【题目】程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法 当使用GPU跑程序时，程序退出后依旧占用GPU和内存资源，进程依旧存在时，可以用下面的方法强制kill掉进程： （1）请先查看占用资源的进程归属方是谁，以及运行的是什么指令：    ps -f PID号 （2）然后确认该进程可以kill掉情况下直接杀掉：     kill -9 PID号 ...

问题描述： 终止正在运行的GPU进程： C:\Users\Tianle Hu>nvidia-smi Fri May 14 16:04:55 2021 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 452.69 Driver Version: 452.69 CUDA Version: 11.0 | |-----------------

1、用nvidia-smi也好，top也好都找不到kill掉的进程了，但是显存仍然占用没有被释放，怎么办呢？毕竟top也找不到进程号呀 用以下指令查找出top没有而他有的进程 fuser -v /dev/nvidia* 逐个kill掉top中不显示的进程就可以了 2、pytorch杀不干净 ps aux|grep lk|grep python|awk '{print $2}'|xargs kill 3、更加暴力的方法是直接删除该用户的所有的进程，这时候该用户的所有进程都没了 killall -u usr

最近GPU上某些进程杀不死，查了一下说是因为父进程虽然kill了，但是子进程的内存还没有释放。因此要重新杀死父进程，我们通过 ps -ef|grep 进程ID ，来查找其父进程。然后再使用 kill -9 父进程ID 来杀死。 ...

1、问题描述 近期在docker容器中对一批数据通过算法进行清洗时，当数据处理完成后发现进程未正常退出，GPU内存未正常释放。 [root@ai66 ~]# nvidia-smi Sun Sep 26 09:10:45 2021 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 455.38 Driver Version: 455.38 CUDA V

最近遇到了一个烦心事，我后台跑了一个搜索超参数的文件（占用大内存和大显存），但是发现程序有误，企图断掉，使用kill -9 + 进程号之后terminal告诉我已杀死，但是在显存上仍然占用。如图： 总不能一直跑下去吧，如果被错认为占卡，容易被实验室的人打死。神奇的是，jobs命令、htop命令、ps aux|grep命令都找不到进程。由于喜欢高亮显示，并且想看到每个进程都是谁在跑，所以我查看显存一直使用gpustat命令（上面这张图），很少使用watch -n 1 nvidia-smi命令。于是我尝试着使

kill杀死程序流程检查GPU进程nvidia-smi单卡任务kill指令kill -GPU索引号 -PID多卡任务kill指令fuser -v /dev/nvidia*kill -PID小结 最近在学习Pytorch的DistributedDataParallel API进行多GPU并行计算的实现，并行虽好，但是一旦代码有bug手动强行终止运行，经常出现部分进程还没终止的现象，还在后台运行占用资源，必须手动杀死进程。然而kill进程却没那么顺利，有些进程怎么也杀不死，看了好些方法都没用，最后自己摸索了出来

本文探究nvidia-smi不显示正在使用GPU的进程的原因并予以解决

转载地址：https://blog.csdn.net/qq_33547191/article/details/86263859 下图是我当时遇到的问题 如上图，GPU1 显示占用了10G多的显存，但是却没有相应的进程。此时可使用如下命令查看进程： fuser -v /dev/nvidia* 显示如下图： 此时把这些进程全部 kill 掉 kill -9 5142 5143 5144 ...

问题： 有进程占用显存，但是通过kill -9 PID杀不掉，进程Running态 应该是等不到数据导致阻塞。 ➜ ~ alias pg pg='ps aux | grep $1' ➜ ~ pg 22109 chenkan+ 10350 0.0 0.0 112680 992 pts/24 S+ 21:33 0:00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-d

一、查看gpu的情况 nvidia-smi 二、查看gpu上的进程情况 fuser -v /dev/nvidia* ps -aux |grep 具体的PID 三、一次杀死多个gpu进程https://www.cnblogs.com/dingyingsi/p/5305792.html ps -ef | grep firefox | grep -v grep | cut -c 9...

问题：最近在使用nvidia-smi查看gpu使用率的时候，发现几个kill -9 杀不掉的死进程，占着显存不释放。 解决方法： 使用这个命令查看在GPU上运行的进程；fuser -v /dev/nvidia* 一般GPU进程都是连号的，可以选择kill -9 PID单次的杀掉某些进程； 也可以选择批量杀掉，ps -ef | grep pytorch10 | grep -v grep | a...

GPU显存"幽灵占用"问题解决方案 当nvidia-smi显示显存被占用但找不到对应进程时，会导致新任务因显存不足而失败。该问题通常由进程异常终止或残留的共享内存段导致。解决方案分两步：1)使用sudo fuser -k /dev/nvidia*终止所有关联进程；2)执行sudo ipcs -m | grep nvidia | awk '{print $2}' | xargs -I {} sudo ipcrm -m {}清理残留共享内存。完成这两步后，显存将完全释放，GPU可重新使用。

** Nvidia显存占用问题 ** 程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？ 这是因为使用PyTorch设置多线程进行数据读取，其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下

今天使用服务器的时候发现gpu被占了很多内存，但是使用 `nvidia-smi` 命令并没有发现占这么多显存的进程。通过将gpu视为文件，查看访问该文件的进程来找到问题进程，然后尝试杀死相关进程，最后将该用户下的进程一键杀死来解决问题。

前几天遇到了一个问题，通过pool方法创建多进程，在进程外部load模型，然后在进程内部进行预测。发现进程死掉，没有报错。 import cv2 import os import matplotlib.pyplot as plt import numpy as np from onehot import onehot import torch import torch.nn as nn fro...

输入 nvidia-smi 显示 GPU 3 没有进程在运行，但是Volatile GPU-Util达到了71% ➜ compute-0-1: ~/> nvidia-smi Mon Sep 26 14:48:00 2016 +----------------------------------------------------------------------...

通常情况下，停止进程显存会释放 但是如果在不正常情况关闭进程，可能不会释放，这个时候就会出现这样的情况： Mon Oct 19 16:00:00 2020 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 410.104 Driver Version: 410.104 CUDA Version: 10.0 | |-------