Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

发现的几个问题:路径 #3

Open
znsoftm opened this issue Jul 29, 2021 · 7 comments
Open

发现的几个问题:路径 #3

znsoftm opened this issue Jul 29, 2021 · 7 comments

Comments

@znsoftm
Copy link
Contributor

znsoftm commented Jul 29, 2021

  1. 主要是路径问题 , 在config.py中修改路径后,还会去/data/dataset/coco_dataset下找数据
    2 目标的类名,不需要写在config.py中吧,直接从数据中读
  2. 不确定是不是本程序的问题,wsl2中的linux下暴显存(3090 24G显存)
  3. 能否支持预训练模型? 比如我要训练自己的目标检测类,数据量一般的情况下,没预训练模型不方便
@zhangming8
Copy link
Owner

谢谢提出的问题。

  1. 可以看下 train.sh,里面有传入dataset_path,会给config.py的数据路径重新赋值,可以把这个里面的给删掉,后面我更新的时候注意这点。类别名称可以在json中获取,但是考虑到真正部署的时候还带一个json文件比较麻烦,最后就写在配置文件中
  2. 不好意思,我一直在ubuntu下测试的,win下只调通了cpu版的。后面有时间会测试一下
  3. 这个我也在训练,完成后会放出来,便于finetune

@jolt2017
Copy link

  1. 主要是路径问题 , 在config.py中修改路径后,还会去/data/dataset/coco_dataset下找数据
    2 目标的类名,不需要写在config.py中吧,直接从数据中读
  2. 不确定是不是本程序的问题,wsl2中的linux下暴显存(3090 24G显存)
  3. 能否支持预训练模型? 比如我要训练自己的目标检测类,数据量一般的情况下,没预训练模型不方便

我用 yolox-nano 训练的时候也遇到显存不够的情况了,因为之前还有别的模型在训练,现在重新在一块gpu 上再训练一次

@zhangming8
Copy link
Owner

zhangming8 commented Jul 30, 2021

  1. 主要是路径问题 , 在config.py中修改路径后,还会去/data/dataset/coco_dataset下找数据
    2 目标的类名,不需要写在config.py中吧,直接从数据中读
  2. 不确定是不是本程序的问题,wsl2中的linux下暴显存(3090 24G显存)
  3. 能否支持预训练模型? 比如我要训练自己的目标检测类,数据量一般的情况下,没预训练模型不方便

我用 yolox-nano 训练的时候也遇到显存不够的情况了,因为之前还有别的模型在训练,现在重新在一块gpu 上再训练一次

可以试一下把多尺寸训练关闭,多尺寸训练占用显存变化较大。opt.random_size = (20, 21),另外train.sh里面传的有batch_size 这里也可以调小一下

@jolt2017
Copy link

  1. 主要是路径问题 , 在config.py中修改路径后,还会去/data/dataset/coco_dataset下找数据
    2 目标的类名,不需要写在config.py中吧,直接从数据中读
  2. 不确定是不是本程序的问题,wsl2中的linux下暴显存(3090 24G显存)
  3. 能否支持预训练模型? 比如我要训练自己的目标检测类,数据量一般的情况下,没预训练模型不方便

我用 yolox-nano 训练的时候也遇到显存不够的情况了,因为之前还有别的模型在训练,现在重新在一块gpu 上再训练一次

可以试一下把多尺寸训练关闭,多尺寸训练占用显存变化较大。opt.random_size = (20, 21),另外train.sh里面传的有batch_size 这里也可以调小一下

(1)这里面多尺度训练要怎么改能,我现在面临的任务是 输入图像尺寸是 1280x720 ,但是检测目标一般在 20x20左右,并且一张图像里可能平均只有 3~4个左右目标。想问下 这里的 random_size 是啥意思。

(2)我现在把代码修改成,可以在指定gpu 跑,但是,跑起来还是发现 0 gpu会占用一部分显存大概 800M 显存,和训练指定的 gpu 是同一个 PID,不知道是怎么回事。

(3)
企业微信截图_16276329684390
这里我改成 这样了,否则 grid device 在 gpu 0上 , 不是我设置的 gpu 3

@zhangming8
Copy link
Owner

  1. 主要是路径问题 , 在config.py中修改路径后,还会去/data/dataset/coco_dataset下找数据
    2 目标的类名,不需要写在config.py中吧,直接从数据中读
  2. 不确定是不是本程序的问题,wsl2中的linux下暴显存(3090 24G显存)
  3. 能否支持预训练模型? 比如我要训练自己的目标检测类,数据量一般的情况下,没预训练模型不方便

我用 yolox-nano 训练的时候也遇到显存不够的情况了,因为之前还有别的模型在训练,现在重新在一块gpu 上再训练一次

可以试一下把多尺寸训练关闭,多尺寸训练占用显存变化较大。opt.random_size = (20, 21),另外train.sh里面传的有batch_size 这里也可以调小一下

(1)这里面多尺度训练要怎么改能,我现在面临的任务是 输入图像尺寸是 1280x720 ,但是检测目标一般在 20x20左右,并且一张图像里可能平均只有 3~4个左右目标。想问下 这里的 random_size 是啥意思。

(2)我现在把代码修改成,可以在指定gpu 跑,但是,跑起来还是发现 0 gpu会占用一部分显存大概 800M 显存,和训练指定的 gpu 是同一个 PID,不知道是怎么回事。

(3)
企业微信截图_16276329684390
这里我改成 这样了,否则 grid device 在 gpu 0上 , 不是我设置的 gpu 3

(1)多尺度opt.random_size = (a, b)表示随机选择从a到(b-1)的值x,然后x32为最终尺寸。所以设置opt.random_size = (20, 21)时只能选择x=20,这样输入尺寸只能是2032=640,这也就取消了多尺寸训练,可以参考https://github.com/zhangming8/yolox-pytorch/blob/main/train.py#L106
(2,3)目前我的代码是在单gpu下调试的,这两天会在多gpu下调通,谢谢你的测试。

@zhangming8
Copy link
Owner

20210731 update:
已经放出了预训练权重,可以在自己的数据上finetune了

@yh-pengtu
Copy link

请问下百度云的yolox_coco文件是预训练模型还是在coco上训练好的,如果是已经在coco训练好的权重应该怎么获取imagenet的预训练模型呢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants