Repository navigation
复现过程发生OOM #5
Description
在复现过程中发生OOM，可能是什么原因？我应该如何设置参数？
详细情况：
GPU： 2*4090卡
Base：Model| Qwen/Qwen2.5-0.5B
Data：xiaodongguaAIGC/X-R1-750
Config：X_R1_zero_0dot5B_config.yaml 修改了num process=1，其他的不变
执行命令：
ACCELERATE_LOG_LEVEL=info
accelerate launch
--config_file recipes/zero1.yaml
--num_processes=1
src/x_r1/grpo.py
--config recipes/X_R1_zero_0dot5B_config.yaml
Activity
dhcode-cpp commentedon Feb 13, 2025
在
X_R1_zero_0dot5B_config.yaml调num_generations: 4max_completion_length: 512, 这两个影响训练量。另外建议上4卡。能够跑通0.5B/1.5B/3B, 各规模的Zero训练
heiseon commentedon Feb 13, 2025
尝试了一下4卡，发现deepspeed会报错：29500端口号已被占用。
dhcode-cpp commentedon Feb 13, 2025
pkill -9 'deepspeed'强制kill下