Qwen3MoeForCausalLM的问题？

[SilenceGoo]

大家有没有碰到这个问题的？似乎是Qwen3MoeForCausalLM模块没有被识别到？求指点。

[Panzer-vor-08]

同问，用的是9950x3d+5090，wsl2子系统，也出现这个错误，查阅vllm的issues https://github.com/vllm-project/vllm/issues/20122 https://github.com/vllm-project/vllm/issues/17529 都没发现解决方法

[Panzer-vor-08]

我又试了一下，用这条命令，调用vllm直接读取通义DeepResearch模型时能正常运行，是不是基本排除了vllm内部的问题
vllm serve /home/dlw2020/gitHub/Tongyi-DeepResearch-main/models/Tongyi-DeepResearch-30B-A3B-Int4-W4A16
--host 0.0.0.0 --port 8000
--max-model-len 40960
--gpu-memory-utilization 0.9
--served-model-name Tongyi-DeepResearch-30B-A3B-Int4-W4A16

成功运行后报的
(APIServer pid=218471) INFO: Started server process [218471]
(APIServer pid=218471) INFO: Waiting for application startup.
(APIServer pid=218471) INFO: Application startup complete.

[SilenceGoo]

我又试了一下，用这条命令，调用vllm直接读取通义DeepResearch模型时能正常运行，是不是基本排除了vllm内部的问题 vllm serve /home/dlw2020/gitHub/Tongyi-DeepResearch-main/models/Tongyi-DeepResearch-30B-A3B-Int4-W4A16 --host 0.0.0.0 --port 8000 --max-model-len 40960 --gpu-memory-utilization 0.9 --served-model-name Tongyi-DeepResearch-30B-A3B-Int4-W4A16

成功运行后报的 (APIServer pid=218471) INFO: Started server process [218471] (APIServer pid=218471) INFO: Waiting for application startup. (APIServer pid=218471) INFO: Application startup complete.

我试了一下这条命令启用全量模型，还是不行，下周再试试。

[Panzer-vor-08]

我自己已解决：
.env文件中GLOO_SOCKET_IFNAME=eth0报错为核心原因，用ip link show查看哪些接口可以使用，选择可以使用的替换上去（我用的是eth6）

另外可以在.env文件中添加一行CUDA_VISIBLE_DEVICES=0，减少前面的报错

附上启动成功的图

[SilenceGoo]

我自己已解决： .env文件中GLOO_SOCKET_IFNAME=eth0报错为核心原因，用ip link show查看哪些接口可以使用，选择可以使用的替换上去（我用的是eth6）

另外可以在.env文件中添加一行CUDA_VISIBLE_DEVICES=0，减少前面的报错

附上启动成功的图

测试了你的方法，我的还是不行，不管是INT4版本和全量版本，太奇怪了。方便截图下ip link show的显示吗？

[Panzer-vor-08]

我自己已解决： .env文件中GLOO_SOCKET_IFNAME=eth0报错为核心原因，用ip link show查看哪些接口可以使用，选择可以使用的替换上去（我用的是eth6）
另外可以在.env文件中添加一行CUDA_VISIBLE_DEVICES=0，减少前面的报错
附上启动成功的图

测试了你的方法，我的还是不行，不管是INT4版本和全量版本，太奇怪了。方便截图下ip link show的显示吗？

我自己是因为后面启动出了问题，模型加载是没问题的，你可以用vllm serve 部署Qwen3的模型试一下能不能加载进去，如果普通模型也加载不进去就是你vllm，torch，cuda这些出了问题，不然才是这个通义的项目出的问题。我是后者

[SilenceGoo]

我自己已解决： .env文件中GLOO_SOCKET_IFNAME=eth0报错为核心原因，用ip link show查看哪些接口可以使用，选择可以使用的替换上去（我用的是eth6）
另外可以在.env文件中添加一行CUDA_VISIBLE_DEVICES=0，减少前面的报错
附上启动成功的图

测试了你的方法，我的还是不行，不管是INT4版本和全量版本，太奇怪了。方便截图下ip link show的显示吗？

我自己是因为后面启动出了问题，模型加载是没问题的，你可以用vllm serve 部署Qwen3的模型试一下能不能加载进去，如果普通模型也加载不进去就是你vllm，torch，cuda这些出了问题，不然才是这个通义的项目出的问题。我是后者

测试vllm确实是通过的，可以看图。

**但是执行deepresearch的命令后，就是下边这种情况。我的理解是vllm调用模型正常，但是deepresearch又有其它问题？**