FEAT: Support minicpm-4B

[Jun-Howie]

Testing has been done locally and the model requires the following two dependencies to be added - datamodel_code_generator and jsonschema

[qinxuye]

Can you add this model to

inference/xinference/model/llm/vllm/core.py

Line 133 in d2a1196

]

to support vllm?

[Jun-Howie]

您能否将此模型添加到

inference/xinference/model/llm/vllm/core.py

Line 133 in d2a1196

]

支持 VLLM？

vllm is not officially supported yet，See the vllm branch maintained by minicpm

https://github.com/OpenBMB/vllm/tree/minicpm3
and
https://github.com/OpenBMB/vllm/blob/minicpm3/vllm/model_executor/models/minicpm3.py

[qinxuye]

LGTM

[linqingxu]

模型上线页面没有minicpm-4b模型

[Jun-Howie]

模型上线页面没有minicpm-4b模型

您是pip 安装的的xinference把，这个支持目前还没推送到pip源上，要等周五晚上发版

[linqingxu]

模型上线页面没有minicpm-4b模型

您是pip 安装的的xinference把，这个支持目前还没推送到pip源上，要等周五晚上发版

是用docker部署的，昨天pull的nightly-main镜像里找不到minicpm3-4b

[Jun-Howie]

模型上线页面没有minicpm-4b模型

您是pip 安装的的xinference把，这个支持目前还没推送到pip源上，要等周五晚上发版

是用docker部署的，昨天pull的nightly-main镜像里找不到minicpm3-4b

我拉了最新的nightly-main镜像 。是有这个模型的！

[linqingxu]

模型上线页面没有minicpm-4b模型

您是pip 安装的的xinference把，这个支持目前还没推送到pip源上，要等周五晚上发版

是用docker部署的，昨天pull的nightly-main镜像里找不到minicpm3-4b

我拉了最新的nightly-main镜像 。是有这个模型的！

又试了一次，现在有了，请问能支持vllm推理吗，我看minicpm是有支持vllm的（得安装他们的分支）

[Jun-Howie]

模型上线页面没有minicpm-4b模型

您是pip 安装的的xinference把，这个支持目前还没推送到pip源上，要等周五晚上发版

是用docker部署的，昨天pull的nightly-main镜像里找不到minicpm3-4b

我拉了最新的nightly-main镜像 。是有这个模型的！

又试了一次，现在有了，请问能支持vllm推理吗，我看minicpm是有支持vllm的（得安装他们的分支）

目前mincpm的vllm分支还没有合并到vllm主分支上，（所有暂时还不支持）你可以根据minicpm的文档单独进行编译