当我体验了一下医疗大模型Baichuan-阿南达文事网

当我体验了一下医疗大模型Baichuan

专业的医疗大模型

最近偶然刷到医疗大模型开源，有点激动。

跃跃欲试，果断用在线算力体验了一下。

先说下整体感受。作为普通模型，医疗之外的对话，肯定不如推理大模型。

参数量为14B（140亿参数），在医疗行业大模型中，参数量不算小。

在一些医学伦理问题上，回答没有克制（需要后期微调处理）。

虽然是开源，但是商用需要申请许可证（具体许可费用不太清楚）。

体验过程不太流畅，我使用的ms-swift工具进行推理。

本以为下载完大模型权重文件，配置一下ms-swift就可以进行推理了。

结果一坑接着一坑。

体验踩坑之路

依赖方面，主要依赖如下版本：

代码语言：javascript代码运行次数：0运行复制

transformers==4.48.1
flash-attn==2.7.3

安装flash-attn的时候可以禁用缓存:

代码语言：javascript代码运行次数：0运行复制

pip cache purge && pip install flash-attn --no-cache-dir

宗旨是缺什么就安装什么。

推理脚本：

/root/Baichuan-M1是大模型权重文件所在路径。

CUDA_VISIBLE_DEVICES指定GPU，可以选择使用几张进行推理，多张可以写: CUDA_VISIBLE_DEVICES=0,1,2,3这样。

代码语言：javascript代码运行次数：0运行复制

CUDA_VISIBLE_DEVICES=0 swift infer \
  --model "/root/Baichuan-M1" \
  --temperature 0.7 \
  --max_length 512 \
  --top_p 0.9

等加载完就可以提问了。

如果你想要界面推理，可以使用下面的命令：

swift web-ui --lang zh

然后打开: localhost:7860 选择推理选项卡。

在模型那个位置填入你的大模型权重文件路径回车，后面两个选项选择Baichuan-m1就可以了。

最低配置需要：GPU 48GB（3090 * 2），磁盘空间：30GB

如果你对推理有疑问，可以在评论区交流。

推理体验

千问作为出题人。

下面摘了一部分问题，作为测试。

体验1

体验2

体验3

体验4

体验5

体验6

觉得有意思可以关注一下，后续体验更多大模型。

或者你有想体验还没体验的大模型，可以说一下。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2025-04-10，如有侵权请联系 cloudcommunity@tencent 删除医疗开源脚本模型配置

当我体验了一下医疗大模型Baichuan