人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » 最新消息

“本草”大模型开源,ChatGPT时代,连AI私人医生都出现了?

2023-11-27 149

今天给大家分享的ChatGPT新应用项目,是ChatGPT模型在医学领域的应用,什么,医学领域?

是的,没错,是医学领域的ChatGPT应用,我们都知道ChatGPT是OpenAI开源的一个智能对话式引擎,今天给大家分享的项目叫“本草”。

“本草”大模型开源,ChatGPT时代,连AI私人医生都出现了?插图

“本草”模型是经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。

通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集,并在此基础上对LLaMA进行了指令微调,提高了LLaMA在医疗领域的问答效果。

“纸上来得终觉浅,绝知此事要躬行”,我们直接演示一下具体的使用效果。

1.安装依赖包,python环境建议3.9

accelerate
appdirs
bitsandbytes
black
black[jupyter]
datasets
fire
git+github.com/huggingface/
git+github.com/huggingface/
gradio
sentencepiece
wandb

执行Linux系统指令:

pip install -r requirements.txt

2. 中医推理模型权重的下载

(1)对LLaMA进行指令微调的LoRA权重文件:

#基于医学知识库
lora-llama-med/
– adapter_config.json # LoRA权重配置文件
– adapter_model.bin # LoRA权重文件

#基于医学文献
lora-llama-med-literature/
– adapter_config.json # LoRA权重配置文件
– adapter_model.bin # LoRA权重文件

(2)对Alpaca进行指令微调的LoRA权重文件

#基于医学知识库
lora-alpaca-med-alpaca/
– adapter_config.json # LoRA权重配置文件
– adapter_model.bin # LoRA权重文件

#基于医学知识库和医学文献
lora-alpaca-med-alpaca-alldata/
– adapter_config.json # LoRA权重配置文件
– adapter_model.bin # LoRA权重文件

3. 训练数据集构建

采用了公开和自建的中文医学知识库,医学知识库围绕疾病、药物、检查指标等构建,字段包括并发症,高危因素,组织学检查,临床症状,药物治疗,辅助治疗等。

知识库示例如下:

{
"中心词": "偏头痛",
"相关疾病": ["妊娠合并偏头痛", "恶寒发热"],
"相关症状": ["皮肤变硬", "头部及眼后部疼痛并能听到连续不断的隆隆声", "晨起头痛加重"],
"所属科室": ["中西医结合科", "内科"],
"发病部位": ["头部"]
}

我们利用GPT3.5接口围绕医学知识库构建问答数据,设置了多种Prompt形式来充分利用知识。

指令微调的训练集数据示例如下:

"问题:一位年轻男性长期使用可卡因,突然出现胸痛、呕吐、出汗等症状,经检查发现心电图反映心肌急性损伤,请问可能患的是什么疾病?治疗方式是什么?"

回答: 可能患的是心肌梗塞,需要进行维拉帕米、依普利酮、硝酸甘油、ß阻滞剂、吗啡等药物治疗,并进行溶栓治疗、低分子量肝素、钙通道阻滞剂等辅助治疗。此外需要及时停用可卡因等药物,以防止病情加重。"

4. 运行应用效果测试

在./data/infer.json中提供了一些测试用例,可以替换成其它的数据集,请注意保持格式一致

运行推理脚本代码:

#基于医学知识库
bash ./scripts/infer.sh

#基于医学文献
bash ./scripts/infer-literature-single.sh

千寻选择了基于医学知识库的模型与数据,推理GPU显卡类型为: Tesla T4

以下为运行结果:

Example1:

输入:小张最近感觉身体不适,出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。

回答: 小张可能患有心肌炎,建议尽快到医院进行检查和治疗。治疗方案包括药物治疗和手术治疗。

Example2:

输入: 麻风病和儿童哮喘的病因是否一致?

回答: 不一致,麻风病的病因是麻风杆菌感染,而儿童哮喘的病因是喂养不良、吸烟等因素。

Example3:

输入: 一位患者出现了持续性的胀痛和黄疸,经影像学检查后确诊为肝胆管结石病,应该采取哪些治疗方案?

回答: 针对肝胆管结石病,治疗方案包括手术治疗、药物治疗和辅助治疗等。具体治疗方案需要根据患者的具体情况而定。

5. 模型迁移训练,更加合适精确

使用自己的数据集微调LLaMA,按照./data/llama_data.json的格式构建自己的数据集

运行finetune脚本

bash ./scripts/finetune.sh

6. 模型效果对比

“本草”大模型开源,ChatGPT时代,连AI私人医生都出现了?插图1

目前“本草”大模型,只开放了针对"肝癌"单个疾病训练的模型参数。

希望在未来,发布融入文献结论的医学对话数据集的AI全能医生,作为AI时代的“私人医生”的指向!期待!

原文链接:https://www.bilibili.com/read/cv24946982/

相关推荐

阅读榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部