mPengC.mind

详细介绍可以访问我们的 github主项目，该项目采用 NPU 和 MindSpore 框架进行训练和推理。在此基础上，本仓库提供了鹏城·多语言脑海大模型的GPU支持，可以将项目中训练得到的模型转换到GPU上进行进一步的训练和推理,例如本仓库中的权重文件来源于主项目中预训练过程中得到的模型权重,可继续在各类任务上进行微调。本仓库中的modeling_mind.py 中参考了 HuggingFace 中 GPT-2 和 Llama 的源码。

使用

推理

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(PATH, trust_remote_code=True)

input_text = "请简单介绍一下四大发明"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

output = model.generate(**input_ids, max_new_tokens=10)

权重转换

如果您需要将主项目权重需要转换到 GPU 下，可以使用以下脚本来实现

python convert_ms_to_hf.py --ckpt YOUR_MS_CKPT_PATH