Huggingface 服务器端镜像下载

使用Huggingface 官方提供的 *huggingface-cli* 命令行工具在服务器端镜像下载权重或文件。

1、安装依赖

$ pip install -U huggingface_hub

2、基本命令示例

• 在.bashrc文件中添加下面这条镜像配置

$ export HF_ENDPOINT=https://hf-mirror.com

$ huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/chatglm2-6b --local-dir chatglm2-6b

• download: Hugging Face CLI 的下载命令。
• --resume-download: 如果下载中断，该选项会尝试继续下载而不是重新开始。
• --local-dir-use-symlinks False: 该选项指示不使用符号链接。符号链接是一种链接到其他文件或目录的特殊类型的文件，这里指示不使用它们。
• THUDM/chatglm2-6b: 模型的名称或模型 ID。在这里，它下载的是 THUDM/chatglm2-6b。
• --local-dir chatglm2-6b: 该选项指定本地保存模型的目录名称，即 chatglm2-6b。

3、下载需要登录的模型（Gated Model）

请添加--token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。示例：

$ huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf