如何在服务器中下载huggingface模型，解决huggingface无法连接

问题说明

在服务器上使用huggingface模型时，如果直接指定模型名称，用AutoTokenizer.from_pretrained(“model_name”)，可能会由于网络原因会报错 Failed to connect to huggingface.co port 443 after 75018 ms: Operation time out

因此我们需要下载模型到服务器上，得到模型本地的路径model_dir，再通过AutoTokenizer.from_pretrained(model_dir)方式来使用。

【不推荐】下载方式1：手动从huggingface界面下载相应文件

从huggingface官网挨个下载文件。这种方式需要先下载模型到本地，再上传到服务器上，经过两次传输，很是麻烦。不推荐。
当然如果你只是需要部分文件，就可以这样手动点击下载你需要的几个文件。

【一般推荐】下载方式2 使用下载器下载

去huggingface 镜像网站， 先将图中的model_download.py文件下载到服务器里。\

下载代码为：

wget https://aliendao.cn/model_download.py

然后运行代码：

pip install huggingface_hub
python model_download.py --repo_id （模型ID)

不知道模型ID的可以去搜索栏搜索模型名称，比如baichuan2-7B-Chat

例如，我们如果要下载Baichuan2-7B-Chat模型，就执行下面这行代码。

python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat

这样就能直接在服务器上下载huggingface模型了，而且会显示下载进度条。速度大约是2M/s

温馨提示

模型下载通常要很久，别忘了打开tmux窗口防止电脑休眠导致网络中断哦
如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载

【非常推荐】下载方式3 使用huggingface-cli脚本下载

1.首先在linux中输入

1. export HF_ENDPOINT=https://hf-mirror.com

2.然后执行

source .bashrc

3.下载huggingface-cli

pip install huggingface-cli

 4.准备好你的模型存放路径，以及需要下载的模型id（在huggingface页面复制），执行下面的代码，即可大功告成~ 这种方式下载速度比2快

huggingface-cli download --resume-download (模型名称) --local-dir (模型存放位置) --local-dir-use-symlinks False --resume-download

本文链接：https://blog.runxinyun.com/post/178.html 转载需授权！

网站名称： 润信云资讯网
本站提供的一切软件、教程和内容信息仅限用于学习和研究目的。
不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
我们非常重视版权问题，如有侵权请邮件与我们联系处理。敬请谅解！邮件：7104314@qq.com
网站部分内容来源于网络，版权争议与本站无关。请在下载后的24小时内从您的设备中彻底删除上述内容。
如无特别声明本文即为原创文章仅代表个人观点，版权归《润信云资讯网》所有，欢迎转载，转载请保留原文链接。