通过git clone批量下载huggingface模型和数据集

目录

• 前言
• 一、配置git全局代理【可选】
• • 1.配置http或socks5代理
  • 2.取消代理配置
• 二、下载步骤
• 问题

前言

想要下载huggingface的模型，却发现只能一个个文件下载非常不方便，又或者官方提供的api不好用或者下载不下来，这里提供一个通过git clone一次性下载整个数据集/模型下来的高效方法。

一、配置git全局代理【可选】

1.配置http或socks5代理

如果不使用代理clone非常慢，可以选择先配置git全局代理。在bash或者cmd中输入如下命令：

git config --global http.proxy 'http://127.0.0.1:此处换成http端口号'git config --global https.proxy 'https://127.0.0.1:此处换成https端口号'

git config --global http.proxy 'socks5://127.0.0.1:此处换成socks5端口号'git config --global https.proxy 'socks5://127.0.0.1:此处换成socks5端口号'

或在用户目录下的.gitconfig文件末尾加上：

[http] proxy = socks5://127.0.0.1:此处换成socks5端口号proxy = http://127.0.0.1:此处换成http端口号 [https] proxy = socks5://127.0.0.1:此处换成socks5端口号proxy = https://127.0.0.1:此处换成http端口号

2.取消代理配置

git config --global --unset http.proxygit config --global --unset https.proxy

或删掉用户目录下.gitconfig文件里[http]和[https]后面的内容。

二、下载步骤

1. 进入到你要下载的数据集（Dataset card）或模型（Model card）的Files目录下，然后从地址栏中复制url，如下图所示：

2. bash或cmd中输入如下命令：

git clone '第1步中复制的url，将末尾的/tree/main换成.git'

如果所需要下载的文件较大，则需要使用git-lfs下载（安装及使用方法）：

git lfs clone '第1步中复制的url，将末尾的/tree/main换成.git'

注意： 如果需要切换分支，同样只需要使用git的-b参数下载对应的分支即可。

3. 等待clone完成
如果clone中断，恢复clone可以尝试如下命令：

git checkout branchname -- .

问题

在第一次clone的时候遇到了git LFS错误，不确定原因，顺便记录一下解决过程，错误如下：

error: external filter 'git-lfs filter-process' failedfatal: xxxxxxxxx: smudge filter lfs failedwarning: Clone succeeded, but checkout failed.

解决方法： Kerwen Blog

来源地址：https://blog.csdn.net/weixin_44034841/article/details/131862553