Hub documentation
Webhook 指南:设置一个自动系统,在数据集更改时重新训练模型
Webhook 指南:设置一个自动系统,在数据集更改时重新训练模型
本指南将引导您在 Hugging Face 平台上搭建自动训练流水线,使用 HF Datasets、Webhooks、Spaces 和 AutoTrain。
我们将构建一个 Webhook,用于监听图像分类数据集的变更,并触发使用 AutoTrain 对 microsoft/resnet-50 进行微调。
先决条件:将您的数据集上传到 Hub
为了便于示例,我们将使用一个简单的图像分类数据集。有关将数据上传到 Hub 的更多信息,请参见此处。

创建 Webhook 以响应数据集的更改
首先,让我们从您的设置中创建一个 Webhook。
- 选择您的数据集作为目标仓库。在本示例中,我们将以 huggingface-projects/input-dataset 为目标。
- 目前可以先填入一个占位的 Webhook URL。定义好 Webhook 后,你就可以查看将发送到该地址的事件。此外,你还可以重放这些事件,这在调试时会非常有用!
- 输入一个密钥以增强安全性。
- 订阅“Repo update”事件,因为我们希望响应数据变更
您的 Webhook 将如下所示:

创建一个 Space 以响应你的 Webhook
现在我们需要一种方式来响应你的 Webhook 事件。一种简单的方法是使用 Space!
您可以在此处找到一个示例 Space。
此 Space 使用 Docker、Python、FastAPI 和 uvicorn 来运行一个简单的 HTTP 服务器。有关 Docker Spaces 的更多信息,请参见此处。
入口点是 src/main.py。让我们逐步查看此文件,并详细说明其功能:
- 它会启动一个 FastAPI 应用,用于监听
/webhook上的 HTTPPOST请求:
from fastapi import FastAPI
# [...]
@app.post("/webhook")
async def post_webhook(
# ...
):
# ...- 此路由会检查
X-Webhook-Secret请求头是否存在,且其值是否与您在 Webhook 设置中配置的值一致。WEBHOOK_SECRET密钥必须在 Space 的设置中配置,并且与 Webhook 中设置的密钥相同。
- 此路由会检查
# [...]
WEBHOOK_SECRET = os.getenv("WEBHOOK_SECRET")
# [...]
@app.post("/webhook")
async def post_webhook(
# [...]
x_webhook_secret: Optional[str] = Header(default=None),
# ^ checks for the X-Webhook-Secret HTTP header
):
if x_webhook_secret is None:
raise HTTPException(401)
if x_webhook_secret != WEBHOOK_SECRET:
raise HTTPException(403)
# [...]- 事件的负载以 JSON 编码。在这里,我们将使用 pydantic 模型来解析事件负载。我们还指定了仅在以下情况下运行我们的 Webhook:
- 该事件涉及输入数据集
- 该事件是仓库内容的更新,即存在新的提交
# defined in src/models.py
class WebhookPayloadEvent(BaseModel):
action: Literal["create", "update", "delete", "move"]
scope: str
class WebhookPayloadRepo(BaseModel):
type: Literal["dataset", "model", "space"]
name: str
id: str
private: bool
headSha: str
class WebhookPayload(BaseModel):
event: WebhookPayloadEvent
repo: WebhookPayloadRepo
# [...]
@app.post("/webhook")
async def post_webhook(
# [...]
payload: WebhookPayload,
# ^ Pydantic model defining the payload format
):
# [...]
if not (
payload.event.action == "update"
and payload.event.scope.startswith("repo.content")
and payload.repo.name == config.input_dataset
and payload.repo.type == "dataset"
):
# no-op if the payload does not match our expectations
return {"processed": False}
#[...]- 如果 payload 有效,下一步是在 AutoTrain 上创建一个项目,安排对输入模型(在我们的示例中为
microsoft/resnet-50)在输入数据集上进行微调,并在完成后在数据集上创建一个讨论!
def schedule_retrain(payload: WebhookPayload):
# Create the autotrain project
try:
project = AutoTrain.create_project(payload)
AutoTrain.add_data(project_id=project["id"])
AutoTrain.start_processing(project_id=project["id"])
except requests.HTTPError as err:
print("ERROR while requesting AutoTrain API:")
print(f" code: {err.response.status_code}")
print(f" {err.response.json()}")
raise
# Notify in the community tab
notify_success(project["id"])访问注释中的链接以查看训练成本估算,然后开始微调模型!

在此示例中,我们使用 Hugging Face AutoTrain 快速微调了模型,但您当然也可以接入自己的训练基础设施!
您可以随意将该 Space 复制到您的个人命名空间中进行尝试。您需要提供两个密钥:
WEBHOOK_SECRET:来自您的 Webhook 的密钥。HF_ACCESS_TOKEN:一个具有write权限的用户访问令牌。您可以 从您的设置中 创建一个。
您还需要调整 config.json 文件,以使用您选择的数据集和模型:
{
"target_namespace": "the namespace where the trained model should end up",
"input_dataset": "the dataset on which the model will be trained",
"input_model": "the base model to re-train",
"autotrain_project_prefix": "A prefix for the AutoTrain project"
}配置您的 Webhook 以将事件发送到您的 Space
最后,你需要配置 webhook,使其向你的 Space 发送 POST 请求。
首先,让我们从上下文菜单中获取我们 Space 的“直接 URL”。点击“嵌入此 Space”,然后复制“直接 URL”。


更新您的 Webhook,以向该 URL 发送请求:

就是这样!现在,对输入数据集的每次提交都会触发使用 AutoTrain 对 ResNet-50 进行微调 🎉
Update on GitHub