DreamBooth模型训练与部署技术指南

训练并部署DreamBooth模型更新2024年8月实验性DreamBooth API已不可用。请查看FLUX.1微调博文以获取效果更佳的替代方案。更新2023年8月已为最新版Stable Diffusion SDXL添加微调支持。下述DreamBooth API仍可使用但使用SDXL可在更高分辨率下获得更好效果。请查看SDXL微调博文入门或继续阅读使用旧版DreamBooth API。DreamBooth在生成式AI领域备受关注。它是一种针对特定对象或风格训练Stable Diffusion的方法可创建能生成这些对象或风格的个性化模型版本。仅需三张图像即可训练模型训练过程耗时不到半小时。值得注意的是DreamBooth可用于人物训练因此可以制作能生成自身图像的Stable Diffusion版本。利用DreamBooth人们已开发出一些出色的产品如Avatar AI和ProfilePicture.AI。现在也可以使用DreamBooth创建自己的项目。已构建一个API允许在云端训练DreamBooth模型并运行预测。只需三张训练图像耗时约20分钟取决于使用的迭代次数。训练一个模型大约花费2.50美元。训练DreamBooth模型首先获取API令牌并在终端中设置exportREPLICATE_API_TOKEN…接下来将训练数据收集到名为data/的目录中JPEG格式并压缩zip-rdata.zip data将此zip文件放在可通过HTTP访问的位置。可使用文件上传API。运行以下三个命令RESPONSE$(curl-XPOST-HAuthorization: Bearer$REPLICATE_API_TOKENhttps://dreambooth-api-experimental.replicate.com/v1/upload/data.zip)curl-XPUT-HContent-Type: application/zip--upload-file data.zip$(jq-r.upload_url$RESPONSE)SERVING_URL$(jq-r.serving_url$RESPONSE)然后启动训练任务curl-XPOST\-HContent-Type: application/json\-HAuthorization: Bearer$REPLICATE_API_TOKEN\-d{ input: { instance_prompt: a photo of a cjw person, class_prompt: a photo of a person, instance_data: $SERVING_URL,max_train_steps:2000},model:yourusername/yourmodel,trainer_version:cd3f925f7ab21afaef7d45224790eedbb837eeac40d22e8fefe015489ab644aa,webhook_completed:https://example.com/dreambooth-webhook}\https://dreambooth-api-experimental.replicate.com/v1/trainings需要设置的参数instance_prompt: 描述训练图像的提示词格式为a [标识符] [类别名词]其中标识符应使用罕见标记。为获得最佳效果使用包含三个Unicode字符且无空格的标识符。class_prompt: 训练图像更广泛类别的提示词格式为a [类别名词]。用于生成类似训练数据的其他图像以避免过拟合。instance_data: 训练数据的URL。max_train_steps: 运行的训练步数。步数越少运行越快但质量通常较差反之亦然。model: 模型在Replicate上的名称格式为用户名/模型名。如果模型不存在系统会自动创建。trainer_version: 要使用的DreamBooth和Stable Diffusion版本。webhook_completed: 任务完成时调用的webhook。可选API响应返回对象{id:rrr4z55ocneqzikepnug6xezpe,input:{instance_prompt:photo of a cjw person,class_prompt:photo of a person,instance_data:https://replicate.delivery/pbxt/HoUeWsrtTTCJEpKGdLKqIYTfo8nbUTSNs565MkGxEstjfwKt/data.zip,max_train_steps:2000},model:yourusername/yourmodel,status:starting,trainer_version:cd3f925f7ab21afaef7d45224790eedbb837eeac40d22e8fefe015489ab644aa,webhook_completed:https://example.com/dreambooth-webhook}可通过调用GET /v1/trainings/id获取训练任务状态curl-HAuthorization: Bearer$REPLICATE_API_TOKEN\https://dreambooth-api-experimental.replicate.com/v1/trainings/rrr4z55ocneqzikepnug6xezpe运行训练好的模型训练成功完成后模型会被推送到Replicate平台。可以像Replicate上的任何其他模型一样通过网站或API运行模型。要通过API运行模型首先需要获取版本ID。然后进行API调用curl-XPOST\-HAuthorization: Bearer$REPLICATE_API_TOKEN\-d{ input: { prompt: painting of cjw by andy warhol, }, version: 8abccf52e7cba9f6e82317253f4a3549082e966db5584e92c808ece132037776, }\https://api.replicate.com/v1/predictions或使用Pythonimportreplicate replicate.run(yourusername/yourmodel:8abccf52e7cba9f6e82317253f4a3549082e966db5584e92c808ece132037776,input{prompt:painting of cjw by andy warhol},)版本说明默认情况下DreamBooth训练Stable Diffusion 1.5模型。该模型通常更适合DreamBooth因为包含更多不同风格。可通过trainer_version选项选择不同版本。支持的版本Stable Diffusion 1.5:cd3f925f7ab21afaef7d45224790eedbb837eeac40d22e8fefe015489ab644aa自定义检查点:9c41656f8ae2e3d2af4c1b46913d7467cd891f2c1c5f3d97f1142e876e63ed7aStable Diffusion 2.1-base:d5e058608f43886b9620a8fbb1501853b8cbae4f45c857a014011c86ee614ffbFINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享