Marigold完全指南：从零开始掌握扩散模型的图像分析能力

Marigold完全指南从零开始掌握扩散模型的图像分析能力【免费下载链接】Marigold[CVPR 2024 - Oral, Best Paper Award Candidate] Marigold: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/ma/MarigoldMarigold是一项荣获CVPR 2024 Oral和最佳论文候选的创新技术它创新性地将基于扩散的图像生成器重新用于单目深度估计等密集图像分析任务。本指南将帮助你从零开始轻松掌握这一强大工具的安装、使用与核心功能。 Marigold核心功能解析Marigold通过巧妙调整预训练的潜在扩散模型如Stable Diffusion架构仅需在单个GPU上使用小型合成数据集进行训练就能实现多种高级图像分析任务图1Marigold的多任务图像分析能力展示包括深度估计、表面法线预测和内在图像分解主要功能亮点单目深度估计从单张图像精确推断场景深度表面法线预测重建物体表面的三维朝向信息内在图像分解分离图像的反射率、光照和材质属性 快速安装指南环境准备Marigold需要Python环境和GPU支持。首先克隆项目仓库git clone https://gitcode.com/gh_mirrors/ma/Marigold cd Marigold基础依赖安装pip install -r requirements.txt扩展功能安装如需使用全部功能安装扩展依赖pip install -r requirements.txt -r requirements.txt -r requirements.txt 实用推理指南快速开始推理将你的图像放入input/in-the-wild_example目录运行以下命令进行推理python script/depth/infer.py \ --input_path input/in-the-wild_example \ --output_path output/depth_results \ --checkpoint prs-eth/marigold-depth-v1-1关键参数说明--half_precision启用半精度推理加快速度并减少显存占用--ensemble_size推理集成次数值越大结果越好但速度越慢默认1--resolution处理分辨率Stable Diffusion在768x768时性能最佳--color_map深度图的颜色映射方案默认使用Spectral图2Marigold深度估计效果展示上排为输入图像中排为深度图下排为3D重建结果学术研究配置如需用于学术比较请使用论文中指定的设置python script/depth/infer.py \ --input_path input/academic_example \ --output_path output/academic_results \ --checkpoint prs-eth/marigold-depth-v1-1 \ --ensemble_size 4 \ --resolution 768 \ --no_resize_back 训练自定义模型数据准备设置数据和 checkpoint 目录export BASE_DATA_DIRYOUR_DATA_DIR # 训练数据目录 export BASE_CKPT_DIRYOUR_CHECKPOINT_DIR # 预训练模型目录开始训练根据任务类型选择不同的训练脚本深度估计训练python script/depth/train.py --config config/train_marigold_depth.yaml法线估计训练python script/normals/train.py --config config/train_marigold_normals.yaml内在图像分解训练# 外观分解反射率、粗糙度、金属度 python script/iid/train.py --config config/train_marigold_iid_appearance.yaml # 光照分解反射率、漫反射、非漫反射残差 python script/iid/train.py --config config/train_marigold_iid_lighting.yaml恢复训练如需恢复中断的训练python script/depth/train.py --resume_run output/marigold_base/checkpoint/latest 项目结构解析Marigold项目组织清晰主要目录功能如下config/包含各类任务的配置文件如train_marigold_depth.yamldata_split/数据集分割文件定义训练/验证/测试样本marigold/核心推理代码如marigold_depth_pipeline.pyscript/训练和推理脚本按任务类型组织depth/iid/normalssrc/源代码目录包含数据集处理、模型定义和工具函数 评估模型性能Marigold提供了便捷的评估脚本可用于不同任务的性能评估深度估计评估bash script/depth/eval/11_infer_nyu.sh # 推理NYU数据集 bash script/depth/eval/12_eval_nyu.sh # 评估预测结果法线估计评估bash script/normals/eval/11_infer_scannet.sh # 推理ScanNet数据集 bash script/normals/eval/12_eval_scannet.sh # 评估预测结果内在图像分解评估bash script/iid/eval/11_infer_appearance_interiorverse.sh # 推理外观数据集 bash script/iid/eval/12_eval_appearance_interiorverse.sh # 评估预测结果通过本指南你已掌握Marigold的核心功能和使用方法。无论是学术研究还是实际应用Marigold都能为你提供强大的图像分析能力。开始探索这个令人兴奋的扩散模型应用吧【免费下载链接】Marigold[CVPR 2024 - Oral, Best Paper Award Candidate] Marigold: Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/ma/Marigold创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考