深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件

简介: 深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件

1 yaml说明介绍

1.1 yaml介绍

1、百度百科对YAML解释

YAML"YAML Ain't a Markup Language"(YAML不是一种标记语言)的递归缩写。在开发的这种语言时,YAML 的意思其实是:"Yet Another Markup Language"仍是一种标记语言),但为了强调这种语言以数据做为中心,而不是以标记语言为重点,而用反向缩略语重命名。

YAML是一种数据序列化格式,优点是:

  • 对于人类可读性更友好
  • 方便与脚本语言进行交互使用

1.2 YAML 相关网址

2 YAML的python包PyYAML的使用

2.1 关于PyYAML的相关网址

PyYAML是关于一个操作yaml文件的python库包,相关网址如下:

2.2 安装PyYAML

1、安装yaml的python库包:PyYAML

pip install PyYAML

2、安装注意:

  • 1)虽然,在使用的时候是import yaml,但是安装的时候并不是直接安装yaml名的库包:pip install yaml这种安装方法是错误的,因为安装的并不是PyYAML库包
  • 2)在导入使用的时候,导入的名称为yaml,python中有很多这种安装包名和导入包名不一致的库包,例如opencv,我猜测可能是有人提前在pypi官网上传了某包名,因此导致被占用!

2.3 PyYAML快速使用

1、config.yaml配置文件中定义的可配值信息:

# train parameters setting
optimization: Adam
learning_rate: 0.001
batch_size: 64
epoch: 200

2、使用PyYAML模块解析config.yaml配置文件,主要步骤如下:

  • 使用open()打开config.yaml配置文件,然后使用read()读取
  • 使用yaml.load(stream, Loader)加载读取的配置文件数据,生成一个y的对象
  • 使用字典的形式访问生成的y对象中的配置信息

具体实现代码如下:

import yaml

yaml_path = "./config.yaml"

def read_yaml(yaml_path):
    # 使用open()函数读取config.yaml文件
    yaml_file = open(yaml_path, "r", encoding="utf-8")
    # 读取文件中的内容
    file_data = yaml_file.read()
    print(f"file_date type: {type(file_data)}\nfile_date value:\n{file_data}")
    yaml_file.close()

    # 加载数据流,返回字典类型数据
    y = yaml.load(file_data, Loader=yaml.FullLoader)
    print(f"y data type: {type(y)}\ny data value: {y}")

    # 下面就可以使用字典访问配置文件中的数据了
    print(f"optimization: {y['optimization']}")
    print(f"learning_rate: {y['learning_rate']}")
    print(f"batch_size: {y['batch_size']}")
    print(f"epoch: {y['epoch']}")

    optimization = y['optimization']
    learning_rate = y['learning_rate']
    batch_size = y['batch_size']
    epoch = y['epoch']

    print(type(optimization))
    print(type(learning_rate))
    return optimization, learning_rate, batch_size, epoch



if __name__ == '__main__':
    read_yaml(yaml_path)

输出结果

file_date type: <class 'str'>
file_date value:
# train parameters setting
optimization: Adam
learning_rate: 0.001
batch_size: 64
epoch: 200

y data type: <class 'dict'>
y data value: {
   'optimization': 'Adam', 'learning_rate': 0.001, 'batch_size': 64, 'epoch': 200}

optimization: Adam
learning_rate: 0.001
batch_size: 64
epoch: 200
<class 'str'>
<class 'float'>
目录
相关文章
|
2月前
|
异构计算 Python
ERROR: pip’s dependency resolver does not currently take into 报错-Python项目依赖冲突的解决方案-优雅草优雅草卓伊凡
ERROR: pip’s dependency resolver does not currently take into 报错-Python项目依赖冲突的解决方案-优雅草优雅草卓伊凡
266 1
|
2月前
|
API 语音技术 开发者
Python 项目打包,并上传到 PyPI,分享项目
本文介绍了如何使用 Poetry 打包并发布一个 Python 项目至 PyPI。内容包括:项目创建、配置 `pyproject.toml` 文件、构建软件包、上传至 PyPI、安装与使用。通过实例 iGTTS 展示了从开发到发布的完整流程,帮助开发者快速分享自己的 Python 工具。
|
2月前
|
人工智能 Shell Python
ERROR: pip’s dependency resolver does not currently take into 报错-Python项目依赖冲突的解决方案-优雅草优雅草卓伊凡
ERROR: pip’s dependency resolver does not currently take into 报错-Python项目依赖冲突的解决方案-优雅草优雅草卓伊凡
182 0
|
3月前
|
机器学习/深度学习 存储 人工智能
深度解析大模型压缩技术:搞懂深度学习中的减枝、量化、知识蒸馏
本文系统解析深度学习模型压缩三大核心技术:剪枝、量化与知识蒸馏,详解如何实现模型缩小16倍、推理加速4倍。涵盖技术原理、工程实践与组合策略,助力AI模型高效部署至边缘设备。
746 1
|
4月前
|
机器学习/深度学习 存储 监控
基于深度学习YOLO框架的城市道路损伤检测与评估项目系统【附完整源码+数据集】
本项目基于深度学习的YOLO框架,成功实现了城市道路损伤的自动检测与评估。通过YOLOv8模型,我们能够高效地识别和分类路面裂缝、井盖移位、坑洼路面等常见的道路损伤类型。系统的核心优势在于其高效性和实时性,能够实时监控城市道路,自动标注损伤类型,并生成损伤评估报告。
243 0
基于深度学习YOLO框架的城市道路损伤检测与评估项目系统【附完整源码+数据集】
|
4月前
|
机器学习/深度学习 自动驾驶 算法
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
在智慧交通和智能驾驶日益普及的今天,准确识别复杂交通场景中的关键元素已成为自动驾驶系统的核心能力之一。传统的图像处理技术难以适应高动态、复杂天气、多目标密集的交通环境,而基于深度学习的目标检测算法,尤其是YOLO(You Only Look Once)系列,因其检测速度快、精度高、可部署性强等特点,在交通场景识别中占据了重要地位。
488 0
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
|
5月前
|
监控 大数据 API
Python 技术员实践指南:从项目落地到技术优化
本内容涵盖Python开发的实战项目、技术攻关与工程化实践,包括自动化脚本(日志分析系统)和Web后端(轻量化API服务)两大项目类型。通过使用正则表达式、Flask框架等技术,解决日志分析效率低与API服务性能优化等问题。同时深入探讨内存泄漏排查、CPU瓶颈优化,并提供团队协作规范与代码审查流程。延伸至AI、大数据及DevOps领域,如商品推荐系统、PySpark数据处理和Airflow任务编排,助力开发者全面提升从编码到架构的能力,积累高并发与大数据场景下的实战经验。
Python 技术员实践指南:从项目落地到技术优化
|
6月前
|
机器学习/深度学习 数据采集 JavaScript
用深度学习提升DOM解析——自动提取页面关键区块
本文介绍了一次二手车数据爬虫事故的解决过程,从传统XPath方案失效到结合深度学习语义提取的成功实践。面对懂车帝平台的前端异步渲染和复杂DOM结构,通过Playwright动态渲染、代理IP隐藏身份,以及BERT模型对HTML块级语义识别,实现了稳定高效的字段提取。此方法抗结构变化能力强,适用于复杂网页数据采集,如二手车、新闻等领域。架构演进从静态爬虫到动态爬虫再到语义解析,显著提升效率与稳定性。
214 13
用深度学习提升DOM解析——自动提取页面关键区块
|
7月前
|
机器学习/深度学习 数据采集 存储
深度学习在DOM解析中的应用:自动识别页面关键内容区块
本文探讨了如何通过深度学习模型优化东方财富吧财经新闻爬虫的性能。针对网络请求、DOM解析与模型推理等瓶颈,采用代理复用、批量推理、多线程并发及模型量化等策略,将单页耗时从5秒优化至2秒,提升60%以上。代码示例涵盖代理配置、TFLite模型加载、批量预测及多线程抓取,确保高效稳定运行,为大规模数据采集提供参考。
159 0

推荐镜像

更多