loki日志收集全网最全教程(强推)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: loki日志收集全网最全教程(强推)

640.gif

全网最全loki全流程描述,网上有很多教程都是不对的哈!这个是生产环境校验过的哈!

相关匹配及字段转换规则我已经给大家写好了。


部署架构:


loki_service:  使用docker_compose部署loki.yml

k8s_master_deploy:去k8s的master节点部署。


部署流程:



在k8s master节点


一、执行下面命令:


kubectl apply -f promtail_configmap.yaml
promtail_configmap.yaml  是promtail的配置文件和参数。以及创建namespaces。


二、执行下面命令:


kubectl apply -f promtail_deploy.yaml 
promtail_deploy.yaml  是部署promtail的pod,采用DaemonSet方式部署,每个节点一个pod

需要部署不同的环境需要调整deploy配置116行

           -"-client.url=http://192.168.77.21:3100/loki/api/v1/push"


将IP及端口替换成loki的server端的地址即可。

640.png

三、查看loki部署运行情况,如下图为正常。


kubectl get pods -n loki

640.png

server端配置:

640.png

基本不用配置,直接拉起


需要赋予映射的目录777权限,否则回报权限不够的错误

###############################################


基础界面展示登录后:


做如下选择:

640.jpg

整体界面:

640.jpg


直接在这里选择想要查看的数据信息:

640.jpg


选择相应的错误类别日志:

640.jpg


右上角是时间过滤选:

自动刷新间隔:

640.jpg


简单过滤日志案例:

640.jpg


Grafana 添加loki数据源可以限制行数

之前查询结果受行数限制只能查询1000行的问题予以解释:

640.jpg


在查询结尾填写想要显示的行数,行数越多,显示越慢。

640.jpg


查询时间格式为:2020-11-05 11:50:03

640.jpg


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
580 64
搭建ELK日志收集,保姆级教程
|
2月前
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
435 4
|
9月前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
2968 70
Grafana Loki,轻量级日志系统
|
存储 监控 Serverless
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
205 0
|
Prometheus Cloud Native Perl
评测Loki日志工具
评测Loki日志工具
304 0
|
数据采集 监控 Java
SpringBoot日志全方位超详细手把手教程,零基础可学习 日志如何配置及SLF4J的使用......
本文是关于SpringBoot日志的详细教程,涵盖日志的定义、用途、SLF4J框架的使用、日志级别、持久化、文件分割及格式配置等内容。
799 2
SpringBoot日志全方位超详细手把手教程,零基础可学习 日志如何配置及SLF4J的使用......
|
应用服务中间件 nginx Docker
[loki]轻量级日志聚合系统loki快速入门
[loki]轻量级日志聚合系统loki快速入门
676 5
|
存储 Web App开发 Java
《手把手教你》系列基础篇(九十五)-java+ selenium自动化测试-框架之设计篇-java实现自定义日志输出(详解教程)
【7月更文挑战第13天】这篇文章介绍了如何在Java中创建一个简单的自定义日志系统,以替代Log4j或logback。
437 5
|
XML Java 测试技术
《手把手教你》系列基础篇(九十一)-java+ selenium自动化测试-框架设计基础-Logback实现日志输出-下篇(详解教程)
【7月更文挑战第9天】在Java项目中,使用Logback配置可以实现日志按照不同包名输出到不同的文件,并且根据日志级别分开记录。
207 4
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
1528 0