API数据源与集成优化【Dataphin V3.9】

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在DataphinV3.9版本中,对于API数据源的认证方式配置与URL相对路径配置等场景进行了功能优化,并且新增支持了通过离线集成管道中的API输出组件向API数据源写入数据的功能。

一、场景介绍

场景1:开发和生产环境的API数据源使用不同的API Key或Token。创建API数据源时,其中有一个场景是生产与开发环境的API数据源的API Key或Token不同,此时在管道输入组件中通过将其添加为参数的方式无法满足该场景下的需求。故需要支持在创建数据源时就进行配置可区分生产或开发环境的API Key或Token。

场景2:创建一个API数据源,配置绝对路径URL,在集成组件中指定相对路径的 URL。在使用到API的常见场景中,在一个相同的绝对路径URL下,不同业务属性的数据会存在多个相对路径不同的URL上,如www.mysite.com/customer、www.mysite.com/order和www.mysite.com/stock等, 且这些数据都需要进行数据集成,此时如需要为每一个URL地址配置一个数据源,就会徒增许多冗余配置操作。如果能在集成组件中配置相对路径,就会提高任务配置的效率。

二、功能升级与优化

1. API数据源认证方式优化

在创建API数据源时,认证方式新增了API Key和Bearer Token,生产和开发数据源可以自由配置不同的认证方式,或者是Key或Token。选择API Key认证方式后,可以选择添加至Parameters、Headers或是Body,可满足不同API数据源认证方式的需求。

2.  API集成组件支持配置url相对路径

在API数据源的URL地址配置项中,我们可以仅填写绝对路径,如www.mysite.com。在API集成组件中,有url路径配置项,可填写相对路径,如/custom,该配置项内容将会被拼接在数据源的url地址后,如在这里就会自动拼接成www.mysite.com/custom作为完整的API访问地址。该优化省去了配置多个API数据源的工作量。

3.  新增支持API输出组件

本次升级新增支持了API数据源输出组件,支持将Dataphin或者其他数据源中的数据通过离线集成管道的方式写入到API数据源中。

  1. 支持Post和Put请求方式:Put被定义为幂等的方法, Post不是幂等的方法。幂等意为每次执行都是同样的效果。Put请求方式,用于向指定的url传送更新资源,是幂等的,例如修改密码,每次提交都只是更新该用户密码,每次请求都只是覆盖原型的值,此时用Put;Post请求方式,可以更新或者创建资源,是非幂等的。例如用户注册时,每次提交都是创建一个用户账号,此时用Post。
  2. 支持选择请求传递的JSON数据的格式:选择单条数据则一次请求只传递一条数据,有几条数据就进行几次请求;选择多条数据则一次请求以数组形式传递一批数据,每次传递的数据量为批量条数的值。
  3. 支持配置url相对路径:该配置项内容将会被拼接在数据源的url地址后作为完整的地址。
  4. 支持配置写入JSON的路径:可选填,写入字段的最外层路径,将被拼接在输出字段名前作为完整路径写入。
  5. 支持配置输出字段:新建字段的名称表示写入的字段名。例如字段为 a.b,表示方式对应的输入字段到路径a.b。类型表示写入的数据类型。

三、结语

API数据源与离线集成任务涉及的业务场景复杂多变,本次的优化点旨在通过产品设计解决用户在API数据源集成场景下有关认证方式、路径配置等问题,以提高用户任务配置的便捷度与效率。

相关文章
|
18天前
|
缓存 监控 前端开发
顺企网 API 开发实战:搜索 / 详情接口从 0 到 1 落地(附 Elasticsearch 优化 + 错误速查)
企业API开发常陷参数、缓存、错误处理三大坑?本指南拆解顺企网双接口全流程,涵盖搜索优化、签名验证、限流应对,附可复用代码与错误速查表,助你2小时高效搞定开发,提升响应速度与稳定性。
|
27天前
|
Java 测试技术 API
Java Stream API:被低估的性能陷阱与优化技巧
Java Stream API:被低估的性能陷阱与优化技巧
236 114
|
1月前
|
机器学习/深度学习 算法 PyTorch
125_训练加速:FlashAttention集成 - 推导注意力优化的独特内存节省
2025年,大型语言模型的训练面临着前所未有的挑战。随着模型参数量和序列长度的不断增加,传统注意力机制的内存瓶颈问题日益突出。FlashAttention作为一种突破性的注意力算法,通过创新的内存访问模式和计算优化,显著提升了训练效率和内存利用。
|
2月前
|
JSON 监控 API
Shopee:对接海外仓API实现本地发货,优化物流时效
Shopee卖家可通过对接海外仓API实现本地发货,将物流时效从10-15天缩短至3-5天,显著提升买家体验与店铺转化率。本文详解API对接原理、步骤及代码示例,助力优化跨境物流效率。
119 1
|
2月前
|
JSON 监控 API
亚马逊:调用跨境物流API追踪国际包裹清关状态,优化时效
在亚马逊跨境运营中,清关不确定性常导致物流延误。通过调用跨境物流API(如Amazon SP-API),可自动化获取包裹清关状态与预计交付时间,提升响应效率。本文详解API调用步骤,提供Python代码示例,并分享实时监控、预警机制与数据优化策略,助力卖家缩短处理时间、提升客户满意度,实现高效智能的国际物流管理。
115 0
|
2月前
|
数据采集 API
京东:调用用户行为API分析购买路径,优化页面跳转逻辑
京东通过整合用户行为API,构建购买路径分析体系,运用马尔可夫链模型识别高损耗、断裂与冗余路径,优化页面跳转逻辑。实施流程合并、预加载及实时干预策略,转化率提升30.2%,路径缩短34.9%,跳转失败率下降78.7%,实现数据驱动的精细化运营。
294 0
|
2月前
|
JSON 数据可视化 API
淘宝/天猫:利用销售数据API生成区域热力图,优化仓储布局
本文详解如何利用淘宝/天猫销售数据API生成区域热力图,结合核密度估计与线性规划,科学优化仓储布局。通过数据驱动降低物流成本15%-20%,提升配送效率,助力电商高效运营。(238字)
213 0
|
2月前
|
存储 监控 前端开发
淘宝商品详情 API 实战:5 大策略提升店铺转化率(附签名优化代码 + 避坑指南)
本文深入解析淘宝商品详情API的核心字段与实战应用,分享如何通过动态定价、库存预警、差评控制等5大策略提升电商转化率。结合300+店铺实战经验,提供优化代码与避坑指南,助力开发者与运营者实现数据驱动的精细化运营。
机器学习/深度学习 搜索推荐 算法
54 0
|
2月前
|
机器学习/深度学习 自然语言处理 算法
小红书:通过商品标签API自动生成内容标签,优化社区推荐算法
小红书通过商品标签API自动生成内容标签,提升推荐系统精准度与用户体验。流程包括API集成、标签生成算法与推荐优化,实现高效率、智能化内容匹配,助力社交电商发展。
120 0

相关产品

  • 智能数据建设与治理 Dataphin