GeneralDyG:南洋理工推出通用动态图异常检测方法,支持社交网络、电商和网络安全

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: GeneralDyG 是南洋理工大学推出的通用动态图异常检测方法,通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,有效应对数据多样性、动态特征捕捉和计算成本高等挑战。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:GeneralDyG 是一种通用动态图异常检测方法,适用于社交网络、电商和网络安全等领域。
  2. 技术:通过时间 ego-graph 采样、图神经网络和时间感知 Transformer 模块,捕捉动态图中的多尺度动态模式。
  3. 性能:在多个真实数据集上的实验结果显示,GeneralDyG 性能显著优于现有主流方法。

正文(附运行示例)

GeneralDyG 是什么

公众号: 蚝油菜花 - GeneralDyG

GeneralDyG 是南洋理工大学研究团队提出的通用动态图异常检测方法,旨在解决动态图数据在社交网络、电商和网络安全等领域的异常检测问题。通过时间 ego-graph 采样模块、图神经网络提取模块和时间感知 Transformer 模块,有效应对数据分布多样性、动态特征捕捉困难和计算成本高等挑战。

GeneralDyG 在多个真实数据集上的实验结果显示,性能显著优于现有的多种主流方法,展现了卓越的通用性和检测能力。

GeneralDyG 的主要功能

  • 数据分布多样性适应:通过提取节点、边及其拓扑结构的关键信息,GeneralDyG 能够适应不同数据集的复杂特征分布。
  • 动态特征捕捉:该方法结合全局时间动态和局部结构变化,深入建模动态图中的多尺度动态模式。
  • 高效计算框架:构建了轻量化框架,能够高效捕获关键动态特征,显著提升计算效率。
  • 时间 ego-graph 采样:通过构建紧凑的子图结构,有效应对大规模动态图数据带来的计算压力。
  • 结构与时间特征融合:利用时间感知 Transformer 模块整合时间序列和结构特征,确保异常检测的准确性。

GeneralDyG 的技术原理

  • 时间 ego-graph 采样模块:该模块通过构建紧凑的子图结构来有效应对大规模动态图数据带来的计算压力。基于中心事件,通过 k-hop 算法提取其周围交互历史,构成时间 ego-graph。k-hop 算法考虑了事件间的时间顺序与拓扑关系,确保采样过程兼顾时间动态与结构特性。
  • 图神经网络提取模块:在时间 ego-graph 的基础上,设计了一种新的图神经网络(TensGNN)来提取丰富的结构信息。TensGNN 通过交替应用节点层和边层来实现特征信息的传播与更新,从而在节点特征和边特征之间构建强关联。
  • 时间感知 Transformer 模块:模块整合时间序列和结构特征,在自注意力机制中,模型分别基于 Query 和 Key 编码图的拓扑结构信息,将 Value 保留为原始事件特征,确保异常检测的准确性。

如何运行 GeneralDyG

1. 环境配置

首先,确保安装了以下依赖库:

pip install h5py imbalanced-learn matplotlib networkx numpy pandas scikit-learn scipy torch torch-geometric torch-scatter torch-sparse tqdm

2. 数据预处理

下载并解压预处理数据集:

python generate_datasets.py

generate_datasets.py 中,可以调整参数 kdataset_name 来生成不同版本的预处理数据。

3. 开始训练

完成数据预处理后,运行以下命令开始训练:

python Denoise.py --data_set btc_alpha --neg 01 --max_len 24

可以根据需要调整训练参数,如 batch_sizen_epochs 等。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新应用和热点信息,提供开源实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
2月前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
267 0
|
4月前
|
JSON 监控 网络协议
干货分享“对接的 API 总是不稳定,网络分层模型” 看电商 API 故障的本质
本文从 OSI 七层网络模型出发,深入剖析电商 API 不稳定的根本原因,涵盖物理层到应用层的典型故障与解决方案,结合阿里、京东等大厂架构,详解如何构建高稳定性的电商 API 通信体系。
|
20天前
|
机器学习/深度学习 数据采集 边缘计算
基于灰色神经网络的预测方法
基于灰色神经网络的预测方法
65 0
|
2月前
|
算法 Python
【EI复现】考虑网络动态重构的分布式电源选址定容优化方法(Matlab代码实现)
【EI复现】考虑网络动态重构的分布式电源选址定容优化方法(Matlab代码实现)
|
3月前
|
机器学习/深度学习 数据采集 TensorFlow
基于CNN-GRU-Attention混合神经网络的负荷预测方法(Python代码实现)
基于CNN-GRU-Attention混合神经网络的负荷预测方法(Python代码实现)
105 0
|
4月前
|
存储 Linux 容器
【Container App】在容器中抓取网络包的方法
本文介绍在Azure Container App中安装tcpdump抓取网络包,并通过Storage Account上传抓包文件的方法。内容包括使用curl和nc测试外部接口连通性、长Ping端口、安装tcpdump、抓取网络包、以及通过crul命令上传文件至Azure Storage。适用于需要分析网络请求和排查网络问题的场景。
146 0
|
4月前
|
机器学习/深度学习 边缘计算 算法
基于BP神经网络的电池容量预测方法研究
基于BP神经网络的电池容量预测方法研究
|
6月前
计算网络号的直接方法
子网掩码用于区分IP地址中的网络部分和主机部分,连续的“1”表示网络位,“0”表示主机位。例如,255.255.255.0 的二进制为 11111111.11111111.11111111.00000000,前24位是网络部分。通过子网掩码可提取网络号,如 IP 192.168.1.10 与子网掩码 255.255.255.0 的网络号为 192.168.1.0。此外,文档还介绍了十进制与二进制间的转换方法,帮助理解IP地址的组成与计算。
365 11
|
10月前
|
监控 安全 网络安全
深入解析PDCERF:网络安全应急响应的六阶段方法
PDCERF是网络安全应急响应的六阶段方法,涵盖准备、检测、抑制、根除、恢复和跟进。本文详细解析各阶段目标与操作步骤,并附图例,助读者理解与应用,提升组织应对安全事件的能力。
1385 89
|
7月前
|
人工智能 Kubernetes 安全
网络安全公司前沿洞察:F5凭何成为网络安全领域的中流砥柱
网络安全公司前沿洞察:F5凭何成为网络安全领域的中流砥柱
184 4

热门文章

最新文章