首页 前端知识 爬取招聘网站json信息内容,存入excel表格

爬取招聘网站json信息内容,存入excel表格

2024-06-30 21:06:19 前端知识 前端哥 860 872 我要收藏

声明:本人学生,初学python,若有不当,还请指正,谢谢                                                            

                                                          

---------------------------------------------------------------------------------------------------------------------------------

以下是成功运行后:                                                                                                                          

通过右键在文件资源管理器显示并打开:                                                                                         

就可以看到内容啦:

---------------------------------------------------------------------------------------------------------------------------------———————————————————————————————————————————

————————————下是源码,感兴趣的话可以去试试哦———————————————

import requests   #网络请求库

import json       #json库,用于把json代码转化python格式

import  pretty_errors  #使用该库后,在报错时会使报错内容更醒目,推荐使用

import pandas    #利用Pandas库,实现数据转换


 

url='https://www.zhipin.com/wapi/zpgeek/parttime/joblist.json?'

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',

    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',

    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',

    'Accept-Encoding': 'gzip, deflate, br',

    'DNT': "1",

    'Connection': 'keep-alive',

    'Upgrade-Insecure-Requests': '1',

    'Sec-Fetch-Site': 'none',

    'Sec-Fetch-Mode': 'navigate',

    'Sec-Fetch-User': '?1',

    'Sec-Fetch-Dest': 'document'

}                 #信息头伪装正常用户浏览器请求

kkk={

    'city':'101200100',                   #代指武汉(一种特定的编码)

    'query':'java',                 #搜索关键词为java

    'multiBusinessDistrict':'',    

    'payType':'',

    'partTime':'',

    'label':'JZJXZW',

    'experience':'',

    'degree':'',

    'scale':'',

    'page':'2',                    #可以根据实际情况改变页数来获取信息

    'pageSize':'15'

}              #写入接口对应的必要参数(非必要参数可不填)

res=requests.get(url=url,params=kkk,headers=headers)         #get请求获取响应信息

res_loads=json.loads(res.content)            #json.loads() 用于将JSON格式的字符串转换为Python对象(通常是一个字典或列表)

reses=res_loads['zpData']['jobList']            #选取有效信息所在的列表

all_data=[]                   #建立列表存储需要的有效信息

for i in reses:                  #遍历传入有效信息到列表中的字典里

    data={}

    data['工作']=i['jobName']

    data['老板']=i['bossName']

    data['薪资']=i['salaryDesc']

    data['所需技能']=i['skills']

    data['工作经验']=i['jobExperience']

    data['学历要求']=i['jobDegree']

    data['城市']=i['cityName']

    data['所在区域']=i['areaDistrict']

    data['工作地区']=i['businessDistrict']

    all_data.append(data)

df=pandas.DataFrame(all_data)             #将列表转化为二维的表格形式

df.to_excel('job.xlsx',index=False)         #将文件保存到名为job.xlsx的excel表格中


 

转载请注明出处或者链接地址:https://www.qianduange.cn//article/13688.html
标签
excel
评论
发布的文章

在echarts中使用geojson地图

2024-07-29 00:07:05

大家推荐的文章
会员中心 联系我 留言建议 回顶部
复制成功!