实现目标:爬取百度百科上python词条页面上的所有词条。
目标分析:
编写函数get_urls()爬取python词条页面上的所有词条的url,得到url后再用get_page()函数爬取该词条的页面内容,我们的目标是获得每个词条页面上的标题和简介内容,然后将爬取下来的信息利用pandas库保存到csv文件中。
有需要Python学习资料的小伙伴吗? 小编整理一套Python资料和PDF,感兴趣者可以关注小编后私信学习资料(是关注后私信哦)反正闲着也是闲着呢,不如学点东西啦
具体分析:
选择第一个词条计算机程序设计语言时可以看到<a target=”_blank” href=”/item/计算机程序设计语言″>计算机程序设计语言</a>,因为每个词条的链接前面部分都是https://bAIke.baidu.com/item/,所以我们要获得item/后面的部分,再拼接成该词条的url。
对于每个词条,我们要爬取它的标题和简介内容,就要获取页面上的<h1>元素和<meta name=”description”>元素,都可以利用正则表达式进行匹配。
代码实现:
# 爬取Python百度百科词条
import requests
import re
import pandas as pd
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 "
"Safari/537.36"
}
title_list = []
description_list = []
def get_urls(url):
hrefs = []
res = requests.get(url, headers=headers)
res.encoding = "utf-8"
data = re.findall(r'<a target=_blank href="/item/(.*?)">', res.text)
for i in data:
hrefs.append("https://baike.baidu.com/item/" + i)
for href in hrefs:
if '"' in href:
href = href[:href.index('"')]
get_page(href)
def get_page(url):
res = requests.get(url, headers=headers)
res.encoding = "utf-8"
t = re.search(r'<h1 >(.*?)</h1>', res.text)
title = t.group().lstrip('<h1 >').rstrip('</h1>').strip()
d = re.search(r'name="description" content="(.*?)"', res.text)
description = d.group().lstrip('name="description" content="').rstrip('"').strip()
title_list.append(title)
description_list.append(description)
if __name__ == '__main__':
url = "https://baike.baidu.com/item/Python/407313?fr=aladdin"
get_page(url)
get_urls(url)
infos = {'title': title_list, 'description': description_list}
data = pd.DataFrame(infos, columns=['title', 'description'])
data.to_csv("Python词条.csv")
print("爬取成功!")
|