大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
小编给大家分享一下Python如何爬取笑话大全,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
我们提供的服务有:做网站、网站建设、微信公众号开发、网站优化、网站认证、白朗ssl等。为上千企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的白朗网站制作公司
代码
import request from bs4 import BeautifulSoup headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3775.400 QQBrowser/10.6.4208.400' } #请求头,爬虫伪装 for i in range(0,100): url = 'http://xiaohua.zol.com.cn/detail15/{}.html'.format(i) #爬虫目标网站 html = request.get(url, headers=headers) #请求后返回的源代码 # html.encoding = 'utf-8' soup = BeautifulSoup(html.text, 'lxml') #对源代码进行解析 if html.status_code==200: # 访问成功 title = soup.select(".article-title")[0].text.replace(' ', '') content = soup.select(".article-text")[0].text.replace(' ', '') with open('D:/xh.txt', 'a',encoding='utf-8') as f: #保存文件在D:/xh.txt文件中 f.write(title) f.write(content) f.write('\n\n') f.close() print(title, content) else: #访问失败 continue
以上是“Python如何爬取笑话大全”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!