大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章主要介绍了python爬虫涉及的相关库有哪些,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
创新互联公司是一家集网站建设,望奎企业网站建设,望奎品牌网站建设,网站定制,望奎网站建设报价,网络营销,网络优化,望奎网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
以下是Python爬虫涉及的相关库
请求库,解析库,存储库,工具库
1、请求库:urllib/re/requests
(1) urllib/re是python默认自带的库,可以通过以下命令进行验证:
没有报错信息输出,说明环境正常
(2) requests安装
2.1 打开CMD,输入 pip3 install requests
2.2 等待安装后,验证
(3) selenium安装(驱动浏览器进行网站访问行为)
3.1 打开CMD,输入 pip3 install selenium
3.2 安装chromedriver
网址:https://npm.taobao.org/
把下载完成后的压缩包解压,把exe放到D:\Python3.6.0\Scripts\
这个路径只要在PATH变量中就可以
3.3 等待安装完成后,验证
回车后弹出chrome浏览器界面
3.4 安装其他浏览器
无界面浏览器phantomjs
下载网址:http://phantomjs.org/
下载完成后解压,把整个目录放到D:\Python3.6.0\Scripts\,把bin目录的路径添加到PATH变量
验证:
打开CMD
2. 解析库:
2.1 lxml (XPATH)
打开CMD输入pip3 install lxml或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件,命令行执行pip3 install 文件名.whl
2.2 beautifulsoup
打开CMD,需要先安装好lxml
pip3 install beautifulsoup4
2.3 pyquery(类似jquery语法)
打开CMD,pip3 install pyquery
验证安装结果
3. 存储库
3.1 pyMySQL(操作MySQL,关系型数据库)
安装:pip3 install pymysql,安装后测试:
3.2 pymongo(操作MongoDB,key-value)
安装 pip3 install pymongo
验证
3.3 redis(分布式爬虫,维护爬取队列) 安装:pip3 install redis
验证:
4.1Django(分布式爬虫维护系统)pip3 install django
4.2jupyter(运行在网页端的记事本,支持markdown,可以在网页上运行代码)安装 pip3 install jupyter
验证:打开CMD,jupyter notebook
之后就可以在网页直接创建记事本,代码块和Markdown块,支持打印
感谢你能够认真阅读完这篇文章,希望小编分享python爬虫涉及的相关库有哪些内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!