web自动化爬虫seleniumcentos无GUI环境配置-创新互联

基本环境：centos7,python3.x

1.安装selenium

pip3 install selenium

2.安装chrome-browser

wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm --no-check-certificate

yum install ./google-chrome-stable_current_x86_64.rpm

3.下载chromedriver（注意要和chrome-browser版本对应）

由于下载的chrome-browser是70版本的，所以chromedriver 选择了2.43版本

wget http://chromedriver.storage.googleapis.com/2.43/chromedriver_linux64.zip

解压此文件，并将文件移动到/usr/bin目录下

unzip chromedriver_linx64.zip

mv chromedriver /usr/bin/

4.测试selenium是否可用，请执行以下python脚本，如返回html内容，则说明安装成功

from selenium import webdriver
url='http://bing.com'
option = webdriver.ChromeOptions()
option.add_argument('--no-sandbox')
option.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=option)
driver.get(url)
print(driver.page_source)

注意需要加上，禁止在沙箱中运行

option.add_argument('--no-sandbox')
option.add_argument('--headless')

补充：

安装firefox支持

yum install firefox

yum install Xvfb

yum install libXfont

pip3 install pyvirtualdisplay

测试脚本

#!/usr/bin/python3
from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,600))
display.start()
driver = webdriver.Firefox()
driver.get('https://www.baidu.com')
print(driver.title)
driver.quit()
display.stop()

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。