如何使用python爬虫获取黄金价格-创新互联

这篇文章将为大家详细讲解有关如何使用python爬虫获取黄金价格，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都做网站、成都网站建设、鱼峰网络推广、小程序开发、鱼峰网络营销、鱼峰企业策划、鱼峰品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们大的嘉奖；创新互联为所有大学生创业者提供鱼峰建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.comPython的优点有哪些

1、简单易用，与C/C++、Java、C# 等传统语言相比，Python对代码格式的要求没有那么严格；2、Python属于开源的，所有人都可以看到源代码，并且可以被移植在许多平台上使用；3、Python面向对象，能够支持面向过程编程,也支持面向对象编程；4、Python是一种解释性语言，Python写的程序不需要编译成二进制代码，可以直接从源代码运行程序；5、Python功能强大，拥有的模块众多，基本能够实现所有的常见功能。

代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
  {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
  {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
  {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
  {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
  [id]  integer PRIMARY KEY autoincrement,
  [name]  varchar default 0,
  [price]  varchar default 0,
  [time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
  con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
  cur = con.cursor()
  print Pricelist
  sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
  cur.execute(sql,Pricelist)
  con.commit()
  cur.close()
  con.close()
def getPrice():
  url='http://www.dyhjw.com/matter_gold/'
  req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
  res = urllib2.urlopen(req)
  res = res.read()
  #获取的块
  re_set = re.compile(r'(.*?)

',re.S) re_get = re.findall(re_set,res) #获取价格详情 p = re.compile('target="_blank">(.*?)-\n ',re.S) Pricelist = re.findall(p,re_get[0]) for i in range(0,len(Pricelist)): p = re.compile('(.*?)\n (.*)',re.S) Price = re.findall(p,Pricelist[i]) gname = Price[0][0] gprice = Price[0][1] timep = re.compile(r"(\d+)-(\d+)-.*") nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time())) datas = [] datas.append(gname.decode('utf8')) datas.append(gprice) datas.append(nowtime) datas = tuple(datas) sqliteinto(datas) if __name__=="__main__": getPrice()

大橙子网站建设，新征程启航

如何使用python爬虫获取黄金价格-创新互联

其他资讯