浅谈python元素如何去重,去重后如何保持原来元素的顺序不变-创新互联

python列表元素去重后如何保持原来的顺序不变

原列表：

list1 = [1,2,1,4,9,3,5,2,6,7,3,1,6,8,4,0]

去重，使用集合set来去重：

list2 = list(set(list1)

set去重得到的list2默认按升序进行排序：

list2 = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

使list2按照list1元素出现的顺序进行排序（也就是原来的顺序）：

list2.sort(key = list1.index)

此时，list2 = [1, 2, 4, 9, 3, 5, 6, 7, 8, 0]

具体的实现过程如下：

补充拓展：python爬取链接去重

我就废话不多说了，直接上代码吧！

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
 
pages = set()
def getLinks(pageUrl):
	global pages
	html = urlopen("http://en.wikipedia.org"+pageUrl)
	bsObj = BeautifulSoup(html)
	for link in bsObj.findAll("a",href = re.compile("^(/wiki/)")):
		if 'href' in link.attrs:
			if link.attrs['href'] not in pages:
				#遇到新的页面
			  newPage = link.attrs['href']
			  print(newPage)
			  pages.add(newPage)
			  getLinks(newPage)
getLinks("")	

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。