大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
本篇内容主要讲解“怎么在MaxCompute上分析IP来源”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么在MaxCompute上分析IP来源”吧!
站在用户的角度思考问题,与客户深入沟通,找到宁津网站设计与宁津网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广、域名注册、虚拟空间、企业邮箱。业务覆盖宁津地区。淘宝IP地址库官网地址 http://ip.taobao.com/ ,其查询接口[ http://ip.taobao.com/service/getIpInfo.php?ip=[ip 地址字串]]( http://ip.taobao.com/service/getIpInfo.php?ip=[ip 地址字串]),如下所示:
但是在MaxCompute中禁止使用http请求,那么如何实现在MaxCompute中进行IP的查询?
目前有三种方式:
用SQL将数据查询到本地,再发起http请求查询。-->效率低下,且淘宝IP库查询频率需小于10qps,否则拒绝请求。
下载IP地址库到本地,进行查询。-->同样效率低,且不利于数仓等分析使用。
将IP地址库定期维护上传至MaxCompute,进行连接查询。-->比较高效,但是IP地址库需自己定期维护。
① IP地址库下载, http://ip.taobao.org:9999/ipdata_download.html 下载需要的格式数据。本文以[基本数据格式]为例。
②下载UTF-8数据,打开看看数据格式。
前四个数据是IP地址的起始地址与结束地址,前两个是十进制整数形式,后两个是点分形式。这里我们使用整数形式,以便计算IP是否属于这个网段。
①创建表DDL:
DROP TABLE IF EXISTS ipresource ;CREATE TABLE IF NOT EXISTS ipresource ( start_ip BIGINT ,end_ip BIGINT ,start_ip_arg string ,end_ip_arg string ,country STRING ,area STRING ,city STRING ,county STRING ,isp STRING) ;
②使用Tunnel上传文件(文件>10MB需要使用 Tunnel upload命令 )
odps@ workshop_demo>tunnel upload ipdata.txt.utf8 ipresource;
可以通过SQL查看到表中共计上传2369306条数据。
③查看ipresource表样本数据。
通过编写Python UDF将点号分割的IP地址转化为int类型的IP。详细如下:
①添加Python 资源。
②编写Python资源代码。
from odps.udf import annotate@annotate("string->bigint")class ipint(object): def evaluate(self, ip): try: return reduce(lambda x, y: (x << 8) + y, map(int, ip.split('.'))) except: return 0
点击提交并解锁。
③新建自定义函数:
提交并解锁:
④验证ipint函数是否生效并满足预期值。
以具体IP地址为例,在正常情况会以具体表的字段来读进来。
保证数据准确性可以定期从淘宝IP库获取数据来维护ipresource这个表。
到此,相信大家对“怎么在MaxCompute上分析IP来源”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!