多来源数据采集、处理的数据流程-创新互联

数据平台数据处理流程图

成都创新互联公司是一家集网站建设,图木舒克企业网站建设,图木舒克品牌网站建设,网站定制,图木舒克网站建设报价,网络营销,网络优化,图木舒克网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

1. 数据准备：
   主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。
2. 数据接入：
   针对数据多来源的特性开发针对特定场景的数据接入方式。
   a.FTP来源的数据：采用shel脚本开发，包括检查数据是否准备就绪、开始下载、解密解包、lzop压缩、put方式上传文件到HDFS
   b.合作方推送的数据：搭建简单的web服务，接受携程推送的请求，利用Nginx完成请求负载，并利用Nginx记录请求中的数据，写入文件。后续通过日志收集系统获取数据（其实可以从合作方直接将数据推送Kafka的）
   c.合作方API接口数据：开发程序形成生产者消费者模式，生产者将任务写入队列，消费者从队列中获取任务并利用线程池并发从合作方API接口获取数据
   d.PMS日志数据：主要由开源Flume组件完成
   e.网站数据：利用爬虫抓取网站数据

3.数据存储：
分为实时和离线数据存储两种方式，分别通过Kafka和HDFS进行存储
4.数据处理：
在数据处理环节，主要利用MapReduce和Spark进行数据处理任务的开发。
5、数据查询：
将Hive定义在数据查询这一流程，用户在使用数据平台过程中，通过Hive对数据进行查询。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

本文名称：多来源数据采集、处理的数据流程-创新互联
路径分享：http://dzwzjz.com/article/dcppip.html