基于爬虫技术从互联网上抓取数据、基于传感设备获取数据、或者基于网络应用的操作日志采集数据,这是大数据应用采集的几个典型手段,纯粹企业内部的运营管理应用系统产生的数据通常没有很高的日增量,比如:日增多少TB、多少PB。但对于互联网应用来说,基于社交、视频、电商、内容、搜索、餐饮、出行、服务等都可以产生很高的数据日增量、有很多海量数据应用场景,这些也直接推动互联网数据应用的发展,但这些只是存在少数的较为成功互联网厂商的商业模式里。
2018年是一个转折点,互联网应用开始进入下半场,如果上半场主要是2C,下半场更多开始转向2G、2B,大数据分析模式应用开始进入政府、行业等,如:龙头企业、大型企业、中小企业,而且会逐渐落到实处,不再以酷炫、花哨为主要卖点,从这个角度来说,互联网数据分析前途一片光明。但企业应用建设跟互联网应用建设有很大不同,互联网应用通常是自己主导、技术可控、应用可控、数据可控,但企业应用则是不同厂家承建的,系统异构、五花八门,数据割裂、数据不一致情况非常严重,另外地域跟行业发展严重不平衡,再加上行业特性、企业特点、老板风格都会在信息化中体现,互联网的扁平化、轻量化、统一化的打法在行业、企业里面是根本走不通的,这也是很多企业更多认同“+互联网”模式,而不是“互联网+”模式。
因此,在互联网走向下半场时做数据分析,一定要深入行业、理解企业,借鉴互联网的技术和模式,踏踏实实做企业应用、数据治理、应用集成、业务集成、数据分析。首先,企业内部的应用系统治理与整合,过程中还得查缺补漏、升级扩展,不断地修炼内功;然后实现信息化跟自动化设备结合、实现两化融合;后续逐步实现上下游供应链、区域产业链的信息整合、跟政府、银行、税务、社会信息整合,在企业信息化建设过程中使用互联网应用推动发展起来的大数据采集/分析/存储/处理/加工等技术手段(比如:大数据、云计算、机器学习、人工智能),推动企业的不断发展、最终走向智能企业。