热数据为即时在线数据,通常需要被频繁的访问,表明当前某个事件正在发生,例如用户的网页浏览行为,银行、信用交易数据,实时的地理位置状态等,通常这些热数据多存在于第三方的平台或基于某个第三方的APP系统。
热数据应用的场景多为从获取的数据中快速分析计算,得出结果来辅助银行进行非法交易操作的快速定位与制止;辅助定位交通违规等不法行为发生;实时关注顾客正在浏览的位置,进行精准影响等。
所以从热数据中获取有价值的数据,需要实现高速的批量数据采集,采用实时计算甚至是毫秒级计算的能力,数据库需要具备高精度的存储格式,对于不同类型数据采用不同存储手段,以实现快速存储,快速读取。
实时数据采集可以使用KafKa、Flume等技术,实时计算可以使用流处理技术,如:SparkStreaming、Storm,之后使用Redis、Memcache、MongoDB等内存数据库提供数据的快速实时查询服务,辅助决策分析。