首页 >

机器学习时数据量太大,不能一次性装进内存该怎么办? – 网络|

迅雷7提示太旧怎么办,mobile 怎么读,云建站怎么打不开机器学习时数据量太大,不能一次性装进内存该怎么办? - 网络|机器学习时数据量太大,不能一次性装进内存该怎么办

(1)压缩数据量。提前对数据进行预处理,将每条样本使用编码进行压缩存储(结合hash还可进一步减少内存占用),随后的分析过程中直接读取压缩文件再逐个还原并处理即可,这样可以使得读入内存的数据量变小,减少内存占用。

(2)采用大数据计算框架。如果数据量太大(百G或者T级别),压缩可能已经不是较好的解决方案了(处理速度过慢),这时候可以采取hadoop等框架,利用map-reduce的计算模型调用大量计算能力进行处理(如果你没有大量计算力且数据非涉密,可以考虑各大云服务厂商提供的计算能力),现在的计算框架已经支持了多种语言来实现mr计算模型,使用起来也是十分的方便。

如果觉得有所启发就请点个赞吧


机器学习时数据量太大,不能一次性装进内存该怎么办? - 网络|
  • 手机漫画软件哪个好,漫画资源更全面? - 网络|
  • 手机漫画软件哪个好,漫画资源更全面? - 网络| | 手机漫画软件哪个好,漫画资源更全面? - 网络| ...

    机器学习时数据量太大,不能一次性装进内存该怎么办? - 网络|
  • 如何一键同步各大视频软件? - 网络|
  • 如何一键同步各大视频软件? - 网络| | 如何一键同步各大视频软件? - 网络| ...

    机器学习时数据量太大,不能一次性装进内存该怎么办? - 网络|
  • 金九银十双十一,电商有什么软件可以方便统计? - 网络|
  • 金九银十双十一,电商有什么软件可以方便统计? - 网络| | 金九银十双十一,电商有什么软件可以方便统计? - 网络| ...