首页 >

如何避免成为一台取数机 – python – 前端,python 表格加减法

python 绝对路径,python scripts,开源python扫描器,python浮点转整数,python中断寄存器,python中%( ),somevar.python,删除 python venv,get请求python,python fabric local,python 表格加减法如何避免成为一台取数机 - python - 前端,python 表格加减法

取数是数据工作的一个基础内容,也是大多数“入门”级别数据工作人员(例如数据分析师)的基本职责,取数对于前期的数据概况和业务需求会是一个熟悉和渐进了解的过程,因此这个过程必不可少,特别是对于刚入职的新人。

但是,如果一个数据工作者长期从事取数工作(例如超过2年,这里的时间取决于企业的数据规模和复杂度),那么其价值确实会很小,为什么这么讲呢?

这里,首先要谈谈取数这个工种的特点,就八个字:上不着天,下不着地。

在企业内取数的目的无外乎两个:决策分析(比如各类统计等)和用户营销,取数人员对下衔接了平台和数据,对上衔接了业务人员,似乎是最容易成为复合型人才的,但大多时候不是这样。

实际情况是,取数人员号称需要理解业务,但由于不为业务发展负责,因此其不需要钻研业务,而通过取数获得的直观业务理解是非常有限的。

举个例子,业务人员需要取某个特定口径营销活动的目标用户,取数人员当然可以方便的取出来,但很少有取数人员能真正的去理解取数的背景,当然可能人家也不给这个机会,比如营销活动的目的是什么、为什么定这个业务口径、采用什么样的营销政策、准备怎么触达这些用户等等。

从技术的角度看,取数人员虽然要接触平台和数据,但由于只取不改,因此技术要求其实很低,一般掌握简单的SQL就可以了,但这降低了取数人员技术进步的可能,现在很多取数工具可视化做得不错,取数人员甚至连后台的基本命令都不需要掌握。

因此,取数人员的实际技术含量是很低的。

但由于取数速度又往往影响企业的决策和营销效率,因此取数人员在企业内非常被需要,有些取数人员自偶感觉还不错,但由于这个工种本身的特点,决定了职业天花板很低。

更不好的消息是,在一个企业内,IT部门一般就是后端部门了,数据部门则是IT部门的后端,而取数又是数据部门的末端,取数特别上不了台面,上不了台面意思就是取数太强调过程了,没法体现真正的业务或技术贡献,部门或公司不需要取数人员做汇报,其业绩往往只是部门老大PPT上的一个数字,1000和10000对取数来说可能是云泥之别,但对于其它人的意义就是一个变动的数字。

如果你现在已经从事取数工作1年以上了,但被业务部门日常、琐碎的取数需求占据大部分时间,每天忙到怀疑人生,你就要想想,自己是否已经成为了一台取数机器。

一些取数人员觉得会不服气,自己幸幸苦苦,加班加点取出那么多数据,业务人员EXCEL、PPT倒腾几下就出了结论,自己则没半点功劳,凭什么?

那你得好好想想苹果手机的价值链,最有价值的是设计,从来不是富士康,前者具有稀缺性,后者换谁做都可以,这就是现实。

这是很多取数人员在一个企业内面临的基本面。

偶这么提,并不是说取数是一个没有前途的工种,而只是表明,一些工种天然跟业务,领导联系紧密,很容易被关注,能获得更多的反馈,也容易获得进步,潜力不容易被埋没,而很多工种则相反,特别强调自省,否则一不小心就成了大叔,泯然众人矣,类似的其实很多,比如一些维护和客服工作。

那么,取数如何自省?

首先要说明,从来没有人明确定义过有取数这个工种,也没有人限定过取数的边界,你去招聘网站上看,只能看到数据建模,数据分析,数据架构,经营分析,数据开发,数据管理等这类岗位,但基本没有取数。

取数实际是上述岗位需要掌握的一个基本功,取数本身只是手段,其内涵很难成就一个职业,企业里现实情况是,一方面很多取数人员没认真思考过职业规划,比如取数了一年还没点想法,另一方面企业可能也缺乏数据人才培养的环境,没能力照顾到每个员工的发展,往往是走一步看一步,现在外行领导内行的情况蛮多的,外行可以搞搞无为而治,但要说培养专业人才,必须对于这个专业有深入的理解。

假如你已经意识到了这个困境,希望有所改变,偶就给五个建议,下面是五千字长文,一定要看完:

1、理解什么叫真会取数

取数是理解数据和业务最有效的手段,如果你是个新人,先老老实实的去实践吧,即使已经有什么数据分析师,数据建模师等的职业理想也先藏在心里,这个过程一般在半年到一年,当然各类企业由于业务和数据环境的不同有差异,等到你成为合格的取数人员了,你再继续往下看。

那么什么叫做合格的取数人员?

(1)在你所取数的领域,业务人员一开口,你就基本知道怎么取了,完全不依赖它人,这需要反复的练习,形成自己的取数套路,如果你经常跟业务人员扯皮,或者返工很多,或者外部评价一般,就要想想是否是自己学艺不精,而不是人家跟你过不去,如果你取数到一定水平,会形成一定的取数权威,业务人员会信任你。

(2)面对业务人员能独当一面并不意味着你已经是合格的取数人员,很多企业宽表做的很好,能够应付大多数的取数,笔者建议你至少要知道你这条业务线的取数涉及的所有基础表的来龙去脉,这需要自顶向下的学习,无法靠简单的自底向上的日常实践就能获得,你要尽量扩充你的数据视野,千万不要被几张宽表困在局中,否则你完全不知道如何变通,宽表成就不了数据分析,数据建模等事业,这个大家可以掂量下自己的分量。

如果你觉得够格了,那可以继续往下看,如果现在连取数都还疙疙瘩瘩,那就别好高骛远,先认认真真,老老实实的做好了再说。

2、业务上要更进一步

在偶看来,基于业务人员想法来取好数,最多只是”60分工作”,即便你的需求来源是业务部门老总,也就值60分。何为”60分工作”?就是刚刚满足温饱的工作,让你能赚这份工资,但无法凸显你的价值。

如果你的职业规划偏向业务,比如成为经营分析师或者数据分析师,你就需要通过取数过程主动表现出你对于业务的认识和贡献,如果你还不知道什么叫作主动体现想法,以下是两个场景:

(1)主动提供取数建议:有大量的取数是有一定难度的,业务部门往往事先没想清楚,这个时候就需要当面沟通,要抓住机会主动提供一些建议,与业务人员互动也是理解业务需求和分析思路的好机会,要善于换位思考,最好将取数的主动权抓在自己手里,引导业务人员按你的想法去做,不仅让人家觉得你这人靠谱,而且可以降低大量无效的取数,要知道,业务人员越想不清楚的需求,就越容易乱提,然后双方就在口径上纠缠不清,取数人员经常埋怨业务部门新人乱提需求,不懂基本的规则,就是这个原因。

在与业务部门互动的过程中,你的取数能力、业务能力、思考能力、沟通能力及表达能力都能获得很好的锻炼和展现,这种取数人员很容易被业务部门盯上,然后某天就去业务部门报道了,当然并不是说一定要走这条路,但这样做的确让自己的人生多了一种选择,毕竟不是每个取数人员都适合去做技术。

(2)主动参与一些分析:一般认为,业务分析是业务部门的事情,数据部门很少参与,但实际情况并不是这样,取数人员照样有分析锻炼的机会,比如KPI指标异动,往往需要先确保原始数据准确,然后再从业务上查找问题,这个时候业务人员和数据人员的分工界面其实不是很清楚,大家都可以做,由于取数人员最先拿到数据,因此有条件先人一步。

公司也不关注到底哪个部门应该提供分析报告,而在于哪个部门能更快更好的通过分析发现和解决问题,因此偏系统层面的欠费分析,稽核分析等等,数据部门做往往更有优势。

在做数据分析的过程中,取数人员会养成深度思考的习惯,掌握基本的分析和表达技巧,炼成一种通过数据讲故事的能力,不仅提升了综合能力,而且能较好的彰显自身的价值,性价比是很高的,根据笔者的观察,能通过取数打开一片天空的,很多有数据分析的经验。

因此,取数人员不仅要扮演好”实现者”的角色,更要能成为”思考者”,分析则是取数人员实现突破的康庄大道。

3、技术提升的空间很大

如果你还是想做技术,那技术空间可大着,关键在于要有改变的意识,不要总是按部就班,其实取数过程中接触的任何现成平台、工具与数据都有改进的机会,关键在于你敢不敢去优化,甚至颠覆它们,以下是一些场景:

(1)让模型变得更好用:数据仓库模型本来的目的是降低取数的成本,但随着业务发展、系统变更及取数复杂性的增大,可用性会越来越差,很多取数人员就没有这个意识去改变下,比如增加几个字段,甚至自己建个模型表,别以为现成的模型师就比你做得好。如果你以后想成为一个数据架构师,可以从做数据仓库模型优化开始,敢于动底层的代码,在这个过程中能搞清楚一系列的概念,比如ETL,DW,OLAP等等,要敢于去做一些长远的事,取数的经验通过模型沉淀下来后可以让取数跑得更快,你的优化将让全团队受益,这就是显性化价值,如果你想改变,这就是一个切入点。

(2)让平台变得更好用:在做数据仓库的时候,为了让数据跑得更快,你需要接触到大量的技术,评估各类技术的优劣,现在大数据平台hadoop,MPP,流处理是为了满足不同的大数据处理场景需要而产生的,你甚至可以自己来搭建平台,从数据处理者转变为平台架构师,这又是一条成长路径,当然你要提前做好准备,比如多找些开源工具练手,或者自己搭一个取数环境,真有机会才能抓得住。

(3)让产品变得更好用:假如你发现很多取数能够固化成报表,应该当仁不让的写脚本并实现它,假如你所在的企业提供了取数工具,你恰好对产品感兴趣,就可以结合取数的实践,思考下这个工具有什么问题,有哪些需要改进的地方,做数据产品经理不是你想做就能做得,你得首先体现出做产品的素质,敢于提出建议并给出设计,这就是一个好的开始,团队少一个取数人员损失不大,多一个有想法的做开发和产品的人,那是可遇而不可求的事情。

(4)让数据变得更有用:如果你对数据挖掘感兴趣,那就不要仅限于只会SQL,起码要把Python,R等语言学会,能够端到端的完成一个数据挖掘过程,一般数据团队总是有相关的专业课题的,机会一到,一定要主动请缨,在做这类具有挑战性的课题中,你的能力会快速增长,也就实现了华丽转身。

总之,取数人员如果要做技术,就要想清楚自己要什么,然后让领导看到你在这方面的努力和变化。

4、从授人以鱼到授人以渔

由于市场变化很快,取数总是滞后于市场,同时企业的取数流程带来的管理开销是巨大的,无论是沟通成本,审批成本或是反复成本,实际上取数永远无法让业务人员满意,最好的方式是让业务部门自己来取,这是最高效率的做法,但这种模式能否执行也依赖于企业的实际情况。

假如业务部门真的愿意自己来取(一般竞争越激烈的企业驱动力越强)也不是那么容易,至少取数人员要配合做到以下几点:

(1)提供平台或工具:如果没有适当的工具,让非技术人员写SQL(姑且认为分析师是技术吧),可能普通业务会排斥,此时需要给他们提供一个界面化、可点击、可拖拽的工具。这种系统如果只是简单的基于底层数据来开发不难,无非是将用户界面的点击和筛选条件,映射到后台的sql“模板”,并生成一个sql语句然后再去数据库执行,这种方法往往比较容易接受且非常灵活。或者市面上有现成的BI工具,诸如下放图片所示的FineBI,可以直接用于搭建企业的数据分析系统,也是非常好的选择!

(2)提供适当的培训:各业务线学员自己要能获取数据,要给业务线的其中一个经常运用到数据的人员进行培训,对每个部门种下一名种子选手,当这名选手学会之后,他有个任务就是把技能扩散到部门中的各个人员。

(3)普及数据文化:由于人员培养是个长期过程,因此需要协同公司的人力等部门,建立一套常态化的培训机制,包括课程体系、师资队伍等等,比如笔者企业的大数据千人计划,当前每年开展的培训次数超过4000人次。

如果你已经意识到这一点,可以尝试着现在就提出这种思路,甚至简单的去实现一个自助取数工具,说不定会获得认可呢?即使推动不了业务部门用,自己用也可以,配置是绝对快过自己写代码的,比如大家有只7个人的取数团队,手工+配置每天能做到30张单子,原来没有配置能力前就只能做十几个。

授人以渔这种支撑模式跟每个企业的发展阶段有关系,其实你能做的大多时候只能是顺势而为,但要相信自助化是一个趋势,不尝试永远没有机会。

5、与业务人员做一定的博弈

博弈的目的不是为了推挡取数需求,而是因为取数这种事务性的工作,特别容易让你陷入低质勤奋的状态,取数人员需要为自己留出一定的时间来思考前面笔者提出的系列问题,比如机器换人,大量的资源投入长远来讲实际还损害公司的利益,不少企业硕士或者博士都在长期取数,这是资源的浪费。

那么,如何博弈?

(1)建立一套取数管理机制和流程,包括标准化的取数模板,严格的审批流程等等,虽然增加了取数门槛,但也会挡掉一些需求,给自己一些时间缓冲,否则很容易会被各种紧急需求淹没。

(2)多问问业务人员取数的目的,别当老好人,你问得越多,业务人员提需求就会越谨慎,比如常问“你要这个数据干什么?“,对业务人员来说就是一种威慑,有可能数据需求连他们自己都没想明白,这可以有效过滤掉不靠谱的、不尊重别人时间的需求。

(3)需求太多的时候可以跟业务人员协商,排定优先级,暗示时间和资源有限,把时间放在高价值、最重要的地方。

相信你的上级所以一直让你做取数,大多时候,是因为根本不知道你除了取数还能干什么,假如你的确按照以上的做了,发现企业仍然不能给你进一步提升的机会,你就要考虑是不是应该换个公司。


如何避免成为一台取数机 - python - 前端,python 表格加减法
  • python语言接口功能类别 - python - 前端,python跳出异常
  • python语言接口功能类别 - python - 前端,python跳出异常 | python语言接口功能类别 - python - 前端,python跳出异常 ...

    如何避免成为一台取数机 - python - 前端,python 表格加减法
  • 编写程序必须使用一个符合什么规范的开发环境 - python - 前端,python cs
  • 编写程序必须使用一个符合什么规范的开发环境 - python - 前端,python cs | 编写程序必须使用一个符合什么规范的开发环境 - python - 前端,python cs ...

    如何避免成为一台取数机 - python - 前端,python 表格加减法
  • python什么是文本分析 - python - 前端,python 正则 排除
  • python什么是文本分析 - python - 前端,python 正则 排除 | python什么是文本分析 - python - 前端,python 正则 排除 ...