请教下,转数据分析,还需要学哪些? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Colorful
V2EX    Python

请教下,转数据分析,还需要学哪些?

  •  
  •   Colorful 2020-03-06 13:04:40 +08:00 5897 次点击
    这是一个创建于 2077 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1、我现在在看爬虫,一些简单的会爬 2、在看数据清洗这块,还不太懂。( numpy、pandas、matplotlib ) 3、数据展示,这块,Power BI 和 Tableau Public 会。但假如说一个库里面是有价格,而我想展示,区间的占比,这个还不会。 4、数据库,mongo 和 mysql 都会一些基础的,mongo 比较熟一些。

    PS:之前一直是做前端的,这次想转数据分析,花了一些时间和数据。 之前有做过一些大数据展示的项目。

    所以想问下,如果转数据分析,还要学哪些啊?

    25 条回复    2020-05-16 11:16:06 +08:00
    andylsr
        1
    andylsr  
       2020-03-06 13:30:11 +08:00 via Android
    学业务逻辑,脱离业务无从谈分析
    Colorful
        2
    Colorful  
    OP
       2020-03-06 13:46:45 +08:00
    @andylsr 这个只能在工作中才能去学到的吧?
    p2pCoder
        3
    p2pCoder  
       2020-03-06 14:07:21 +08:00
    你是数据分析,核心在于发现数据的价值
    而现在 我感觉你还仅仅是想做可视化
    conge
        4
    conge  
    PRO
       2020-03-06 14:10:57 +08:00 via Android
    统计知识
    q8164305
        5
    q8164305  
       2020-03-06 14:13:05 +08:00 via Android
    数据分析你不能脱离业务啊
    ccoming
        6
    ccoming  
       2020-03-06 14:14:54 +08:00
    面向 JD 学习,招聘信息上面都有。
    aladdindingding
        7
    aladdindingding  
       2020-03-06 14:15:33 +08:00
    大数据的存储可不是随便的 mongo 和 mysql 之类的
    NeezerGu
        8
    NeezerGu  
       2020-03-06 14:18:11 +08:00   1
    1、学会忽悠。(不开玩笑),运营问你 xx 数据有问题,你能不能给一个令人信服的理由;你写了一个报告,别人有质疑,你能不能给出一个为什么这么写的原因?

    2、excel。各公司可能会有不同的 BI 软件,但 excel 通常都会用到。你可以基于 excel 做一些简单的报告就好,对应的 BI 甚至可以入职了再了解(个人感觉这些也不难吧……)

    3、sql。通常搞数据分析就是各种 sql 写的飞起,不过多数公司应该只要求会就行,不会要求你写的多么棒之类的。。

    所以你会发现从上往下三个,越往上越重要,花的精力也越多( sql 甚至稍微看一下就会了)。几乎多数公司也都是重视你对数据的理解,而这个理解很多时候说白了,就是你如何忽悠出来一个令人信服的理由。

    另外,数据清洗不用太关注。讲白了就是有点异常值你给去掉就行了。以及 python 使用的频率没那么高,甚至不会 python 的多了去了。
    Colorful
        9
    Colorful  
    OP
       2020-03-06 14:32:26 +08:00
    @NeezerGu 这样子的吗?我看知乎上,很多说数据分析,要学会数据清洗。所以想问下,数据分析,要学哪些算法?还要看数据挖掘方面的吗?
    Colorful
        10
    Colorful  
    OP
       2020-03-06 14:33:12 +08:00
    @p2pCoder 我只是写了一些自己了解的,自己不懂的就没写,我也不知道数据分析,要懂哪些。这段时间打算好好看看那些
    NeezerGu
        11
    NeezerGu  
       2020-03-06 14:53:26 +08:00
    @Colorful 啥叫数据清洗。。
    比如你跑一份日活,开发告诉你有一批错误的数据是 0,以及这两天数据有点重复。
    你就从
    select day,count(*) from 日活表 group by day
    变成
    select day,count(distinct uid) from 日活表 where uid!=0 group by day
    就好了。
    这就是数据清洗…………

    当然,更多的时候是出现在你做分析的时候。
    你拿到不熟悉的表,第一件事就是了解一下数据,而不是直接拿上做。
    不然后期你发现这个数据中有异常值(比如以直播为例,发现有用户开播时间超过 24 小时的,拉高了平均开播时间等),你再重头开始写 where 清洗一遍就花时间了。
    NeezerGu
        12
    NeezerGu  
       2020-03-06 14:55:52 +08:00
    @Colorful 算法、数据挖掘方面主要看你们公司的结构。
    有些地方给我感觉数据分析、挖掘不分开的。
    两种活都接,或者应该说是做数据分析的顺带把数据挖掘的给做了。这种对算法的需求可能就会大一些。

    纯数据分析个人感觉并不需要算法支持,需要的时候百度看一下就好。反正我个人是那种学了忘的,最后通常是用到了就百度谷歌看一下就好。
    Colorful
        13
    Colorful  
    OP
       2020-03-06 17:41:29 +08:00
    @NeezerGu 你这样说的话,我就有点理解了。那我现在应该多看哪些方面的?
    NeezerGu
        14
    NeezerGu  
       2020-03-06 18:02:28 +08:00   2
    @Colorful
    首先按说你是前端的话,sql 应该接触过,我假设你有基本的 sql 技能。
    那主要我推荐你基础的了解一下 excel 的常用函数(其实主要就是一些 vlookup、countif 之类的),数据透视图,制图(折线图什么那些),这些应该 1、2 天就能搞定(百度一下应该都不难的),太复杂的组合函数不推荐专门去学,真要用的话还不如直接上 python

    接着,如果想公司内部转岗的话。公司数据敏感问题不严重的情况下,我推荐你问一下公司的数据同事,要点需求自己试一试(其实我真感觉数据组很多基础需求就是干一发 sql,excel 划拉两下,给产品 /运营说几句,就完了……),
    如果你能解决这个,你问问数据的 leader 能不能转过去。某种意义下比较懂行的数据 leader,在缺人的情况下,会比较愿意要转岗的人(一方面对公司的业务稍微有一定了解,培养成本低,另一方面转岗至少一年吧,都会比较吃苦耐劳一些,愿意做一些其他人不愿做的基础活)

    如果你想直接跳其他公司的话,我觉得会比较难。推荐你先按照该公司的主要产品,去学一些数据技能,比如对方公司主要产品是直播方面的,你可以直接用爬虫抓一些直播的数据(比如我抓过 twitch 的,印象里几乎不设防),然后试着分析一下,无论啥东西都行,只要你觉得这个分析比较有意思。个人感觉会成为一个加分项。

    数据分析这行业,缺人缺的厉害,但主要还是看老板们的心里预期投入吧。
    个人感觉为了满足产品 /运营很多对数据的好奇心,会需要大量“取数机器人”,理论入职门槛极低。但有些团队会要求比较严,学历啥子的都有要求,进去往往刚开始依旧还是取数,做 bi 什么的。
    所以真想做的话不要气馁,面试可能也比较看运气。
    bozhongshao
        15
    bozhongshao  
       2020-03-06 18:07:08 +08:00
    数据整个的可以 从采集->存储->建模->分析->变现 几个步骤 。 你说的 实际上是数据研发的范畴。 如果是分析的话 就需要针对具体的行业,先了解业务 然后根据业务构建你的分析模型(指标+平台) 然后 去分析指标的问题 挖掘价值点。
    我们这边就是 开发+建模+分析 阿里巴巴国际站欢迎你。
    hello2060
        16
    hello2060  
       2020-03-06 18:33:54 +08:00
    dataquest 上试用一下或者买一个月的课程
    ccoming
        17
    ccoming  
       2020-03-06 21:58:25 +08:00   2
    @p2pCoder
    @NeezerGu
    @conge
    @andylsr
    其实,上面 @到的几位都提到了,做数据分析重要的还是在于业务方面:对数据的理解、现象的解读和对应的建议。
    而 lz 提到的那么多技术名词,其实走的是数据工程师或者数据可视化的方向。
    一个偏业务、营销,一个走技术、研发,不一样的。
    不知道 lz 真正想走的是数据分析还是啥。
    如果是数据分析的话,其实用啥工具、语言根本不重要,领导也压根不在乎。
    他要的是你捣鼓完那堆数据后,发现了什么东东,对此给出的建议是啥,公司应该怎么做。
    lz 真想走数据分析的路,我给的建议是:
    1、征得公司同意后(重要),用你觉得趁手的工具,给业务、运营人员做基础的日报、月报、销售仪表盘。报表简洁易懂就行,花俏的可视化就免了。这样,你不但能接触公司机密的业务数据,知道公司的销售构成、成长轨迹、发展方向,也能接触一线业务人员,了解公司最新的业务发展方向,销售难点等等。过程很枯燥,看到哪些屎一样的数据,各种吐槽。不过没关系,毕竟只有这样才能摸清公司的业务;

    2、经过摸底阶段后,lz 由于不断地和业务部门打交道,对公司的业务、销售模式都基本了解。可以尝试主动介入到业务部门的工作中:给业务部门解决业务难题。例如,最近 A 区的销售下滑特别明显,是哪里出现问题了,数据能不能跟踪到;我们的产品,跟市场的竞品对比,有哪些差异?实际工作中,业务部门的问题往往都很广大空,不会提出像“我要哪个区域什么时间的产品销售数量比例,饼图!”的问题。不管没关系,你经过 1 后,已经清楚业务的数据有哪些,尝试去跟他们沟通,去追问,去明白他们真正想要的数据。这期间,你应该也要逐渐了解他们的思考方式,业务经营思路。为什么会要这些数据,看了数据后,有做什么举动。这里,他们的想法很重要;

    3、当你在日常工作中,能了解数据需要输出报表后,尝试多做一步:给出建议。这时候,你要在思想上当自己是业务人员,出现问题后自己要从数据中找出原因,并尝试让数据产生价值。模拟 2 中的业务人员去思考去工作:A 区业绩下滑的原因是什么,这情况会出现在别的地方吗?怎么样才能解决这个问题?甚至再进一步:怎么样才能避免出现这个问题?

    做到上面 3 点后,你已经是一个称职的数据分析人员了。

    以上,只是我个人见解,仅供参考。
    NeezerGu
        18
    NeezerGu  
       2020-03-06 22:59:36 +08:00
    ![image.png]( https://i.loli.net/2020/03/06/X3rOcZguB7xaNef.png)

    吐个槽,看到群里发的,这就是我说的忽悠。。。
    Colorful
        19
    Colorful  
    OP
       2020-03-07 19:12:46 +08:00
    @NeezerGu 不是转岗,跳到其它的公司。sql 的查询这些,基本没问题,mongo 比较熟一些。数据这块还算懂一些吧,之前有做过 2 个项目的大数据展示这块,算是可视化吧,只是数据不是我处理,只是纯粹的展示以及逻辑这些。
    像 PowerBI 和 Tableau 这两个工具,会用,自己也有试着做了一些。爬虫,简单的会,这几天在看复杂的。

    我待的几家公司,都没有专门做数据这块。所以只能在网上参考一些。
    看了拉勾的这些,大部分都要会算法以及机器学习。
    Colorful
        20
    Colorful  
    OP
       2020-03-07 19:19:16 +08:00
    @ccoming 其实我是想往数据挖掘这块走。但我完全没接触过数据分析这块,身边也没有人做这块,所以无人着手。
    只是在提问的时候,说明一下自己会的哪些。现在是想去其它公司面试数据分析。

    也不知道数据分析到底是哪些。
    但看到有些人说,分析和挖掘是一起的,所以我不清楚,自己应该要有个怎么样的定位
    Colorful
        21
    Colorful  
    OP
       2020-03-07 19:20:52 +08:00
    @hello2060 我去看看,太感谢了
    Colorful
        22
    Colorful  
    OP
       2020-03-07 19:25:04 +08:00
    @bozhongshao 建模 这块一直不太懂。分析这块得多看下统计学,其它的感觉还好
    bozhongshao
        23
    bozhongshao  
       2020-03-10 11:42:46 +08:00
    @Colorful 建模的话 其实就是业务建模。 就是结合业务进行分析 分析也不单单是统计那么简单。 其实还是业务分析 哈哈 建议可以看看数据运营相关的东西。 现在简单的分析就到这一层了
    a505362678
        24
    a505362678  
       2020-05-15 11:49:48 +08:00
    不知楼主找到工作了吗 我也想找数据分析的工作 但是感觉投不到
    Colorful
        25
    Colorful  
    OP
       2020-05-16 11:16:06 +08:00
    @a505362678 加微信聊聊?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5235 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 07:55 PVG 15:55 LAX 23:55 JFK 02:55
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86