米乐6|米乐电竞|米乐官网
米乐6
米乐6
电话:0851-85824918
传真:0851-85824918转8018
E-mail: gyjlykj888@163.com
地址:贵阳市花果园中央商务区2号楼1单元44层
  您当前位置:首页 > 解决方案
所谓大数据分析究竟要学什么?

来源:米乐6    发布时间:2023-11-10 21:55:36

  很多人说,大数据分析要学习各种数据分析方法和数据挖掘模型。虽然说得没错,但其实大数据分析最核心的价值,还是对业务的深入洞察和理解,进而为业务提供问题解决方案。

  所以,如果你要从事数据分析,不仅需要有深入的数学和统计学背景,更需要有对业务的深刻理解,在学习时,需要偏重很多与业务分析相关领域的知识,如经济学、心理学、营销学,甚至财务和企业管理方面的学科。

  优秀的数据分析师,往往来自于对业务观察、思考和理解,也来自于对产品的认知、看法和判断,这些都是无法量化的东西。这也是我们常说的,“从业务中来,到业务中去”。

  在互联网公司中,经常能看到这样的“懂技术也懂业务”的大数据分析人才。还在于目前互联网公司的数据量很大,不依靠编程,甚至分布式编程,无法高效地处理数据。

  -负责大数据应用算法的设计、研发与产品化,包括但不限于复杂网络分析、个性化推荐、群体标签建设等方向

  -熟悉大规模图挖掘、机器学习、自然语言处理、分布式计算等有关技术,并具备工程实践经验

  国内 IT 、通讯行业招聘中,有 10% 都与大数据相关,且比例还在上升。图源:百度经验,《大数据工程师的薪资和职业发展路径是怎样的?》

  大数据分析具体要学什么 ,还可以从“什么是大数据分析?”这样的一个问题出发,来拆解一下它所包含的技能点。

  直白地说,把“大数据分析”这个词拆开来看,就是所需要学习的两大方面的技能点——

  一方面,它包括收集、整理和加工数据;另一方面 ,从数据中提取有价值的信息,从而形成对业务有帮助的结论和发现。

  如果你想要快速又全面地了解数据分析师的基本能力要求,希望入门数据分析实践,推荐看看知乎知学堂的这个“3天实战训练营”:

  比如统计学、R语言、数据挖掘等(所以也有的人觉得统计学、数学不好的人是搞不了这个的) 。

  2. 流处理:对运动中的数据来进行处理,即在接收数据的同时就对其做处理,对应的处理框架有 Storm、Spark Streaming、Flink Streaming 等。

  会有人问,我是否可以不学编程,用一些数据挖掘软件来解决工作需求呢?个人觉得,只用软件已不再适合大数据时代。一方面,现在很多平台处理的数据量,易受软件性能的限制;另一方面,即使你在工作中不需要处理大数据量,但你在分布式编程也要比软件在单机处理速度快很多(虽然很多商业化软件都在逐渐支持分布式部署,但终究不如自己写程序处理要更香,不是吗?)。

  比如,通过大数据分析掌握业务状态、分析业务潜力、评估业务进展等。下面简要分析一下:

  这个问题,如果要追查流量异常,可使用“OLAP技术”(联机分析处理),通过多个维度拆解数据,逐层追查问题所在。使用的分析思路可以是分组分析(细分样本)和因素分析(细分指标)。定位异常点后,如果不是系统程序的问题,能够直接进行“异常分析”,基于事先未预料的客户的真实需求,改进产品策略。

  在这个业务问题中,大数据分析需要学习的方法有:OLAP技术、分组分析、因素分析、异常分析、趋势变化分析和设计指标等。

  这个产品当前的主体问题是什么?下一步发展潜力在哪儿?从数据中挖掘问题原因并提出对策,指导产品下一步的改进方向 。比如:某教育网站一款针对小学5-6年级的英语一对一产品,Q1-Q3流失了200个客户(占比总客户量的30%),原因是什么?如何在Q4减少客户的流失(找到对策)?

  面对宽泛的业务问题,咱们不可以只观察数据,而要用“个案分析”摸清楚详细情况,启发分析思路。

  比如对于上面这个客户流失分析的案例,可抽样30+位家长用户,逐一打电话询问流失原因。通过反复抽样调研和统计归类,最后得到诸多流失原因及相应占比。

  同时,也可用“聚类分析”,选取客户的一些典型特征进行聚类。最后建立一个“回归预测模型”,基于客户的近期情况,预测其流失的可能性。

  在这个业务问题中,大数据分析需要学习的方法有:个案分析、聚类分析、回归模型、结合模型的业务应用等 。

  新上线的产品策略或新推进的运营活动,带来多少业绩提升?项目的覆盖面和影响面如何?其中存在怎样的问题,如何逐步优化等。比如:针对VIP客户,某教育网站在“618”期间设计了一种全新的优惠促销策略。在当月下发执行后,如何评价促销策略带来的业务提升?是否这批VIP目标客户,同比于去年同期的购买额增长,可否作为促销策略的成果?

  购买额的同比增长,难以排除其他因素的干扰,只能用“同质对照组”评估促销策略的收益。分析业务,选择三个最影响客户购买额的特征(行业、地域、企业规模)对样本分层抽样,尽量保证实验组和对照组在购买额变化上的同质性。哪些特征对购买额的影响较大,可以依据业务经验,也可以计算每个特征和购买额的相关性来得到。最后用因素分析的漏斗法做多元化的分析,就能很容易分析出哪个阶段是主要问题。

  数据分析师属于企业中稀缺又特殊的岗位,个人的体会是,优秀的大数据分析师,他最好的状态并不是因为所从事领域的“高级感”,而站在鄙视链的顶端去审视传统的统计技术和理念,反而更能用欣赏和开放的心态去看待和借鉴他人的工作。

  大数据是客观、动态的数据,不论是 全国的交通数据、还是人全身细菌的运动数据,或者宇宙中可能冒气泡的星球冒气泡的数据。

  我们去收集这些个数据,可能出于兴趣,但企业一般都未解决业务的特定问题。比如说通过交通数据 设计红绿灯动态解决方案。 而某个人全身的细菌运动数据,是一个过于特定的场景,冒气泡这个就可能一时还解决不了什么公司的具体业务问题。

  所以说你看的大数据的价值,决定了你所在的业务的价值,之后才是你能从中创造多少价值。

  具体到一个人去做业务,要注意两个特点,首先是 数据量极大需要特定的工具甚至多个工具组成工具链帮助分析;其次是 分析一定要落到与业务相关性大、有前瞻性的点。

  我看到这里题主说 “非计算机、非数学专业” ,但是没有讲是什么行业,以及自身的职业负责的是什么层级,对什么业务,作为曾经参与数据公司组建的从业者,在这里宽泛的讲一点。

  这些个工具,一定是结合应用场景,具体问题,具体学习。再说一遍,一定是找具体场景,具体学习,因每个工具,不光用法五花八门,临机应变的小技巧更是需要实战中学习。

  我们当时做数据公司的时候,一开始在选方向尝试的时候,着眼比较大众的数据,但是在同行中对比,越来越发现扎根深的业务,用现在流行话来说就很垂直的业务,离赚钱更近。

  你可以做和业务有一定距离的项目或者研究,但是一定要 明白现在这条业务线最重要且紧急的问题是什么,否则大有可能做很长时间,没什么实际结果。

  拿着一本单词书狂背,顶多解决马上要来的考试。到了具体交流的场景,还是完蛋。所以说关键场景找好以后,整块的学习、理解、练习、交流 才是提升的方式。

  如果只有碎片时间的原因是加班太多,那可以先这样想:哪个环节花费时间最多,可以不可以优化这个环节花的时间。若无法,你懂的。

  IBM提出大数据的特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(线V。核心就是

  大数据分析要学什么。我认为首先是要学会分析方法,以及对工具的使用,尤其是数据库的使用。

  数据库相关的,什么拆表,分库等肯定要会。举个简单的例子,1.2亿条分子结构模型的数据,怎么储存到数据里?

  至于具体项目,或者详细的细节内容,还要具体分析。比如我研究的是世界上1.2亿个物质(真实的符合科学原理的)该怎么存储,怎么表达。就很头疼。

  是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

  大数据这行业,目前鱼龙混杂,啥人都有,本质上是因为它是一个在旧行业基础上硬长出来的新行业。说它旧是因为:数据分析、人工智能这些概念,几十年前就有了,只是碍于运算能力一直跟不上,所以行业发展缓慢。像是数据分析,从Oracle这公司80年代创造出商用SQL后就出现了,数据库和仪表板甚至机器学习(以前叫作:数据挖掘 Data Mining),也都不是很新的概念了,现在职场中不少专家都有相当长久的类似经验。

  那最近几年来的大数据热潮又是怎么回事呢?它其实是构建在强大的数据处理能力,比如并行计算、GPU以及云计算这些牛逼的底层架构上发展出来的新技术。它的理念很简单,就是

  !靠庞大的数据量和运算能力,实现了以前的人想都不敢想的智能奇迹。再加之某些软基础:比如Python这种极其符合人类语言的编程社区日渐庞大,和可视化BI软件的出现(比如:Tableau、Power BI),这才奠定了这波每个人都在畅谈的热浪。

  首先我们要认清,这个数据行业有非常多的岗位,有数据分析、数据运营、数据工程等等。甚至你还能找到极其传统的搭建 Oracle/SAP 数据库的工作,也可能被HR称做大数据工程师。

  我们目前只讨论数据分析相关的岗位。很多工程师本质上更像是盖房子的壮汉,只负责把房子盖好,不负责出租和住这个房子。我们现在说的大数据分析工作,指的是住房子的人。

  而所有大数据分析相关的工作,说到底,万变不离其宗,你唯一要学也是这个岗位里最重要的技能就是:

  我把它叫做 Puzzle Solver:解读和解决谜题的人。这个行业里的最优秀的人都有这样的特点。本质上就是个侦探嘛。把不同地方的蛛丝马迹连接在一起,找到凶器,拼接成一幅完整的惊吓到所有人的凶杀案,再掏出手表麻醉老板(误)......

  假设你彻底掌握了这个能力,那不管是用手指在沙滩上乱画,还是在云上做并行计算搞深度学习,都没差。当然,很多的时间我们都是在学习使用这一些前沿的工具,增加我们的分析效率。

  Business Analytics 商业分析:对业务和产品负责,直接通过数据可视化等手段,沟通和改变业务结果

  Data Science 数据科学:捣鼓和处理大量数据,构建数字化的业务系统,自动化,算法模型应用等等。

  你要学什么,取决于你想进入哪个方向。在我看来,任何网络上的课程,国内的教育平台设计的内容都没有世界顶级高校设计的硕士项目丰满和完整。于是我们直接参考(bai piao)它们的课程设计,照着学就完事了。

  人力资源分析(爬虫瞎爬学校的教授信息,硬分析一把+简单自然语言处理入门)

  数据管理和道德(使用云计算Microsoft Azure入门,Mongo DB入门和Spark入门)

  大家只要照着这个课程结构,在网上找彻底免费的课程,就能非常系统地轻松入门,不用花50万一年的学费啦~

  *如果有小伙伴对课程具体细节感兴趣,请点赞支持吧!过百赞后我会详细讲讲的~

上一篇:听说人才缺口上百万!这个
下一篇:计算机云计算专业怎么样云机专业主要学什么
米乐6
米乐电竞
新闻中心
公司新闻
产品中心
软件产品
米乐官网
解决方案
网站地图

微信二维码扫描
联系电话:0851-85824918  手机:0851-85824918转8018  邮箱:gyjlykj888@163.com
Copyright 2020   米乐6|米乐电竞|米乐官网  版权所有.  地址:贵阳市花果园中央商务区2号楼1单元44层   
免责声明:本网站部分资料来自互联网,如果涉及到版权问题,请及时通知本站,我们尽快删除或更改。    米乐6