大数据专业的就业方向,有什么书籍和学习路线推荐么

精英怪
广告

大数据专业的就业方向,有什么书籍和学习路线推荐么?

大数据学习可以从最基础的java语言入手,然后去学习Linux&Hadoop生态体系,一些分布式的技术理念,再然后就是学习机器学习,深度学习算法。

大数据专业的就业方向,有什么书籍和学习路线推荐么

阶段一、大数据基础——java语言基础方面

(1)Java语言基础

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

(2)JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

推荐书籍:

《Effective Java中文版》(第2版)

这本书是学习java必备书籍,看完这本书也就掌握了入门的基础知识。

阶段二、 Linux&Hadoop生态体系

学习大数据离不开hadoop,围绕hadoop有一套生态体系,分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架需要了解并掌握。

推荐书籍:

1、《Big Data》

2、《Hadoop权威指南》

3、《Hive编程指南》

阶段三、 分布式计算。

(1)分布式计算框架

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算等

(2)storm技术架构体系

Storm原理与基础、消息队列kafka、Redis工具、zookeeper集群

推荐书籍:

1、《Learning Spark》

2、《Spark机器学习:核心技术与实践》

阶段四、机器学习和深度学习算法的学习,可以更好的利用大数据去处理问题。

学大数据开发有前途吗?

这种问题不能瞎答乱答,要讲基本道理的。泛泛而论,我认为大数据开发有前途,但是你得考虑清楚未来的路径。(大数据开发的几个发展路径和建议在文末,可以直接拉到结尾直接看,然后再看中间的分析内容)。

最近三年“大数据”这个词很火,火爆异常,各种培训班开课广告满天飞。但是很多开课的忽悠师傅也不知道大数据分析师、大数据研发工程师、大数据建模工程师、大数据挖掘工程师等等有什么不同或者差异。

相信提问的兄弟,也不确定大数据开发具体和大数据有什么关系?和别的开发有什么不同?为什么大数据开发有前途?

本回答尝试从个人工作中的接触和朋友的经验分享总结整理一下,以供参考。

开宗明义,大数据目前笼统一点的岗位划分是:

数据科学家&数据工程师&数据分析师。

对大数据这个新的细分领域来说,干活的人有几种:

一种是用大数据的,就是数据科学家,或者数据分析师;

一种是开发大数据平台的,就是平台开发工程师。

当然交叉起来还可以继续细分,挖掘、建模都可以成为单独的职位。

我们不扯远,专注讲大数据开发好了,类似建筑行业里面砌砖的。

大数据本质其实也是数据,不过也包括了些新的特征,数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可以是PB级别);数据增长速度快。

所以,大数据开发更多要重视大数据量+多种格式的清洗+大量数据的分析和复杂模型建模+随时应对变化的数据量和数据结构+高深点的需要注意底层技术提高应用效率。

我认为通用型的大数据开发需要了解整个领域的技术框架

——具体进入某个公司的大数据开发团队后,可以就该团队的技术框架深入钻研

——但是如果是进入某公司去负责一整块大数据开发的话,还是需要了解和熟悉整个领域的技术框架的。

介绍大数据相关的工作前我们先了解下大数据的处理流程

我们看到好多略有差异的思路,但是总结起来,无非就是:

1、数据源整合和数据收集:结构化数据+不完整结构化的数据(大多数外部数据源都很乱,各位以后做这个一定会面对很多提供方自以为牛逼的数据)+非结构化数据;前段时间,我遇到一个自称做了5年数据分析的健身房老板,说自己也懂大数据分析。。。我问了下他有多少数据量。。。他说5000条客户数据,我去。。。

2、导入数据库:先结构化,这一步很难,很多人都不知道商务数据需要把主数据和业务数据分开表格——你怎么能在客户数据表上面放交易数据呢,这是一对多关系阿。

3、数据清洗。

4、数据建模。

5、数据分析。

6、数据报表和仪表板。

在前面做好2步做好后,后面就是持续的重复工作。当然需要不断根据业务要求做新模型。

那么在整个过程里面需要学习什么呢?

第0步:最基本的是学好Linux;

第1步:学好数据获取工具,包括数据库(SQL、Hadoop、Hive);爬虫工具(Python和Java,以及对应的库,比如Py的爬虫库和数据处理库等);

第2步:数据处理层,SQL、Hive、Excel、Python和相关库、R等;

第3步:建模层。

第4步:可视化工具,参见上图。

你会发现,这里面东西太多了,你能做的也很多。

既可以当企业的服务于业务部门的数据分析和数据应用开发人员(比如给销售部门做呈现数据工具,比如给企业IT部门做分析简化模型工具);

也可以给外部大数据工具供应商当开发人员;

也可能给开课讲工具应用和分析模型。

学好数学和业务,还能转数据分析师和挖掘工程师。

你说,前途好不好?

如果对您有帮助,麻烦点个赞;如果你觉得对其他朋友有价值,请转发分享。

数据挖掘的就业前景怎么样?

谢邀,在研究生阶段,人工智能原理是我的一门必修课,而数据挖掘属于人工智能的一个子领域,也算是比较新颖的一个专业。所以下面回答下这个问题。

首先,要想知道数据挖掘,需要先知道什么是大数据,因为大数据时代的到来,使得数据挖掘成为一门必不可少的专业。

什么是大数据

大数据是指数据集数据的大小通常超出了常用的软件工具获取、有效、管理和处理的可承受范围的能力。下面有一张图,可以很形象的看出来,地球上的数据量增长是多么惊人,2006年,全球一共新产生了约180EB的数据,到2020年,这个数据量将会增长44倍,达到35.2ZB(1ZB=10亿TB)!数据量大的惊人,在如此之大的数据浩瀚之中,提取发现有用的信息,普通的数据管理工具,根本无用武之地!

什么是数据挖掘

数据挖掘该上场了,数据挖掘就是通过各种算法,规则归纳:AQ算法;决策树:ID3、C4.5;范例推理:CBR;遗传算法:GA;贝叶斯信念网络等各种关联规则,各种新型的数据挖掘工具,数据挖掘软件来从大数据海洋中提取需要的信息。

第一代数据挖掘软件为CBA,是新加坡国立大学研究。基于关联规则的分类算法,能从关系数据或者交易数据中挖掘关联规则,使用关联规则进行分类和预测。

第二代数据挖掘软件DBMiner,与数据库管理系统(DBMS)集成,支持数据库和数据仓库,和它们具有高性能的接口,具有高的可扩展性,能够挖掘大数据集、以及更复杂的数据集 。

第三代数据挖掘软件SPSS Clementine,和预言模型系统之间能够无缝的集成,使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中,由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收,从而与操作型系统中的预言模型相联合提供决策支持的功能,能够挖掘网络环境下(Internet/Extranet)的分布式和高度异质的数据,并且能够有效地和操作型系统集成。

随着科技发展,数据挖掘工具也在更新换代,使得数据挖掘更加精确与简单。

所以想告诉题主的是,随着人工智能、随着大数据时代的到来,数据挖掘专业是一个很有就业前景的专业,但是这个专业又不是孤立的,它是一个工具,需要结合人工智能,机器学习,智能推荐系统等等领域才比较有学习价值!

希望对你有用,要是对你有所启发,希望给个赞,点点关注呗!

大数据专业职称划分?

随着大数据的蓬勃发展和愈演愈热,大数据相关的职业逐渐成为热门,给人才发展带来带来了很多机会。与大数据相关的工作职称主要有:大数据开发工程师、数据分析师、数据挖掘工程师、数据架构师、数据库开发、数据库管理、数据科学家、数据产品经理等。

合工大大数据专业就业前景?

大数据这个专业据我所知应该是今年新设专业,本人就读工大管理学院,工大管院实力毋庸置疑,实力和前景都不错,再加上大数据方向为当下的热门,各大高校都是近两年开设的相关专业,所以实力无法用数据来说明,只能依靠学院以往实力做一个预估。所以无论从学校、学院还是专业本身来说,前景都是十分不错的。所以说我是很推荐报考这个专业的。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
评论列表 (暂无评论,212人围观)

还没有评论,来说两句吧...