请选择 进入手机版 | 继续访问电脑版
设为首页收藏本站

转行之家

搜索
21 69

数据工程师该如何入门?

作者:噼里啪啦哟| 发表时间:2017-10-11 10:01:05| 显示全部楼层|
收藏
0x00 前言最近发现身边有不少小伙伴想转行做数据工程师,聊天的过程中发现大家对该如何入门有很多迷茫的地方,周末写篇博客记录一下。
哪些人适合继续阅读数据工程师该如何入门?话题有点大,而且每个人的理解都很不一样,因此我们会先限定一下会对这个话题感兴趣的人群:
  • 做了几年其它软件开发,发现大数据方向更有前景
  • 在校的童鞋,毕业后想搞数据开发,但是学校没相关课程
  • 没搞过软件开发,对之前的工作没信心想搞互联网,发现大数据方向挺不错
本文结构前面已经限定了一个大致的话题范围,下面介绍一下主要的文章结构:
  • 数据工程师的日常工作,或者是什么是数据工程师
  • 数据工程师需要具备什么技能
  • 该怎么学
0x01 数据工程师的技能树1. 什么是数据工程师数据工程师这个概念其实很模糊,不同的人和公司对它赋予的含义也区别很大,感兴趣的可以看一下我前面的几篇文章。在这里,我们大概聊一下一般意义上的数据工程师在工作中会做什么?
  • 集群运维:安装、测试、运维各种大数据组件
  • 数据开发:细分一点的话会有ETL工程师、数据仓库工程师等
  • 数据系统开发:偏重Web系统开发,比如报表系统、推荐系统等



这里面有很多内容其实是十分重合的,下面大致聊一下每一块内容大致需要学什么,以及侧重点。
2. 集群运维数据工程师,基本上是离不开集群搭建,比如Hadoop、Spark、Kafka,不要指望有专门的运维帮你搞定,新组件的引入一般都要自己来动手的。
因此这就要求数据工程师了解各种大数据的组件。
由于要自己的安装各种开源的组件,就要求数据工程师要具备的能力:Linux。要对Linux比较熟悉,能各种自己折腾着玩。
由于现在的大数据生态系统基本上是JVM系的,因此在语言上,就不要犹豫了,JVM系的Java和Scala基本上跑不掉,Java基本上要学的很深,Scala就看情况了。
3. ETLETL 在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上,比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要,Java、Shell和Sql是基本功。
4. 系统开发我们大部分的价值最后都会由系统来体现,比如报表系统和推荐系统。因此就要求有一定的系统开发能力,最常用的就是Java Web这一套了,当然Python也是挺方便的。
需要注意的是,一般数据开发跑不掉的就是各种提数据的需求,很多是临时和定制的需求,这种情况下,Sql就跑不掉了,老老实实学一下Sql很必要。
0x02 如何入门前面提到了一些数据工程师会用到的技能树,如果希望了解更多,可以看一下《No.3 漫谈数据开发工程师的技术广度》。
下面给一个入门的建议,完全个人意见。
1. 了解行业情况刚开始一定要了解清楚自己和行业的情况,很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行,其实是很不负责的。不要总是赶热点,反正我就是经常被鄙视做什么大数据开发太Low,做数据就要做数据挖掘,不然永远都是水货。
2. 选择学习途径如果真是清楚自己明确地想转数据开发了,要考虑一下自己的时间和精力,能拿出来多少时间,而且在学习的时候最好有人能多指点下,不然太容易走弯路了。
在选择具体的学习途径时,要慎重一点,有几个选择:
  • 自学
  • 报班
  • 找人指点
别的不说了,报班是可以考虑的,不要全指望报个辅导班就能带你上天,但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话,是最好的。不一定是技术好,主要是可沟通性强。
3. 学习路线学习路线,下面是一个大致的建议:
第一阶段
  • 先具备一定的Linux和Java的基础,不一定要特别深,先能玩起来,Linux的话能自己执行各种操作,Java能写点小程序。这些事为搭建Hadoop环境做准备。
  • 学习Hadoop,学会搭建单机版的Hadoop,然后是分布式的Hadoop,写一些MR的程序。
  • 接着学学Hadoop生态系统的其它大数据组件,比如Spark、Hive、Hbase,尝试去搭建然后跑一些官网的Demo。
  • Linux、Java、各种组件都有一些基础后,要有一些项目方面的实践,这时候找一些成功案例,比如搜搜各种视频教程中如何搞一个推荐系统,把自己学到的用起来。
第二阶段到这里是一个基本的阶段了,大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。
  • 数据仓库体系:如何搞数据分层,数据仓库体系该如何建设,可以有一些大致的了解。
  • 用户画像和特征工程:这一部分越早了解越好。
  • 一些系统的实现思路:比如调度系统、元数据系统、推荐系统这些系统如何实现。
第三阶段下面要有一些细分的领域需要深入进行,看工作和兴趣来选择一些来深入进行
  • 分布式理论:比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法,还是要学一下的。
  • 数据挖掘算法:算法是要学的,但是不一定纯理论,在分布式环境中实现算法,本身就是一个大的挑战。
  • 各种系统的源码学习:比如Hadoop、Spark、Kafka的源码,想深入搞大数据,源码跑不掉。
0xFF 总结我把数据工程师的概念缩小了一些,不包含机器学习和深度学习这些算法方向的内容,因此整体是有局限的。不过可以做一些参考。然后还有一些参考的书籍和网上的资料暂时也没时间整理。
希望这篇文章能提供一点点思路和参考,不至于特别盲目。有问题欢迎交流。






帖子的最近访客

回复

使用道具 举报

该贴共收到 21 条回复

弥撒的快乐2  发表于 2017-11-6 20:17:46 | 显示全部楼层
帮你顶,人还是厚道点好













土地纠纷律师
刑事诉讼律师咨询
民事律师多少钱
广州有名的人流医院
经济律师收费标准
个人债务纠纷律师
经济纠纷的律师
交通事故在线咨询律师
婚姻财产分割律师费用
购房纠纷律师费
刑事诉讼律师
怎样请辩护律师
婚姻债务纠纷律师
广州人流哪家医院做的好
民事官司律师费用计算
民事诉讼律师收费标准
合同纠纷律师多少钱
知名合同律师
交通事故请律师多少钱
广州处女膜修补术医院
回复 支持 反对

使用道具 举报

梦里的故事l  发表于 2017-11-11 16:18:40 | 显示全部楼层
哈 谢谢啦 !谢谢分享













广州中度宫颈糜烂治疗
郑州做人流好的医院
广州哪的无痛人流好
广州安全无痛人流医院
广州哪里无痛人流好
广州无痛人流哪家医院最好
广州宫外孕人流多少钱
广州做人流去哪里好
广州做人流去哪个医院
成都处女膜手术医院
广州做人流到哪
广州当天可以做人流吗
广州人流收费标准
广州无痛人流哪里安全
郑州中度宫颈糜烂治疗
广州做人流手术
广州哪里人流比较好
广州超导可视无痛人流
广州无痛人流收费标准
广州有哪些医院做人流
回复 支持 反对

使用道具 举报

飞能家电msm  发表于 2017-11-17 06:01:48 | 显示全部楼层
楼主很棒!













工作装
足疗技师工服
肩章订做
廊坊工装定做
石家庄马夹定做
冬装工作服
烟台制服定做
服装私人定制
酒店工服厂家
保洁服图片
连体服图片
工装定制
工服裙
防寒服
工厂工服
spa工服
职业装订做
移动工作服夏装
职业装定制
服装定制
回复 支持 反对

使用道具 举报

凯立达自动门  发表于 2017-11-24 07:00:35 | 显示全部楼层
牛啊,想不到的强帖













幼儿园工服
宾馆服装定做
漳州制服定做
定做工作服
女西服定做
惠州西服定做
服装定做
阻燃服厂家
防静电工服定做
工装订做
焊工工作服套装
防静电工服定做
盐城工装定制
女式工作服
美容师工作服定做
定做西服
售楼处工服
湛江工服定制
酒店工服定制
苹果员工工作服
回复 支持 反对

使用道具 举报

八旗子弟年代  发表于 2017-11-30 17:43:24 | 显示全部楼层
不错不错,楼主是个绝对高手













工作服厂家
服装厂
职业装定做
工作服批发
西服
定做服务员服装
定制制服
T恤衫
职业装
定做服装
保安服装定做
保洁服装定制
定做西服
衬衫定制
定制制服
工作制服
定制棉服
工作服定制
保安服
订做制服
回复 支持 反对

使用道具 举报

难得逍遥045  发表于 2017-12-5 20:04:20 | 显示全部楼层
这么强,支持楼主,佩服













绵阳衬衫定制
工服t恤
厨师工服长袖
大庆工服定制
制服定做
工装定制
厨师服定制
T恤制作厂家
马夹定制
时尚工作服
酒店工服厂家
淮安衬衫定制
定制工作服
厨师工作服定做
工服面料
银行工服定制
滨州工装定制
连衣裙制作厂家
T恤批发
德州衬衫定做
回复 支持 反对

使用道具 举报

天才爱米粒g  发表于 2017-12-14 05:58:29 | 显示全部楼层
好人一个啊













餐厅服务员工作服
定做西服厂家
呼和浩特工服定做
防砸鞋定制
定做工作服厂家
工服定制哪家好
兰州工服定制
徽章定制
定做工作服厂家
短袖工作服
衬衫加工厂
工装定做
绍兴制服定制
南京酒店服装图片
洛阳工作服定做
冲锋衣定制
沈阳西服定做
制服订做
西餐工服
工作服定制
回复 支持 反对

使用道具 举报

邹立奇aub  发表于 2017-12-15 05:28:20 | 显示全部楼层
支持一下吧!













4s店工服
工作服制造
贵阳衬衫定制
榆林衬衫定制
定做工服厂家
小批量服装定制
牛仔工作服
汽车维修工作服定做
济南保洁服装定制
济南工作服定做
黑色工作服
扬州制服定做
贺州职业装定制
工作服定制
工作服装
南京工作服定制
金华西服定制
防寒服
防静电工服
兰州西服定做
回复 支持 反对

使用道具 举报

八旗子弟年代  发表于 2017-12-17 20:11:05 | 显示全部楼层
楼主高人啊,我先收藏了













工作服男装
廊坊制服定做
台州工服定制
餐饮服装
沈阳制服定做
定做衬衫厂家
黑龙江工装定做
中餐厅服务员工服
长沙衬衫定制
合影工作服定做
定做职业装厂家
上海工作装定做
杭州西服定制
定制工装
工衣定做
商务西服订做
西服制作厂家
工装订做
扬州工作服定制
中山制服定做
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver手机版小黑屋    

商务洽谈:转行之家QQ群:584665127  QQ

Powered by Discuz! X3.2

© 2001-2013 转行之家,all rights reserved

快速回复 返回顶部 返回列表