原以为学习大多都是枯燥乏味的,但在千锋郑州大数据培训班老师幽默风趣的教学中,我慢慢对此有所改观,对Java的学习慢慢积累起了兴趣,也了解了大数据的核心技术,学习很累,作业很难,希望自己不忘初心,用自己的坚持跟刻苦,在不久的将来换来一份满意的工作,非常感谢老师的栽培与同学的帮助。‍
在接触大数据之前,自己对于大数据的概念还很模糊,对于大数据和云计算的差别还是很不清楚,学习到现阶段,我总结了大数据的几个要点:
1)大数据主要侧重于数据的处理,流数据、批量数据、图计算等。在数据处理过程中,批量的数据处理的代表工具是Hadoop,流数据的数据处理代表的是Storm技术。
2)无论是Hadoop还是Spark的架构原理都侧重于分为三部分:资源的管理、服务计算状态的监控、服务的运行。把数据处理、数据处理监控和资源管理分开,可以更容易地进行分布式系统的扩展。
3)主要从数据的存储、数据的处理和数据的应用三个方面进行介绍,每一个方面结合现在的热门工具进行实情实景的分析。
在Java阶段的课程结束后,我们立刻就迎来了Hadoop阶段,我了解到HDFS的作用及储存结构,yarn的作用,MapReduce的应用,执行原理,以及shuffle流程。粗劣的看了一下表面的源码实现过程,zookeeper,hbase的应用,让我知道Hadoop生态圈体系的功能的庞大,各个工具之间的配合与协调,分工合作实现的强大的功能,每天要理解并应用的知识点也是特别的多,每一个工具的使用都需要整理一遍笔记总结,经常来复习巩固。
还有不多的时间我们就要从千锋郑州大数据培训班毕业了,希望未来的自己通过学习能够有所收获,最终能学有所成,不辜负当初的自己和父母的期望以及班主任、讲师、就业老师的指导! |