加入收藏        欢迎光临!

汽车与交通大数据研究中心大数据挖掘平台布局完成

发布时间:2016-03-14

为了进一步完善我院科研院所的研究基础,提高科研数据处理速度,我院汽车与交通大数据研究中心于2016年3月13日在土木楼301进行了大数据挖掘平台布局。本次活动由刘张老师主持,郑轶鹏老师具体组织,电子科大与成都师范学院大数据社的部分同学参加。活动开始,刘张介绍了大数据的重要意义和中心已有的大数据科研工作。接着郑轶鹏介绍了中心的基本情况,最后大数据硕士刘翼滕、崔文虎介绍了大数据挖掘平台HADOOP与SPARK的理论原理和操作实务。

Hadoop是分布式系统基础架构,由Apache基金会开发,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。此外,Hadoop能够对大量数据进行分布式处理的软件框架,同时它也是最受欢迎的在Internet上对搜索关键字进行内容分类的工具,还可以解决许多要求极大伸缩性的问题。Hadoop在设计时采用了并行执行机制,因此能大大提高效率。

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

通过这次活动,完善了研究中心的数据挖掘平台,同时也使同学们对大数据有了新的了解,也明白了自身的不足,纷纷表示从这次的学习中获益匪浅,希望以后能有金博宝188,金博宝188app这样的机会学习。

成都师范学院物理与工程技术学院版权所有 © All Rights Reserved 蜀ICP备05003610号
地址:中国四川省成都市温江区海科路东段99号 邮编: 611130
办公室电话:028-66775490 党总支书记信箱:951206025@qq.com 院长信箱:ygr@cdnu.edu.cn