nba篮球大师球探技巧|北京单场总进球值
  今天 2014年07月05日 设为首页加入收藏
组织结构 办事指南 企业之窗 农村科普 抗震设防 知识产权
重庆·选择不凡 华为云城市峰会2019,为您揭开
 
更新时间: 2019-08-19 17:35 文章来源: 作者: 2019-08-19 17:35
 

  “大数据”概念已经出现超过15年,在褪去了社会?#20113;?#28014;躁的认知后,已在各领域成熟应用,从最开始的互联网搜索行业,再到企业运营和生产制造,继而扩展到城市治理和教育医疗等。

  当“大数据”从少数机构的技术杀手锏,变成每个企业都可以快速应用的通用技术,技术演进貌似也已经进入一个相?#20113;?#31283;的解答。我们不禁要问,大数据的未来在哪里?

  我们今天不讲那些大家耳熟能详的经典应用案例,而是从?#25910;?#19968;个另类的大数据体验说起。

  一. 你玩的是游戏,别人玩的是“大数据”。

  去年,“吃鸡”游戏《绝地求生》大火,我?#19981;?#26497;相应朋友圈的号召,在加班之余投入到吃鸡大军中,当然,绝大多数时候?#27982;?#19981;了在开局初期就成 “盒”(被击杀)。

  于是,为了提高战绩,?#19968;?#20102;1080TI显卡,在高位升级了2条内存,还买了个高性能鼠标,但仍然是每局悲剧。再次验证了毛主席说的:“决定战争胜负的不是一两件新式武器”。

  直到我最近看?#25581;?#31687;文章,从大数据的角度对20G的游戏日志数据进行了?#27835;?让?#19968;?#28982;大悟。

  文章作者获取到了近70万次游戏内击杀的数据集,然后使用Mathematica工具进行了简单的大数据?#27835;?得出了几条结论。

  1.首先通过?#27835;?#20987;杀者和被击杀者?#21335;?#23545;位置信息,得出结论“在房屋视觉死角方向靠近房屋可?#28304;?#24133;降低被击杀的几率”。

  2.通过?#27835;?#20987;杀发生的坐标信息,?#27835;?#20986;游戏中的最容易发生击杀事件的区域,玩家可以根据自己的游?#20961;?#30053;,选择进入高危区域或者躲避高危区域。

  3.通过击杀次数统计,得出“击杀15名对手的玩家,有75%的概率能赢得比赛”。说明,在游戏中,只有多击杀对手,才是获得最终胜利的关键。

  遵循着大数据?#27835;?#32473;出的结论,我又上手玩了几天,虽然还是没有吃到鸡,但是整体的游戏表现比之前有了大幅提升。只要有数据,人人都可以玩大数据。

  二. 大数据是怎么走到今天的

  2004年前后,谷歌发表了三篇论文,标志着计算机大数据时代的开启。三篇文章分别是《分布式文件?#20302;?GFS》、《分布式计算框架 MapReduce》和《NoSQL 数据库 BigTable》,俗称“三驾马车”。

  2005年, Hadoop因其技术的高效性,被Apache Software Foundation公司引入并成为开源应用。

  2008年末,计算社区联盟 (Computing Community Consortium),发表了白皮书《大数据计算:在商务、科学和社会领域创建革命性突破》,该组织也成为第一个提出大数据概念的机构。

  2010年,肯尼斯.库克尔在《经济学人》?#25103;?#34920;大数据专题报告《数据,无所不在的数据》,成功的洞见了大数据时代的趋势。

  2012年,维克托•迈尔•舍恩伯格出版了《大数据时代:生活、工作与思维的大变革》一书,提出了大数据的核心?#35114;?#39044;测。该书也成为的大数据入门必看读物。

  2012年,美国政府在白宫网站发布《大数据研究和发展倡议》,标志着大数据已经成为重要的时代特征。

  2014年,中国《政府工作报告》中首次出现“大数据”一词,掀起国内大数据研究和应用浪潮。

  2016年,Spark在大数据行业开始流行,包括IBM在内的大企业都纷纷?#24403;?#36825;个经济实惠的分布式计算开源框架。标志着一个大数据新的技术里程碑。

  2019年,知名的大数据软件企业Cloudera和Hortonworks宣?#24049;?#24182;,而另一大数据独角兽MapR被HPE收购,标志着大数据商业软件时代的结束,也预示着大数据的另一个未来。

  三.大数据的未来在哪里?

  在过去的十几年,硬件的性能,尤其是网络性能一直是大数据应用的瓶颈, 天才的架构师们自然想到了集群化大数据?#20302;?#26550;构。

  1)分布式集群集中部署

  单服务器提供的算力有限,使用大规模的服务器组成分布式集群,成千上万个普通CPU并行计算突破了单服务器算力极限。

  2)数据分散存储在物理机每个?#25165;?#19978;

  每台服务器?#20197;?#20960;个至十几个普通?#25165;?使用多台服务器搭载搭建了分布式存储?#20302;??#34892;?#35299;决超大规模数据存储问题。

  3)数据本地化

  数据处理任务从远程物理机读取数据开销大。以数据为“?#34892;?rdquo;,将数据处理任务迁移到数据所在的物理机上,能?#34892;?#38477;低网络带宽,保证了整体性能。

  这?#35114;?#23384;算一体的大数据技术架构。经过十多年的发展,网络性能已经提升了100倍,内存容量也提升了数十倍。大数据处理的瓶颈逐渐从网络转移到CPU上,上述存算一体架构的缺点也逐渐突显出来:

  1)刚性扩容,资源浪费

  不同场景需要的存储空间和算力配比是不一样的。实际使用中要么计算资源达到瓶颈,要么是存储容量不足,只能对集群进行刚性扩容,造成集群资源浪?#36873;?/p>

  2)资源无法弹性

  不同场景,不同时期需要的算力是不固定的,存在波峰和波?#21462;?#29289;理机中存储数据造成无法大规模关闭闲置节点,造成算力闲置和能源浪?#36873;?/p>

  3)数据孤岛

  随着企业数据多种数据?#35762;?#23384;,并存储在不同?#21335;低?#20013;,形成数据孤岛,?#19968;?#30456;访?#39318;?#25442;成本高,制约了数据价值的进一步挖掘。

  4)作业?#31561;?/p>

  随着数据采集技术和网络技术发展,企业拥有EB级数据已经成为常态,而单次大数据?#27835;?#20316;业就需要读取数百TB乃至PB级的数据,多任务并发下,极易出现作业?#31561;?影响企业正常运作。

  华为预测,到2025年,全球年新增数据存储量为180ZB,企业的数据利用率会达到86%。如?#21496;?#22823;的数据如何高效的?#27835;?#20854;中的价值?显然,现有的大数据架构已经无法满足未来的需求了,那么,大数据的未来在哪里?

  8月27日,在重庆悦来国际会议?#34892;?#20030;办的“重庆·选择不凡 华为云城市峰会2019”,鲲鹏大数据解决方案将重磅发布,为您揭开大数据的未来之路。想了解更多峰会详细内容,搜索:华为云官网-最新活动-城市峰会-重庆·选择不凡 华为云城市峰会2019。

特别提醒:本网内容转载?#20113;?#20182;?#25945;澹?#30446;的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中?#29575;?#25991;字和内容未经本?#23616;?#23454;,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或?#20449;担?#24182;请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任?#25991;?#23481;侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


 
济源市科学技术局 2009 版权所有
豫ICP备05001037号
友情链接 :
nba篮球大师球探技巧 合乐网页版登录 二人麻将技巧之猜牌技巧 p好运来下载 二肖包中期期稳145 pc蛋蛋大小单双怎么猜 重庆时时开奖视频软件 北京塞车计划 时时彩注册送88元网站 2018最新二八杠游戏 pk10永久可用出号公式