网站首页 行业供求 行业产品 行业公司
行业资讯 行业网站 链接交换 网友收藏
行业供求 >> 信息展示:
构架大数据网络需要重视的六个问题
信息介绍:
在我们考虑大数据时,我们注意到了“大”这个字,但是在建设基础架构时,我们还应该注意“分布式”。事实上,大数据应用程序需要处理大规模信息,而且在出于弹性的考虑将数据复制到多个位置时,信息的规模变得越来越大。但是,大数据的最重要属性并不在于它的规模,而在于它将大作业分割成许多小作业的能力,它能够将处理一个任务的资源分散到多个位置变为并行处理。在将大规模和分布式架构组合在一起时,我们就能发现大数据网络有一组特殊的需求。下面是需要考虑的六个方面:

1.网络弹性与大数据应用程序

如果有一组分布式资源必须通过互联网络进行协调时,可用性就变得至关重要。如果网络出现故障,那么造成的后果是出现不连续的坏计算资源与数据集。

准确地说,大多数网络架构和工程师的主要关注点是正常运行时间。但是,网络故障时间的根源又各不相同。它们可能源自于各个方面,包括设备故障(硬件与软件)、维护和人为错误。故障是不可避免的。虽然网络的高度可用性也很重要,但是想要设计**可用性是不可能的。

网络架构师不能用故障来逃避目标,而应该设计一些能适应故障的弹性网络。网络的弹性取决于路径多样性(资源之间设置多条路径)和故障转移(能够快速发现问题和转移到其他路径上)。除了传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准一定要包含这些特性。

2.解决大数据应用中的网络拥塞问题

大数据应用程序不仅仅舒模大,而且还有一种我称为突发性的特性。当一个作业启动之后,数据就开始流转。在高流量时间段里,拥塞是一个严重的问题。然而,拥塞可能引起更多的队列延迟时间和丢包率。此外,拥塞还可能触发重转,这可能让本身负载繁重的网络无法承受。因此,网络架构设计时应该尽可能减少拥塞点。按照可用性的设计标准,减少拥塞要求网络具有较高的路径多样性,这样才能允许网络将流量分散到大量不同的路径上。

3.大数据中网络一致性要比迟延性更重要

实际上,大多数大数据应用程序对网络延迟并不敏感。如果计算时间的数量级为几秒钟或几分钟,那么即使网络上出现较大延迟也是无所谓的——数量级大概为几千毫秒。然而,大数据应用程序一般具有较高的同步性。这意味着作业是并行执行的,而各个作业之间较大的性能差异可能会引发应用程序的故障。因此,网络不仅要足够**,而且要在空间和时间上具有一致的性能。

4.现在就要准备大数据未来的可伸缩性

可能让人有点意外的是,大多数大数据集群实际上并不大。许多人都知道雅虎在其大数据环境中运行着超过42,000个节点,但是根据Hadoop Wizard的数据,2013年大数据集群的平均节点数量只有100个。换句话说,即使每一台服务器配置双重冗余,支持整个集群也只需要4个接入交换机(假设是分别有72个10GbE访问端口的Broadcom交换机)。

可伸缩性并不在于现在集群现在有多大规模,而是说如何平衡地扩展支持未来的部署规模。如果基础架构设计现在只适合小规模部署,那么这个架构将如何随着节点数量的增加而不断进化?在将来某一个时刻,它是否需要完全重新设计架构?这个架构是否需要一些近程数据和数据位置信息?关键是要记住,可伸缩性并不在于**规模,而是更关注于实现足够规模解决方案的路径。

5.通过网络分割来处理大数据

网络分割是创建大数据环境的重要条件。在最简单的形式上,分割可能意味着要将大数据流量与其他网络流量分离,这样应用程序产生的突发流量才不会影响其他关键任务工作负载。除此之外,我们还需要处理运行多个作业的多个租户,以满足性能、合规性和/或审计的要求。这些工作要求在一些场合中实现网络负载的逻辑分离,一些场合则还要实现它们的物理分离。架构师需要同时在两个方面上进行规划,但是初始需求**统一在一起。

6.大数据网络的应用感知能力

虽然大数据的概念与Hadoop部署关系密切,但是它已经成为集群环境的代名词。根据不同应用程序的特点,这些集群环境的需求各不同相同。有一些可能对对带宽要求高,而有一些则可能对延迟很敏感。总之,一个网络要支持多应用程序和多租户,它就必须要能够区分自己的工作负载,并且要能够正确处理各个工作负载。

大数据网络设计的关键是要理解一点:需求不仅仅是提供足够的东西向带宽。最终,应用程序体验取决于很多因素,包括网络拥塞和分割。创建一个满足所有这些需求的网络需要有前瞻性,不仅要考虑基础架构能够支持的伸缩规模,还要考虑不同类型的应用程序如何共存于一个通用环境

信息明细:
名 称:构架大数据网络需要重视的六个问题
类 型: 供应
类 别: 行业综合 行业综合
地 区: 广东 深圳
用 户: HM枯叶蝶
日 期: 2019-09-26 09:36:36
发布IP: 113.106.88.10
参考图片:

联络方式:
深圳主机托管:http://www.humenggroup.com/
东莞主机托管:http://www.humenggroup.com/newsInfo-34-133.html
云服务器购买:http://www.humenggroup.com/newsInfo-34-855.html
云服务器租赁:http://www.humenggroup.com/newsInfo-34-859.html
公司名字:深圳市互盟科技股份有限公司
互盟股份以数据中心为基础、以云技术为核心,为客户打造私有云、混合云、云超融合、容器云、云交换等解决方案,帮助客户解放基础架构,专注

友情提示:
    信息由用户自行发布,采用请谨慎,我们鼓励您当面交易。如有不符合法规或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们。名站在线只为传递信息,我们不做任何双方证明,也不承担任何法律责任。 信息转载,请标明来源于www.fwol.cn ,谢谢。

其它相似链接:
海西焊工培训学校焊工培训费用怎么样
焊工培训_选大唐焊工培训中心** 大唐甘肃发电焊工培训中心自2006-08-08成立,一直专注于利用优质的培训资源和先进的信息技术,是国内知名的教育培训机构,主要从事焊工培训。多年来,培养了遍布青海的广大学员。如果您对我们的培训感兴趣,请您电话联系我们,联系人马经理。 大唐焊工培训中心不断完善教学体系,理论与实践结合,做到学以致用,以专业焊工培训为服务特色,真正的做到以学员为本,以教学质量为主,以解决就业为目...

[供应]荆州优惠的自粘防水卷材防水自粘卷材厂家
找优质自粘防水卷材上新东源防水材料 荆州市新东源防水材料有限公司主要是以沥青的产品研发、生产、销、施工的生产型有限责任公司,拥有高品质的材料和专业施工队伍。公司自粘防水卷材产品以良好的防水等等综合性能优势,占据了全国大分的市场份额。投放市场多年来,产品备受行业青睐,好评如潮。来电咨询。自粘防水卷材有哪些特点??1、不用粘结剂,也不须加热烤至熔化,只须撕去隔离层,即可牢固地粘结在基层上。施工方便且施工...

绍兴哪里有好的圈带传动平衡机|高速动平衡机
想买圈带传动平衡机上浙江动之衡平衡机制造 你还在为寻找优质的圈带传动平衡机而烦恼吗?不要再烦恼了,浙江动之衡平衡机制造有限公司会为你解决关于试验机的一切问题。多年来,我司深知要想不被淘汰,只有跑在前面,因而一直致力于圈带传动平衡机的研究与开发,不懈的努力下终是卓有成效,得到了众多使用单位的认可。产品质量、品质都可圈可点,供应的圈带传动平衡机符国生产标准,品质可靠。 平衡机是用于测定转子不平衡的仪器,...

纹络智能温室***智能温室建设一辰温室
纹络智能温室哪好智能温室建设一辰温室冬季温室大棚生产三个重点冬季北方气温低,温室大棚生产面临很大难题,在温室大棚蔬菜生产中应该做好以下三个重点,才可保障温室大棚作物正常生长发育。1,做好温度理。保证足够的温室是冬季生产的基础,生产理上可在墙体覆盖草帘、无纺布和薄膜等,既可以保温防寒,又能防止雨雪蒸发降温。同时可采用多重覆盖栽培技术,就是在地面覆盖地膜,增加土壤的容热量;在棚膜上盖草帘,在草帘上再加盖...

酒泉牛肉拉面加盟,专业牛肉拉面加盟找兰州宝福牛肉面
牛肉拉面加盟找兰州宝福牛肉面 兰州宝福祥牛肉面餐饮理于2012-05-11成立创建,是兰州市地区知名的代理加盟,主要从事牛肉拉面加盟服务。以“至诚服务,追求**”作为服务宗旨,我全体员工本着专业用心的服务态度,为需求群体提供优质的牛肉拉面加盟,服务覆盖甘肃。我们广大需求群体前来咨询。 我是以加盟为主要经营方式,兰州宝福牛肉面凭借强大的技术,制造实力和人性化的理理念,为客户提供的牛肉拉面加盟具有专业的特色,通...


相关评论:
(欢迎网友发表评论,请注意网络文明)
(不支持 HTML 显示,请勿发HTML代码)
(评论需审核后才能显示)

本站推荐:
西安一笔一画科技有限公司
好客网
河北燕赵蓝天板业
电源适配器,锂电池充电器
高2017届复读生招生启
初中生怎么背单词快最简单
价格适中的商业大厦工程在
吹管消声器
大连水源热泵/地源热泵/
价位合理的厦门红酒加盟_
正压式氧气呼吸器,HYZ
SJ系列圆锥式制砂机
Q43-100T液压废金
塔式玉米烘干机厂家质优价
北京新东方前途出国咨询有
北京朗仕特科技发展有限公
真封神告诉我该怎么样闯过
PM240-2功率模块6
2023日本东京礼品展览
建筑节能为空调企业发展带
我国涂料产业进入高速发展
discount guc
加盟品牌可提升洗衣店利润

电脑版

Copyright 2005-2024 名站在线[fwol.cn]版权所有
经营许可证:粤ICP备17047754号