|
随着互联网业务的快速发展，其数据中心除了自身数量、规模体量在快速增长外，其承载的业务也是海量增长。面对如此海量的设备和需求，***应如何保障数据中心的安全、**、稳定的运营呢?
道法之一，做好计划性运营。
如前所说，互联网业务发展快、变化快、需求多样，一味的保姆式服务是无法满足海量业务的需求的。这样就要求：一方面，运营团队需要梳理清楚自身的工作目录和量化自身的服务能力，形成标准清晰的服务目录。
主动管理用户和老板的预期，建立服务支撑模型和基线。另一方面，需要主动地和用户沟通，了解用户的真实需求和业务发展计划，匹配自身的服务目录和能力基线，与用户就需求进行明确、清晰的定义和分级。对于海量通用的一般级别需求，就提供简单的周期性、计划性的标准化运维服务(如一个数据中心的硬盘，只在每周固定时间进行批量更换)，只是针对个别重要需求才提供**可靠的个性化实时保障服务。这样一方面可以推动业务在架构层面做好冗余优化，尽可能的选择通过一般级别的通用标准服务来满足需求。
另一方面，也可以**的减少一味**可靠服务所带来的高运营成本。**的做好SO运营模式，一方面能够让运营团队提前了解数据中心面临的业务需求和压力，推动在业务层面就做好风险管理，另一方面，只有做好SO运营，才能让运营团队在海量运营中轻松应对，保障平稳运行。
道法之二，做好自动化运营。
在我们把运营的操作、流程规范化、标准化以后，是否操作人员只要严格按照规范、流程操作就可以把运营工作做好呢?在我们把一些设施设备的运行情况做了监控，能够上报报警信息就可以确保及时、准确的发现问题了吗?当然不是，面对海量的运营需求和事件，单靠人工去按规范、标准是肯定无法**支撑和保障海量运营的。同样，如果我们的报警信息不做精细化的梳理和收敛，海量的故障信息报上来，运营人员是无法快速、准确定位的。所以说，首先，需要有一支懂得数据中心一线运营流程和基本操作的开发团队。
其次，由这支开发团队，开发出相对强大的自动化运营管理平台，通过平台与各个自动化系统和工具进行关联，把运营管理的流程、标准、规范都自然、顺畅的融合到自动化系统中。通过自动化平台，除了帮助数据中心运营管理人员快速、**的发现和解决问题，还要让运营人员通过自动化平台去快速、准确、**的做好容量管理、资产管理、风险管理，外包管理等等一系列的数据中心运营管理工作。
我们的监控系统，除了精确发现故障、上报故障外，还可以考虑结合业务特性和布局，通过系统工具实现故障的自动修复，提高设备系统的自愈能力。把一线的运营人员，从简单、重复性、例行化的工作中解放出来，让他们能够有更多的精力专注在对数据中心属地的整体运营优化管理工作中，提升数据中心的整体可靠性、运营服务的质量和效率、**控制能耗和运营成本。
道法之三，做好外包管理和人员培养。
在国内，数据中心行业正在蓬勃发展，但其中专业的数据中心运营人才匮乏，如何培养和留住数据中心专业运营人员，是非常重要的一项工作。客观的说，运营团队一般都会面临压力大、成就感不强、稳定性不好等几个问题，而造成这种局面的主要因素来源于数据中心运营的工作特性——7*24的工作强度、工作内容的重复性、随时可能出现的风险故障，以及如何快速应急的压力。对于运营团队面临的挑战和问题，其中做好技能识别，引入外包资源，平台搭建是一个解决方案。
通过对运营工作及运营人员知识结构的分析，可以考虑引入外包资源，参与一线运营工作。外包的管理工作分两块：一块是，设施设备外包给专业的维保单位来执行。对于专业的数据中心设施设备，用户不太可能完全通过自身的技术人力来做好设施设备的维护保养工作，必须通过专业厂家来执行。用户聚焦在这部分外包维护的计划、执行监管和优化方面。
另一块是，把重复性、例行化的标准操作层面的工作，外包给专业的服务提供商来完成，如：巡检、直配、上架、硬件更换等等基础性的操作工作。用户主要聚焦在做好例行工作的标准化制定、外包工作计划、运营任务管理、执行过程监管，以及外包人员的技能培养和外包商/人员评估考核方面。而另一部分，技术要求高且需要充分经验支持的优化和风险控制的工作由自有团队中有一定经验的人员来完成。通过技能识别和外包引入，员工的技能和职责匹配度更高，更有利于管理好岗位预期，一定程度上可以缓解运营团队的压力。
除此之外，为运营团队搭建一个知识学习和分享提升的平台也非常重要，为运营人员建立明确的职业发展通道和发展计划，通过各种形式的对内对外技术培训和分享交流等途径来逐渐提升一线运营人员自身的竞争力和行业影响力，帮助运营团队提高岗位认同感和职业成就感。
道法之四，做好预防性维护和应急演练。
对于数据中心预防性维护通常考虑的一个重点就是基础设施部分，基础设施的故障往往对数据中心的稳定运营带来较为严重的影响。一般数据中心基础设施的故障中，70%属电力方面的原因，20%属空调制冷的原因，10%属于光纤铜缆等其他设施的原因。整体而言，前期的产品质量、施工工艺和后期的设施维保工作不到位是造成数据中心出现问题的主要原因。
那么如何应对这些故障隐患呢?没有他法，在交付阶段一定要重视机房测试验收的过程。通过假负载测试，一方面帮助验证确保机房各设施、系统的施工质量及系统功能符合要求。另一方面通过模拟可能的故障场景以验证相关系统群控逻辑符合要求，同时获取更多一手数据和验证应急预案的基本可行性。在运营阶段，除了严格做好厂家维护保养工作之外，运营团队日常对高危设施设备**的预防性巡检工作也非常关键，比如用热成像仪对高危设施设备进行检查可以**提前发现潜在的故障风险。
另外，每个月1-2次的应急预案实操演练，包括多场景、多系统设施联动的应急预案的处理是否被**的理解和熟悉，这些都应该在日常运营工作中被重视起来。因为，对于数据中心来说，某个专业系统的设施故障，往往都会联动影响到其他领域的系统出现异常。如：配电系统故障断电，往往也会影响空调系统运行，影响末端制冷，形成高温。那么此时，配电系统应急预案和空调系统的应急预案是需要联动起来同时执行，如果平时的演练不到位，在这样的突发情况下，很难**从容应对。
除此之外，在制定应急预案和应急演练中还有一块是容易被忽视的，那就是与业务的联动。互联网行业统一产品会提供不同的应用，在基础架构侧出现故障时，如何**做到业务的“柔性可用”。这就要求数据中心的运营侧要非常了解属地承载的业务特性和重要性分级，明确突发情况下的优先保障机制和不同应用取舍。只有制定匹配业务特性的应急预案，并通过定期的与业务联动的多场景应急演练，确保在出现故障时能够快速**的确保重点业务或重要应用的连续运行，最终做到统一产品在不同应用上的柔性可用，确保对用户影响的最小化。
道法之五，做好精细化运营。
这一部分，我们重点从两个方面来看，一个是能耗、成本，一个是业务可靠性。首先，我们看看下面的数据：
服务器小于1万台，全年耗电约0.35亿千瓦时——电是次要因素。
服务器小于10万台，全年耗电约3.5亿千瓦时——电是重要因素。
服务器达到50万台，全年耗电约17.5亿千瓦时——电是主要成本。
服务器跨越100万台，全年耗电约35亿千瓦时——电是Top1成本!
这个数据表明，当运营一个海量数据中心时，你会发现将作为运营成本之一的电费，将是一个非常庞大的数字，正是因为这个庞大的数字，你会被管理层给“盯上”。所以，精细化运营的一个重点就是要考虑在保证数据中心**安全稳定运行的情况下，如何节能降耗，从而**降低电费，控制运营成本，就成了精细化运营的一个重点。
其次，基础架构建设可靠性级别再高的数据中心，也不能保证不出任何问题。一方面产品量问题、施工质量问题，甚至人为操作的问题，都很可能影响数据中心的连续性。所以说，如何做好业务可靠性、连续性保障，如何引导业务在自身架构层面做好架构冗余，而不是把安全可靠运行的宝全部压在数据中心基础架构的可靠性上。如何把一个低建设可靠性的数据中心，通过后期运营管理为一个高可靠性的数据中心，以实现业务的快速部署，快速腾挪，跨区冗余，快速调度，才是精细化运营的精彩所在。 |
