图1：某地数据中心建设费用（虚拟平台、服务器、配套附属设备）截图（点击可放大）

图2：某地数据中心建设费用（出口带宽、服务器、接入设备、运维费）截图（点击可放大）

图3：2013年国家数据中心建设布局指导意见截图（点击可放大）

图4：阿里巴巴张北数据中心

图5：阿里巴巴千岛湖数据中心

2013年，时任微软首席执行官的斯蒂夫·巴尔默在全球合作伙伴大会的主题演讲中提到，“我们（微软）的数据中心已超过100万台服务器，谷歌比我们更大一些，亚马逊比我们稍小一点，均为百万台的量级。所以真正理解和管理如此大规模的数据中心，并提供公有云服务的企业是屈指可数的。”而国内的几家互联网巨头也都拥有超过30万台服务器的规模，并且正朝着100万台的规模快速发展。服务器一般3~5年就会淘汰，需要购置新服务器。所以，就算5年更新一轮也是一笔不小的投资，如果不能在五年内赚回成本，恐怕就是极大的浪费了。

当前数据中心利用率现状。

这么大规模的数据中心的利用率如何？ 2006年谷歌的5000台服务器的平均CPU利用率分布，这些服务器运行的是搜索、Gmail等在线应用。从图(a)可以看出，这些服务器的平均CPU利用率约为30%。7年过去了，CPU利用率并没有显著提高，仍然只有30%左右。这意味着，假设100万台服务器中有50万台利用率只有30%，那么相当于5年100亿元人民币的运维成本中有70亿元被浪费掉。谷歌的数据中心技术是全世界领先的，2006年谷歌就已经拥有了45万台服务器。谷歌在2004年前后就已经开始研制数据中心管理系统Borg，将运行“在线应用”（加引号埋个伏笔）服务器CPU的利用率提高和维持在30%的水平。而更多的企业达不到这个水平，比如麦肯锡估计整个业界服务器的平均利用率大约是6%，而高德纳(Gartner)的估计稍乐观一些，认为大概是12%。这两个数字与笔者了解到的基本吻合，国内一些银行的数据中心利用率大概是5%左右，数据中心的CPU利用率只有30%，而印度塔塔公司曾公布他们的服务器利用率大概是12%。

云计算不是可以通过虚拟化技术在一台服务器上运行多个虚拟机来提高CPU的利用率吗？其实谷歌的Borg系统早就采用那2万台服务器上就是多个应用混合在一起运行后得到的结果。有没有可能把这两类数据中心统一起来，使整体利用率提高到75%？那就能省下一半的服务器，对于100万台服务器规模的数据中心，就可以累计节省上百亿元的采购与运维成本了。对于这个问题，答案很可能是“基于现有的技术还做不到！”

当前流行的虚拟化技术可以让多个应用或虚拟机共享一台机器来提高服务器资源的利用率。但是这种共享会带来资源竞争，进而干扰应用程序的性能，影响在线应用的响应时间。快速的服务响应时间是衡量服务质量的关键指标，是让用户满意、留住用户的关键。

现有解决方案与问题

国内企业之前还没有类似Borg这样的技术，数据中心利用率很低，有的甚至是个位数。百度的Matrix项目，采用了与谷歌目前最先进的数据中心管理框架相似的设计理念，朝这个方向迈出了一大步，使在线数据中心利用率得到了有效提升。据百度内部消息，随着Matrix在百度内部的部署，2014年百度节省了超过5亿元的成本。这是一个世界级难题，即使是数据中心技术最领先的谷歌也只能做到30%的利用率。学术界也在探索相关问题，加州大学伯克利分校开发Mesos就是一个例子。但这些技术都无法解决根本问题——底层硬件上的相互干扰。虽然现在服务器内部的CPU核心越来越多，理论上可以同时运行更多的应用，但是其他资源（比如CPU内部的高速缓存、内存带宽等）还处于一种“无管理的共享”状态。

数据中心发展的难点在哪里？

数据中心的发展难点不在于资金和技术，因为目前技术目前已经非常成熟，资金实际上也不存在困难，只要真的有效益，天使投资人满世界都有，问题的关键就在于项目是否能够盈利。全国大部分数据中心都处于赔钱赚吆喝的尴尬境地，没有地方政府的高额补贴，早就无法坚持下去。

而想让数据中心带来实实在在的效益，重点需要解决几个难题，一是用电成本，二是带宽成本，三是中心利用率。首先探讨一下第一个难题之用电成本，大型和超大型数据中心建设，重点考虑气候环境、能源供给等要素。国家2012年出台的大数据中心建设指导规划中明确鼓励大型数据中心，优先在一类和二类地区建设（见图3），也可在气候适宜、靠近能源富集地区的三类地区建设。数据中心用电成本占据一半的运营费用，因此很多大数据和超级数据中心都选择建设在新疆、内蒙古、贵州、东北等地，重点考虑的就是电力成本，这些地区蕴含丰富的太阳能、风能以及化石能源，上网电价相对较低，比如阿里巴巴张北大数据中心（见图4）利用的是张北风电充沛，年均气温在3.2度的优势；阿里巴巴千岛湖数据中心（见图5）利用的是千岛湖深层水自然制冷，以上两个数据中心制冷能源全年一多半时间不需要用电。其次探讨一下第二个难题之带宽成本，如果按照数据中心正常标准分别接入联通、电信和BGP线路各一条100g专线，带宽费用每年3000万元（见图2），平摊到每个月接近月支出带宽费用250万元，这仅仅是带宽一项费用已经非常高昂，如果没有盈利能力非常强的业务应用作为依托，恐怕很难见到效益。而且即便你肯付钱，这么高带宽的专线恐怕也不容易接入，应该需要国家集团公司批，省公司都无权批建如此大的带宽专线，更别提市县通信公司。最后探讨一下数据中心利用率，从上图12中可以看出，数据中心中的服务器、网络设备和软件平台费用耗资巨大，而且这些设备基本寿命期在5年左右，也就是说5年左右这些投资基本就要清零，重新购买，这还没考虑所有设备从第二年开始开始计算的10%的运维费用，因此如果不能在平台应用上带来高收益，恐怕数据中心机房的正常运转和维护难以为继。

综合以上多种因素，我们就可以明白，建设运营真正的大数据中心耗资巨大，而且运营维护费用非常高昂，没有巨量的应用层（通过租赁或者其他合作方式）支撑，想把数据中心做成一个产业，难度可想而知。