201709 月发表在 分享

17带你了解互联网数据中心的各种小秘密!

身为一个coder,当然是会对自己写的代码是在什么样的一个地方运行十分感兴趣的。正好我有一个哥们在某互联网公司担任总运维工程师,于是便去他们公司的数据中心转了转。哥们很热情地给我介绍了数据中心的各种小秘密,在这里给各位分享上一部分:)

0x01 从网络说起

既然是互联网数据中心,那么当然是要与互联网相连的。由于互联网上有许多坏叔叔,一天到晚四处扫描服务姬(喂!是服务器)的漏洞,所以一个可靠的防火墙是必不可少的。数据中心里面与互联网直接相连的设备便是防火墙了:

硬件防火墙.png

防火墙上原谅色的线缆便是光纤了,两根光纤为一组,一根收一根发,分别每秒可以传输 10Gbit 的数据。两组光纤利用链路聚合技术组成一条相当于 20Gbit 的网线。因此图上的防火墙共有两条 20Gbit 的网线,一条直接与互联网相连,另一条连接到数据中心内部的主交换机。互联网运营商将一个IP地址块指向了防火墙,由防火墙路由到数据中心内的服务器。

交换机.png

经过主交换机,一个网口变成了许多网口,于是便可以连接许多服务器了。可是,服务器在不同的机柜里面,怎么办呢?

机柜.png

这个时候就需要用到跳线架了。

跳线架.png

这些跳线架(接光纤的似乎应该叫法兰盘)上的每一个网口都标注了是通往哪个机柜对应的跳线架上的哪个网口,这样就可以很方便地将交换机上的网口跳至其他机柜。

跳线架另一端.png

跳线架之间的电缆架设在机柜上方(当然也有的数据中心架设在下方),整理在桥架里面。原谅绿的是光纤,灰色的则是普通的网线(就是两边都是水晶头的网线)。制作长度合适的网线,也是运维工程师的必备技能。

桥架.png

0x02 服务器

数据中心内对互联网上的用户提供服务的设备,便是服务器了。服务器有传统的机架式服务器:

普通服务器.png

还有体现了“高可用高密度”理念的刀片式服务器:

刀片式服务器.png

图中并不是一台刀片式服务器,而是许多台。刀片式服务器被设计成了小巧的形状,每台刀片式服务器上只有关键的CPU、内存等部件,并没有电源、硬盘。电源和IO则是由刀箱统一提供:

刀箱背面.png

我们可以看到刀箱背后有许多许多电源模块。随意拔下一个电源模块,并不会影响任意一块刀片式服务器的运行。如果哪一块电源模块坏了,直接取下来更换就可以了,完全不会影响业务。

前面忘了介绍光纤与网卡之间的小家伙 —— 光模块了:

SFP.png

我们知道网卡是由 PHY 和 MAC 组成的。然而服务器用的高速网卡上一般是没有 PHY 的,PHY 是可以更换的 SFP 模块。这样我们便可以自由选择使用多模光纤,单模光纤,甚至是......水晶头网线。

那么刀片式服务器的数据存放在哪里呢?答案便是:存储服务器,或者说盘柜了。为了便于管理,数据中心通常会使用存储服务器,存储服务器利用 RAID 技术将大量硬盘的空间合并成一整块大空间,然后再按照管理员的意愿将空间划分为任意大小的 LUN。服务器通过 HBA 卡与存储服务器相连,将存储服务器上的 LUN 映射成一块硬盘。

盘柜.png

卸下一块挡板,可以看到里面有大量的硬盘。

0x03 周边

这么多的服务器,肯定会消耗大量的电量,并产生大量的热量,那么供电系统与制冷系统也是十分重要的。由于哥们没有找到供电柜的钥匙,所以我只能隔着柜门拍了。

由于数据中心的整体功率十分大,所以采用三相四线供电。下图中红色、绿色、黄色的便是相线,一般人们称为380V工业用电,这三根线里面任意两根之间的电压为380V。使用星形接法,便可以得到 220V 的电压。

相线.png

然而如果每相的功率差别较大,会导致功率较小的相上电压升高,烧毁该相上的设备,所以零线是必不可少的。由于正常情况下,零线的电位和大地的电位差不多,所以零线接线架是裸露的。这不意味着你可以去用手摸零线架 —— 毕竟零线也是有电阻的,如果零线上还存在电流,那么还是会带电(与大地之间存在电压)的。

零线.png

说完了供电,再说说散热。我们看看数据中心的空调压缩机...嗯,压缩机在室内。

空调压缩机.png

我们似乎只看到了进风口?其实出风口是地板:

空调出风口.png

0x04 总结

让coder写的代码能够7x24小时不间断地运行这件简单的事情,也是存在着许多学问的。运维是一项复杂的工作,也是整个互联网正常运行不可或缺的一部分。本文定位科普向,所以没有深入探讨细节的问题,如果对某一方面感兴趣,可以看书:

  • 软件系统:鸟哥的 Linux 私房菜
  • 存储:大话存储
  • 网络:CCNA 系列教程
zyxwvu
UNDER CONSTRUCTION