摘要:刘海锋,京东云平台首席架构师、系统技术部负责人,详细分析了京东私有云在存储服务、中间件、弹性计算方面的技术创新和实践。涉及要点包含技术自研、OpenStack + Docker实现容器管理、自动化运维

 

去年11.11时,曾有数家媒体对京东的云基础架构服务进行过采访。当时京东云平台首席架构师、系统技术部负责人刘海锋就京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架等进行了阐述。

几个月后,3月30日,在华为ICT北京站巡展时,有机会与刘海锋深入沟通,看看这个70多人的团队如何实现从开源到自研的技术跨越,如何利用OpenStack + Docker技术实现容器管理,又将如何在今年底实现对京东所有机器实现自动化运维的目标。

jingdong-private-cloud-direction-of-three-technical-analysis-01

京东云平台首席架构师、系统技术部负责人 刘海锋

要强调的是,刘海锋和他的团队所负责的是京东私有云项目(京东基础云服务),不是对外提供云服务的京东公有云。而这种共存的状态,在亚马逊、阿里、腾讯以及其他多家互联网企业中都存在。

京东的发展速度有目共睹。反应到业务与产品上,就是国际化、拍拍、广告、商城、金融、智能硬件、新业务的齐头并进。而底层,自然需要稳固的,能够实现“IT资源云化”的基础平台。刘海锋和他的团队从2013年开始,就聚焦在存储服务、中间件、弹性计算三大方面,通过API为京东业务提供服务支持。

 

存储:JFS,JIMDB和统一存储

千万/天的商品图片,千万/天的交易订单,千万/天的电子签收,亿/天的库房记录.......越来越多的非结构化数据给京东的存储带来了巨大挑战。使用过商用产品,使用过开源产品,但无一能跟上京东业务的发展速度。为此,2013年8月,刘海锋的团队开始自主研发大规模分布式存储系统——京东文件系统(JFS)

jingdong-private-cloud-direction-of-three-technical-analysis-02 

 

京东大规模分布式文件系统(JFS)

JFS技术点:

Paxos replication 
Unified Storage of  BLOBs/files/blocks 
Append-only storage engine 
Reed-Solomon coding 
Scalable metadata management  
Hadoop Integration

如今JFS已经是3.0版本。图片服务,订单履约、物流数据交换、电子签收、内部云存储服务和虚拟机与容器卷存储都已在JFS上。刘海锋说:“京东的每一张图片都存在JFS平台上。自研的系统通过主动复制策略,保证绝对的强一致性,而复制算法,能够保证在机器故障、磁盘故障、甚至文件误删除等问题存在时,数据都不会丢失。

与数据暴增相对应的是缓存必然越来越多。正如数据库天才Jim Gray曾说:“Memory is new disk.”而Redis和Memcache面对大内存业务的挑战也已不够。在Redis基础上做出技术“质变”,京东自研了分布式缓存与高速NoSQL——JIMDB。

JIMDB技术点:

精确故障检测与自动切换; 
RAM/SSD混合存储; 
在线横向扩容; 
异步、同步、局部复制; 
全自动化接入与管理。

通过细粒度部署,大幅降低了维护成本,目前已经扩展到3000+台机器,并广泛支持了商品详情页、搜索、推荐和广告等应用。

如果说JFS和JIMDB是已经完成的技术,代表了分布式存储和缓存与高速NoSQL。那么京东下一步自然是统一存储服务:支持文件/对象/大表的多数据模型和多IDC复制存储、单IDC缓存加速。而且根据业务需求,将引入SQL与事务支持。

 

中间件:消息队列与服务框架

支撑的业务模型越复杂,彼此的消息传递就越重要。而由于京东在仓储物流持续发力,全国各地有数百个库房。这些库房里面会部署10-20台服务器。由此,消息队列(MQ)在京东的订单管道、核心机房、仓储库房中就更加重要。刘海锋将之形容为:“MQ for the datacenter is like the pipes for Unix/Linux.” 

京东的MQ有三个阶段:JQ ->AMQ ->JMQ。前两者都是开源软件。面对“日均消息数过百亿”的挑战,AMQ已完全无法应对。比如有的大队列可能是1个发送者,有100个消费者,很多开源系统可能会存100份,但这几乎没有必要。通过完全的自主研发JMQ,只要存一份,消费者可以通过偏移量或指针去访问。JMQ更好地实现了:机房断电不丢消息;组提交技术;透明压缩;灵活复制。刘海锋如此评价:“JMQ在去年双十一中表现完美。”

除此以外,越来越多的在线服务,需要统一编程、统一协议、统一接入、统一监控和统一治理。但面对数万服务接口和数万台服务器(很多服务器还分布在不同区域),如何使各模块可降级、可监控、可分解等,能够真正在内部API化、对外接口开放,需要更适宜的服务框架——JSF。

 

弹性计算:软件定义数据中心与容器集群调度

如果打开京东应用图谱,搜索、图片、广告、订单、Hadoop、Spark、MPI等都占据了不同的机器资源。实际上,不止是京东,几乎所有互联网或分支较多的传统企业都面临资源被划分的“七零八落”的现状。每一种应用都会占用不同机器资源。但随着机器的增加,要实现资源云化以及自动化运维,这一挑战,必须面对。

jingdong-private-cloud-direction-of-three-technical-analysis-03 

 

京东弹性计算云规划 

刘海峰称之为:“弹性计算云。”一方面,将业务与机器解耦,全自动化维护;另一方面,高资源利用率 + 高服务质量 + 高效生产。在IDC资源上,通过OpenStack、Docker和JFS实现基础服务,以及部署集成、弹性伸缩的平台服务,最终实现应用系统。

举个例子,商品详情页能够实现按照流量访问自动调度资源,比如利用OpenStack+Docker实现缓存容器化,在流量控制、快速部署、版本管理方面做的更好。

 

对Docker的尝试从什么时候开始?有哪些收获?

刘海锋:我们对Docker的应用从2014年8月份开始的。最终目标是希望能够为研发人员、数据中心技术工程师和业务系统之间搭建一个桥梁,使工作更简洁、高效,数据中心服务器利用率大幅提高。所以京东底层基础架构分两层:软件定义数据中心(基础服务),将机器做成虚拟化的,容器化的,虚拟网络IP,共享存储等;平台服务,顺畅将京东应用和平台融合。这是一个复杂的系统工程,而Docker在平台服务层面,能够发挥很好的作用。我们将其作为京东私有云的轻量级应用,主要是用的引擎、实例,并和Openstack“嫁接”,用OpenStack去管理Docker,如给它分配一个独立的IP等。针对Docker我们还稍微做了些改造,比如网络方面,以及存储方面。这样,每个容器或者每个虚拟机和原来物理机区别不大,很容易接受。比如用在邮件申请服务,一些特殊场景下的虚拟机提供(京东内部对安全性已有保证)。而在其上层,则是完全自研的系统进行调度、控制、监控、管理和部署。效果很好。举个例子,之前部署是部署界面选择、打包、机器分配、部署、检查、成功。但现在一个程序要上线,直接点部署,成功后直接通知你。中间环节,包含审批、申请等全部取消。再如,双十一加机器之后,很少假期后有人会选择减机器。这样无形中有很大浪费。而现在,直接部署,平台实现统一控制,随流量自动扩容,自动缩减。如此下来,资源利用率大幅提升,成本却会明显降低。

 

除了管理Docker外,OpenStack还有哪些应用?

刘海锋:京东弹性云的基础服务就是Docker+OpenStack+JFS。OpenStack变化很快,很难有那么多精力来追随。所以我们找到稳定版本,经过调整后进行了很多开发,比如Jing dong Data Center OS就是其中的一个分支。另外是管理Docker和应对故障。如当物理机故障、容器故障出现后,如何通过OpenStack快速检测、快速报警、快速响应。而这些开发,我们计划在年底或者明年初反馈给社区。

 

开源软件基础上进行研发,大部分都会走向完全自研?

刘海锋:有可能。无论是OpenStack还是Docker,作为通用型平台,都是越来越庞大和臃肿。很多功能都是我们不需要的。所以依照发展的需求,我们现在有工程师在自己写。

 

旧有资源云化会面临很多挑战。哪些是你们遇到的?

刘海锋:业务需要应用支持。很多老应用最初使用的都是物理机,而且非常空闲,有可能一个小程序占了128MB的一台服务器。所以这些应用需要从物理机迁移到云上。但如何迁移,比较困难。这不是技术问题。所以京东是有专门的项目经理在推动的。而我们来提供简单、易于使用的迁移工具。现在,京东几乎所有应用都在分批迁移,涉及各个部门,各个业务线。

 

曾提到Hadoop应用。JFS和Hadoop有集成么?

刘海锋:是,我们团队不用Hadoop。但JFS会实现对Hadoop的集成。这样在线和离线数据统一存储就很容易实现,作为整套方案也更能扩展元数据,降低成本。

 

京东弹性计算云项目的主要挑战与最终愿景是?

刘海锋:求规模和零事故的矛盾。如何在保持稳定的情况下扩大规模,因为只有规模大了,收益才大。我们每天都很谨慎小心来做,希望尽快实现万台规模的控制。 现在我们内部的弹性云项目仅仅进行到1/5左右。后面会更快速地展开。最终弹性云将管理所有机器资源,生产虚拟机或容器或物理机,托管调度各类业务包括应用与存储、在线与离线,成为业务的基石,让研发生活更美好。

 

【2015 Container技术峰会讲师采访系列】

Cgroup maintainer李泽帆:解剖Linux内核容器技术

王旭:多租户环境下,Docker的安全隔离怎么破

华为汪洋:NFV场景下的Docker容器技术应用研究

京东田琪:让Container发威,你应该了解这些核心技术

 

【2015 OpenStack技术大会讲师采访系列】

华为章宇:深入理解Nova是理解OpenStack的基础

谭郁松与你聊天河二号上的OpenStack大规模部署,约还是不约?

龚永生:OpenStack规划、部署与运维必须掌握的网络虚拟化技术

Intel王庆:那些年,我们在OpenStack私有云路上走过的坑

刘光亚:希望Magnum实现Docker和OpenStack的完美集成

 

【2015 Spark技术峰会讲师采访系列】

IBM陈冠诚:如何使用OpenStack、Docker和Spark打造一个云服务

阿里明风:图流合壁,基于Spark Streaming和GraphX的动态图计算

王联辉:Spark在腾讯TDW的实战

 

参考推荐:

京东私有云三大技术方向解析 (CSDN)