京东私有云三大技术方向解析
摘要：刘海锋，京东云平台首席架构师、系统技术部负责人，详细分析了京东私有云在存储服务、中间件、弹性计算方面的技术创新和实践。涉及要点包含技术自研、OpenStack + Docker实现容器管理、自动化运维。
去年11.11时，曾有数家媒体对京东的云基础架构服务进行过采访。当时京东云平台首席架构师、系统技术部负责人刘海锋就京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架等进行了阐述。
几个月后，3月30日，在华为ICT北京站巡展时，有机会与刘海锋深入沟通，看看这个70多人的团队如何实现从开源到自研的技术跨越，如何利用OpenStack + Docker技术实现容器管理，又将如何在今年底实现对京东所有机器实现自动化运维的目标。
京东云平台首席架构师、系统技术部负责人 刘海锋
要强调的是，刘海锋和他的团队所负责的是京东私有云项目（京东基础云服务），不是对外提供云服务的京东公有云。而这种共存的状态，在亚马逊、阿里、腾讯以及其他多家互联网企业中都存在。
京东的发展速度有目共睹。反应到业务与产品上，就是国际化、拍拍、广告、商城、金融、智能硬件、新业务的齐头并进。而底层，自然需要稳固的，能够实现“IT资源云化”的基础平台。刘海锋和他的团队从2013年开始，就聚焦在存储服务、中间件、弹性计算三大方面，通过API为京东业务提供服务支持。
存储：JFS，JIMDB和统一存储
千万/天的商品图片，千万/天的交易订单，千万/天的电子签收，亿/天的库房记录.......越来越多的非结构化数据给京东的存储带来了巨大挑战。使用过商用产品，使用过开源产品，但无一能跟上京东业务的发展速度。为此，2013年8月，刘海锋的团队开始自主研发大规模分布式存储系统——京东文件系统（JFS）。
京东大规模分布式文件系统（JFS）
JFS技术点：
Paxos replication
Unified Storage of BLOBs/files/blocks
Append-only storage engine
Reed-Solomon coding
Scalable metadata management
Hadoop Integration
如今JFS已经是3.0版本。图片服务，订单履约、物流数据交换、电子签收、内部云存储服务和虚拟机与容器卷存储都已在JFS上。刘海锋说：“京东的每一张图片都存在JFS平台上。自研的系统通过主动复制策略，保证绝对的强一致性，而复制算法，能够保证在机器故障、磁盘故障、甚至文件误删除等问题存在时，数据都不会丢失。”
与数据暴增相对应的是缓存必然越来越多。正如数据库天才Jim Gray曾说：“Memory is new disk.”而Redis和Memcache面对大内存业务的挑战也已不够。在Redis基础上做出技术“质变”，京东自研了分布式缓存与高速NoSQL——JIMDB。
JIMDB技术点：
精确故障检测与自动切换；
RAM/SSD混合存储；
在线横向扩容；
异步、同步、局部复制；
全自动化接入与管理。
通过细粒度部署，大幅降低了维护成本，目前已经扩展到3000+台机器，并广泛支持了商品详情页、搜索、推荐和广告等应用。
如果说JFS和JIMDB是已经完成的技术，代表了分布式存储和缓存与高速NoSQL。那么京东下一步自然是统一存储服务：支持文件/对象/大表的多数据模型和多IDC复制存储、单IDC缓存加速。而且根据业务需求,将引入SQL与事务支持。
中间件：消息队列与服务框架
支撑的业务模型越复杂，彼此的消息传递就越重要。而由于京东在仓储物流持续发力，全国各地有数百个库房。这些库房里面会部署10-20台服务器。由此，消息队列（MQ）在京东的订单管道、核心机房、仓储库房中就更加重要。刘海锋将之形容为：“MQ for the datacenter is like the pipes for Unix/Linux.”
京东的MQ有三个阶段：JQ ->AMQ ->JMQ。前两者都是开源软件。面对“日均消息数过百亿”的挑战，AMQ已完全无法应对。比如有的大队列可能是1个发送者，有100个消费者，很多开源系统可能会存100份，但这几乎没有必要。通过完全的自主研发JMQ，只要存一份，消费者可以通过偏移量或指针去访问。JMQ更好地实现了：机房断电不丢消息；组提交技术；透明压缩；灵活复制。刘海锋如此评价：“JMQ在去年双十一中表现完美。”
除此以外，越来越多的在线服务，需要统一编程、统一协议、统一接入、统一监控和统一治理。但面对数万服务接口和数万台服务器（很多服务器还分布在不同区域），如何使各模块可降级、可监控、可分解等，能够真正在内部API化、对外接口开放，需要更适宜的服务框架——JSF。
弹性计算：软件定义数据中心与容器集群调度
如果打开京东应用图谱，搜索、图片、广告、订单、Hadoop、Spark、MPI等都占据了不同的机器资源。实际上，不止是京东，几乎所有互联网或分支较多的传统企业都面临资源被划分的“七零八落”的现状。每一种应用都会占用不同机器资源。但随着机器的增加，要实现资源云化以及自动化运维，这一挑战，必须面对。
京东弹性计算云规划
刘海峰称之为：“弹性计算云。”一方面，将业务与机器解耦，全自动化维护；另一方面，高资源利用率 + 高服务质量 + 高效生产。在IDC资源上，通过OpenStack、Docker和JFS实现基础服务，以及部署集成、弹性伸缩的平台服务，最终实现应用系统。
举个例子，商品详情页能够实现按照流量访问自动调度资源，比如利用OpenStack+Docker实现缓存容器化，在流量控制、快速部署、版本管理方面做的更好。
对Docker的尝试从什么时候开始？有哪些收获？
刘海锋：我们对Docker的应用从2014年8月份开始的。最终目标是希望能够为研发人员、数据中心技术工程师和业务系统之间搭建一个桥梁，使工作更简洁、高效，数据中心服务器利用率大幅提高。所以京东底层基础架构分两层：软件定义数据中心（基础服务），将机器做成虚拟化的，容器化的，虚拟网络IP，共享存储等；平台服务，顺畅将京东应用和平台融合。这是一个复杂的系统工程，而Docker在平台服务层面，能够发挥很好的作用。我们将其作为京东私有云的轻量级应用，主要是用的引擎、实例，并和Openstack“嫁接”，用OpenStack去管理Docker，如给它分配一个独立的IP等。针对Docker我们还稍微做了些改造，比如网络方面，以及存储方面。这样，每个容器或者每个虚拟机和原来物理机区别不大，很容易接受。比如用在邮件申请服务，一些特殊场景下的虚拟机提供（京东内部对安全性已有保证）。而在其上层，则是完全自研的系统进行调度、控制、监控、管理和部署。效果很好。举个例子，之前部署是部署界面选择、打包、机器分配、部署、检查、成功。但现在一个程序要上线，直接点部署，成功后直接通知你。中间环节，包含审批、申请等全部取消。再如，双十一加机器之后，很少假期后有人会选择减机器。这样无形中有很大浪费。而现在，直接部署，平台实现统一控制，随流量自动扩容，自动缩减。如此下来，资源利用率大幅提升，成本却会明显降低。
除了管理Docker外，OpenStack还有哪些应用？
刘海锋：京东弹性云的基础服务就是Docker+OpenStack+JFS。OpenStack变化很快，很难有那么多精力来追随。所以我们找到稳定版本，经过调整后进行了很多开发，比如Jing dong Data Center OS就是其中的一个分支。另外是管理Docker和应对故障。如当物理机故障、容器故障出现后，如何通过OpenStack快速检测、快速报警、快速响应。而这些开发，我们计划在年底或者明年初反馈给社区。
开源软件基础上进行研发，大部分都会走向完全自研？
刘海锋：有可能。无论是OpenStack还是Docker，作为通用型平台，都是越来越庞大和臃肿。很多功能都是我们不需要的。所以依照发展的需求，我们现在有工程师在自己写。
旧有资源云化会面临很多挑战。哪些是你们遇到的？
刘海锋：业务需要应用支持。很多老应用最初使用的都是物理机，而且非常空闲，有可能一个小程序占了128MB的一台服务器。所以这些应用需要从物理机迁移到云上。但如何迁移，比较困难。这不是技术问题。所以京东是有专门的项目经理在推动的。而我们来提供简单、易于使用的迁移工具。现在，京东几乎所有应用都在分批迁移，涉及各个部门，各个业务线。
曾提到Hadoop应用。JFS和Hadoop有集成么？
刘海锋：是，我们团队不用Hadoop。但JFS会实现对Hadoop的集成。这样在线和离线数据统一存储就很容易实现，作为整套方案也更能扩展元数据，降低成本。
京东弹性计算云项目的主要挑战与最终愿景是？
刘海锋：求规模和零事故的矛盾。如何在保持稳定的情况下扩大规模，因为只有规模大了，收益才大。我们每天都很谨慎小心来做，希望尽快实现万台规模的控制。 现在我们内部的弹性云项目仅仅进行到1/5左右。后面会更快速地展开。最终弹性云将管理所有机器资源，生产虚拟机或容器或物理机，托管调度各类业务包括应用与存储、在线与离线，成为业务的基石，让研发生活更美好。
【2015 Container技术峰会讲师采访系列】
Cgroup maintainer李泽帆：解剖Linux内核容器技术
【2015 OpenStack技术大会讲师采访系列】
谭郁松与你聊天河二号上的OpenStack大规模部署，约还是不约？
龚永生：OpenStack规划、部署与运维必须掌握的网络虚拟化技术
Intel王庆：那些年，我们在OpenStack私有云路上走过的坑
刘光亚：希望Magnum实现Docker和OpenStack的完美集成
【2015 Spark技术峰会讲师采访系列】
IBM陈冠诚：如何使用OpenStack、Docker和Spark打造一个云服务
阿里明风：图流合壁，基于Spark Streaming和GraphX的动态图计算
参考推荐：
京东私有云三大技术方向解析 （CSDN）
版权所有: 本文系米扑博客原创、转载、摘录，或修订后发表，最后更新于 2015-04-12 03:34:08
侵权处理: 本个人博客，不盈利，若侵犯了您的作品权，请联系博主删除，莫恶意，索钱财，感谢！
转载注明: 京东私有云三大技术方向解析 （米扑博客）