2016年8月5日,全球开源领导厂商红帽携手ZD至顶网、Intel、云达科技共同举办的主题为“开放 融合 开源开启存储新世界”的2016年中国开源企业存储峰会在北京富力万丽酒店隆重召开。红帽亚太区云存储与大数据总监Andrew Hatfield带来“存储市场的颠覆与Ceph技术架构的崛起”主题演讲。
Andrew Hatfield在演讲中表示:红帽的存储是分布式的企业存储,已经进行了大规模的验证。用户可以按照自己的需求进行对象存储和文件存储等扩展服务。基于Ceph技术架构正在崛起,Ceph可以让技术架构更透明,让所有可能出现的技术问题更透明。Ceph可以通过可视化的方式实现对数据中心进行管理和监控。Andrew Hatfield从技术演进、用户实践、商业模式谈了Ceph的崛起路线。
以下是Andrew Hatfield的演讲实录:
红帽的存储是分布式的企业存储,已经进行了大规模的验证。用户可以用它然后在你自己的数据中心进行使用,不需要了解具体的哪一个硬件技术,完全是灵活的,按照你的需求进行拓展。有了红帽以后不需要买非常大的硬盘,可以一次进行购买,可以进行对象存储和文件存储,这样有多种的技术去做不同的工作, Ceph开源是一种软件定义的平台,完全可以用Ceph做同样的事情。
那到底什么是Ceph?是一系列服务。从提供设计负载,到系统预设等,可以帮助你快速部署。在这些模块之下,把所有服务器联络起来,把数据送到存储里,然后共享。对于Ceph可以做非常强大的一点是可以进行系统的描述,看数据中心是怎样的。网络当中的设备或者电路发生问题时,可以识别出来。今天系统设计时,传统是怎样的?出现一些不起眼的问题时,可能会出现多个冗余的服务器。现在有了Ceph之后,你认为出现故障是非常自然的状态,可以进行适配,无论是电缆还是架、服务器出现问题,Ceph可以更好地理解它,不会有任何干扰而持续工作下去。这是非常强大的,在我们背后的一个重要能力。
今天采用Ceph的方式,最经常看到的是用Openstack来支持的,70%使用公共语言是用Ceph。而且公共集成,在云系统里都是和Ceph连接的,不管是Swift等等,当你部署云时,不管是针对你自己还是客户时,可以进行同样方式的部署,不是一个传统的存储系统,而是你要在和它整合在一起,有红帽的平台,而且包括Openstack的存储,可以轻易地部署。
从商业角度来说,它的业务优势是什么?大家都知道开源没有专有权,可以让你开发,不管是有一个问题或者有一个bug,你需要寻求帮助,或者你想要根据自己的环境增加新的功能,你不光是有机会,而且我们鼓励你这样做,因为它一个合作性的,这就意味着存储软件是你想要的样子,红帽不会去垄断,也不会去限制它的功能或者能够做一些什么,它非常灵活,我们鼓励参与、希望你们参与,这是我们红帽工作的方式,是我们社区的核心内容,因为这样,你就避免了锁定。
比如你有一个服务器的供应商,但出于某种原因这种供应商不适合你了,你有灵活性和自由选择其他的供应商,比如Intel这样的公司,你可以选择系统,而不是他们对进行控制。我们有大社区和大系统,用很多公司做了很多工作,比如Intel在Ceph的高效方面做了很多工作,他们给社区带来了很多专业知识,比如和硬件进行融合等等,每一个人都从中受益。前面Chirs Mawer也说到了,传统上要购买传统的存储,买很大,渐渐地填满,客户会估计他们需要多少存储量,存储保留多长时间,三年、四年,然后设备上的容量不够了,而且时间只过去了一半,因此他们有大量的资本支出和购买新的存储量,因为我们是软件定义存储。我们的方式可以降低成本,了解到自己的需求,不需要一次性购买大量的存储,因为红帽可以支持所有开发,驱动社区的发展和合作伙伴、竞争对手之间的合作可提供最好的存储软件给客户。客户不用担心红帽或者Ceph对于未来是合适的,因为你知道在这儿是有保障的。
还有技术方面的优势。比如你现在在运行一个云,把所有东西连接在一起。这个Ceph可以实现,你在云上运行,Ceph帮你诉诸这些应用程序,你可以存储你的对象、文件等。所有硬件和基础设施都有了。我们也可以扩展到更大的量。
昨天晚上我跟中国移动的工程师有交流,这不是一个小规模的存储系统,一些小的提供商会碰到一些问题,特别是对于性能、成本上的可持续。我们有一个机制,没有单点故障,服务器独立地存储,还有你的云系统等等。如果一个开关、服务器出的问题,服务器不会中断,环境在运行,Ceph会在故障周围继续运行,可以持续提供服务,有这种弹性,即使知道有一些地方出现了故障。
还有其他技术,比如自愈能力。网络出现了故障,让工程师换开关,Ceph会意识到这个问题,而且会自动恢复到最佳状态,进行自愈、自我管理。因此管理起来非常简单,当你了解你要什么功能,开始的时候可以进行设计,根据你的需要来做,Ceph会自己管理。
我们很多服务器有弹性,确保高效,不会有很多热点或者让一个地方工作起来特别忙碌,它会把工作量予以平均分配。
从Openstack这个角度,我们有工作云,Ceph的Openstack运行非常好,Openstack早期的时候,Ceph一起与Openstack项目工作,当时有深度的集成。传统云服务构成了挑战,如果想要启动虚拟机非常慢,如果想要启动十个、二十个或者一百个虚拟机,传统的存储没有办法实现。一个集成的Ceph,我们能够顺时间启动很多的虚拟机。因为我们知道Openstack是如何工作的,因此我们能够快速地进行备份和复制。传统方式应用数据的弹性或者灾难恢复等对于很多企业不是那么适用。我们要解决这个问题,Ceph会提供灾难恢复及存档服务,能够提供多层列式、多站点式的复制,比如你们可以用归档或者照片的存档。还可以快速存储,把不同功能进行层列化、进行分层,根据客户的需求来执行。
以前碰到的问题是如何有效地管理存储系统。我记得以前销售传统存储给其他供应商,有三个不同的存储,客户说我应该用哪一个,为什么有这么多选择?虽然有这么多工具,为什么要用不同的存储器管理我们的应用?以前的存储非常特点,并不想去更多地接触它,会担心,只是让存储器做自己的工作,而不会过多地关注它。现在存储不一样的,从Ceph角度有很多方式去管理,可以去管理Ceph的集群,可以使用CLI、API,可以用云管理的平台,也可以使用网络方式,其实有两种方式:一个是用苹果方式,它是一个非常好的网络界面,所带来的价值是能够简单管理,便易地部署。
我们红帽有一个红帽存储控制台,叫Storage Console2,可以用来部署、监督、管理等等。还有其他领域,Ceph也有很大优势,一个是对象云。在云的环境中作为一个单一的对象,亚马逊使用比较多,传统供应商会用S3,还有Swift,和S3非常接近,在开源里可以开发自己的应用。
这里看一下行业到底是什么情况。这两个会并存一段时间,我们不相信只有一个。红帽可以实现S3,也可以使用Swift,可以选择两种不同的方式。
还有一个,当我在部署一个对象时,希望能够提供许可访问给一些用户,不管是读还是写。其他的用户可以去读这些对象,让其他的用户没有办法使用。以前,我们只能使用Openstack Keystone,我们增加了这个功能,可以让客户使用。因此即使你有很多的灵活性,有服务,进行控制,我们也提升了匹配性,S3、swift提供了更好的匹配性,亚马逊使用S3有更多的匹配性。我们在明年早期会提供更多的支持,开始的时候会有S3的应用,可以输数据,还有网络应用作为一个对象来应用,未来会有更加灵活、通用的界面进行备份,进行存取控制。传统上UP store可以进行内容上的效率,这是使用Up store能够带来的优势。
大多数的客户、大多数的企业不光是一个单站点的数据中心,会有多个站点,有各种各样不同的需求。在红帽存储需求里,加入了多站点的对象接口,现在客户可以使用存储系统,在两个站点进行使用。比如有两个数据中心,一个中国北方,一个在中国南方,有红帽Ceph store2,在任何地点可以度曲、分析这个数据,而且两个中心可进行复制,不管是从可性性和灾难复备及我们的恢复力方面都是比较强的移动手机公司,你可能是一个航空公司,你想要用这些数据,你想快速使用这些数据,那么比调用本地更快,这是我们这方面的大提升。同时从快的角度来说,进项或者复制,以前我们需要的都是手动来做,但现在自动化了,大多数的传统存储系统要付很多钱进行存储,同时受到距离影响。因为Ceph用网络没有距离。比如在中国,你可以把数据发到另外一个国家,进项都可以直接进行交流。我们不希望从你使用的功能而收费,如果你想要做什么,我们会把这些功能都给你。
现在比较大的区别,比如红帽Ceph的存储和传统的存储公司相比,大多数比较熟悉传统存储公司,他们的工作方式是向上扩展,存储的数据越多,速度就越慢。但你要了解它的工作方式,就了解到它的的瑕疵,和了解到红帽的存储和其他的存储,存储的数据更多,速度更加快,这是完全不同的方式。传统存储方式是有限容量,不同模式有不同的量。但在某一个节点上有一个大盒子,没有办法变得再大了,因为Ceph架构可以不断地扩展,扩展到我想要用的容量,而且变得越来越大,可以满足我的需求。
扩展性、容量,因为我们解决了内容,随着不断扩展,性能变得越来越好,这是非常酷的事情。
还有开源及其他很多事情,很多中国的Ceph用户对Ceph做了很大贡献,我看到他们的价值所在,我觉得这是能够帮我们解决传统当中的很多问题。所以这个产品是一种合作式的,是开放式的,可以邀请每一个人来参与。
通常通常问我这个问题,到底使用Ceph的用户有哪些?——在金融服务里、建设机构里,他们是我们非常多的客户。另外是研究方面。还有电视台、云服务提供商,还有很多政府,这取决于他们到底想使用哪一类型的服务。
最后澳大利亚有一个非常大的大学,使用的500PB的应用,这是澳大利亚最大的一个大学之一,莫纳什大学,是亚太南区比较大的学校,我们感觉自豪,可以使用Ceph做出这么大的贡献、取得这么大的成就,有75%的节省,比起传统而言,非常强大。他们现在还希望能够加入5个PB,所以能够做很多事情。感谢大家。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。