- ?
云存储与传统存储技术有何不同
断续
展开
导语
云存储或者说云端存储,是无论公有云还是私有云平台所必备的服务之一。那么究竟我们该如何理解目前云计算背景下的云存储概念,与传统存储又有哪些区别与联系?
网络存储技术,早已有之
如果我们认为云端存储的概念就是基于网络的文件存储,换句话,就是把我们的文件或者数据放在网络服务器上存储,那么可以说云端存储的技术其实在互联网诞生之前就已经存在了。
Sun公司在1984年开发了网络文件系统(NFS:Network File System)协议,NFS协议允许网络中的计算机之间通过TCP/IP网络共享资源。NFS客户端可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。
云存储基于虚拟化
那么我们怎么理解云计算背景下的云存储,各大曾经以及现在提供云存储服务的网盘公司,如百度、360、金山等,所使用的云存储技术与传统的存储技术有何区别?
关于云计算,前文《云计算IaaS的核心技术:虚拟化技术》云计算的核心技术之一就是虚拟化,把计算、存储、网络资源虚拟化,以便类似OpenStack这样的云计算管理工具来对资源进行软件化配置。所以现在的云存储都是建立在存储虚拟化技术的基础上的。对于存储资源的虚拟化工作是由hypervisor程序来完成。
VMWare的裸金属虚拟化架构
物理存储
传统的存储技术没有经过虚拟化这样一层,这是我们目前所说的云存储与传统存储的一个主要差别。我们称传统存储技术为物理存储,相对于虚拟存储而言。
说到物理存储,主要可以分成三种类型:
(1)直连存储(DAS:direct attached storage):这是最简单的存储类型,我们的个人电脑都属于这种,就是磁盘(或磁盘阵列RAID)直接接在主机的总线上。常见的DAS协议是SCSI和SATA。磁盘是管理DAS的主要单位。
磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上,可以提高存取效率,或者通过冗余提高系统可用性。
(2)存储域网络(SAN:storage area network):SAN是通过光纤通道(Fiber Channel)连接到一群计算机上,建立专用于数据存储的区域网络。在SAN的环境中,管理员可以把一组硬盘(或者这组硬盘的一部分)组成逻辑单元(LUN:logic unit),对外界来说,LUN就像一块硬盘。常见的SAN协议是FC和iSCSI。LUN是管理SAN的主要单位。
与DAS的磁盘一样,LUN也只能连接一台主机,换句话说,不允许多台主机同时访问一个LUN,不利于文件共享。为了解决文件共享的问题,又提出了NAS技术。
(3)网络附属存储(NAS):NAS是一种专用数据存储服务器,包括存储器件和内嵌系统软件,可提供跨平台文件共享功能。NAS允许管理员分配一部分存储空间组成一个文件系统,文件系统是管理NAS的主要单位。
云存储带来什么好处?
对于用户来说,能把数据安全可靠地存好就够了,哪管那么多存储载体是不是虚拟化的啊?存在物理磁盘,还是虚拟化的磁盘上,对于用户来说,确实是感受不到的。但是对于公有云或私有云的构建者而言,区别却太大了。
首先,通过对物理服务器和遗留存储平台的整合,提高了现有硬件的利用率,避免了新一轮的采购,从而提高投资回报率 (ROI);其次,虚拟化可以提高IT系统资源管理的灵活性,并提高系统资源的使用效率。比如VMWare Sphere,可以将硬件利用率从 5% - 15% 提高到 80% 甚至更高。
无论原来是DAS,还是SAN,虚拟化技术都可以把它们利用好。
结语
搭建云存储平台,可以直接对原来的物理存储设备进行利用,无论是DAS,还是SAN,都可以再次技术上进行虚拟化,形成虚拟磁盘实例或其他类型的虚拟存储单位,供虚拟机及上层应用来使用。云存储也通过虚拟化技术也与传统的物理存储无缝衔接,平滑过渡。
无论对已有资源的再利用,还是提高资源的使用效率,都有利于IT设施投资者的ROI。所以虚拟化技术,以及虚拟化基础上的云存储、云计算,都是能给老板挣钱的好技术。
- ?
拟态分布式文件存储设备
贺灵煌
展开
设备简介
拟态分布式文件存储是拟态防御理论在分布式存储领域延伸的成果之一,其目标是为企业应用、云计算、大数据处理等平台提供高鲁棒性的文件存储服务,在保障用户数据的完整性和可用性的前提下,可有效解决数据的安全性和私密性等问题。拟态文件存储,是融合高性能与高安全为一体的最新产品。
产品型态
安全特色
内生安全
拟态文件存储中,元数据节点采用DHR (Dynamic Heterogeneous Redundancy,动态异构冗余)架构进行构建,数据节点采用多样化异构平台方式进行部署。采用DHR构造不仅可以为存储系统带来很高的容错能力,而且还能独立地提供确定或不确定的威胁防御能力,有效解决分布式存储领域中基于未知漏洞、后门或病毒木马等不确定性威胁的安全问题。这种创新的存储架构具有内生安全性,可以在保证存储系统可靠性、可扩展性的同时为系统提供高安全防御能力。相对于附加或堆砌专门的安全防御设施来保护存储系统的方法,其内生安全的性质在部署上具有更佳的性价比。
威胁感知
传统分布存储系统需要引入独立的安全防护措施才能保证数据存储与读写的访问安全,具体技术包括加密认证、查毒杀毒、木马清除、入侵检测等。拟态存储系统的内生安全在机理与上述安全技术无依赖关系,所以传统安全技术可以作为稳定拟态存储防御效果的补充性措施,可加以融合使拟态存储的防御能力获得超非线性提升,获取更大的安全增益。拟态文件存储具有强大的威胁感知能力。传统防火墙、入侵检测系统等安全产品普遍采用匹配检测机理,因此仅对已知威胁可感。而拟态文件存储的威胁感知能力来源于DHR架构中多个并行异构执行体相异输出的裁决,这使其不仅对已知威胁有效,对不确定威胁同样奏效。
独立的安全增益
传统分布存储系统需要引入独立的安全防护措施才能保证数据存储与读写的访问安全,具体技术包括加密认证、查毒杀毒、木马清除、入侵检测等。拟态存储系统的内生安全在机理与上述安全技术无依赖关系,所以传统安全技术可以作为稳定拟态存储防御效果的补充性措施,可加以融合使拟态存储的防御能力获得超非线性提升,获取更大的安全增益。
相关软件截图
- ?
IPFS+Filecoin+More?迅雷发布区块链文件系统TCFS
Kirima
展开
雷锋网AI金融评论消息 7月6日,在“迅雷全球区块链应用开发大赛”决赛现场,迅雷CEO陈磊发布迅雷链文件系统TCFS( Thunder Chain File System)。
该系统为一款专为区块链应用开发打造的数据云存储与授权分发的文件系统,具备相应的信任机制、权益保护和授予机制和激励机制,开发者在其基础之上可使自己产品具备文件数据分布式存储与信息上链等特性。
信任+权益保护和授予+激励机制
据陈磊现场介绍,TCFS是一条专为区块链而生的文件系统,其具备三个关键属性。
其一,信任机制。TCFS基于 Merkle DAG结构独创了文件管理技术,能保留文件的全部变更历史,公开透明、可查询、可追溯。数据使用安全加密哈希索引,修改后即为新文件,新文件对应新哈希,从而确保数据无法被篡改。数据使用FEC(前向纠删码)编码后,冗余存储在各个共享计算节点上,在系统级别采用文件自动修复机制,再通过智能合约来实现存储激励,确保参与节点稳定,使文件存储具有更高的可靠性。其二,权益保护和授予机制。TCFS采用安全切片的方式存储数据,通过公私钥签名技术验证用户和文件的持有关系。另具备独创的令牌授权机制,只有经过授权的用户才能访问数据。在上述权益授予过程中可写入智能合约,从而实现高效的、去中心化的授权管理。其三,激励机制。据迅雷方面表示,开发者可选择现成的、经过实际应用场景打磨的链克作为激励,也可自行建立新的激励机制。此外,文件数据分布存储在共享计算节点上,存储空间高达数百PB(注:1PB=1024 TB;1TB=1024GB)。
整合IPFS和Filecoin
如雷锋网AI金融评论此前报道,目前区块链领域将目标瞄准在数据的计算和存储的团队并不少,比如业界呼声较高的IPFS(星际文件系统),还有Filecoin、Storj等。业内普遍认为IPFS是一种永久的、去中心化保存和共享文件的方法,甚至在未来有可能取代HTTP协议。但在陈磊看来,IPFS还处于设计和研发初期,在实际应用场景中还不足够完善。
「IPFS只解决热点文件的长期存储问题,在该体系下,只有一个文件不断得到访问,才能保持它的有效存储性。」陈磊认为,IPFS在存储一些冷门但具有价值的文件时,可能会遭遇丢失的情况,如个人照片等私人访问资源。而Filecoin通过区块链激励机制,可让用户永久性的保存冷门文件。「因此,IPFS需要搭载Filecoin激励层,才能激励各节点存储数据,避免冷门文件丢失。」
事实上,关于IPFS文件系统的优劣问题,DxChain创始人张亮也向雷锋网AI金融评论表达过相似的看法。其认为,「IPFS只是一个文件系统,内部未设立激励机制,所以不存在链的概念。」
因此,TCFS整合了「IPFS热门文件永不丢失」和「Filecoin避免冷门文件丢失」的两大技术特性,自带激励机制,以实现存储效果的最大化。
此外,TCFS基于冗余编码进行切片存储,加入文件自愈机制,从而保证存储效率。同时,依据迅雷在下载和CDN相关技术的积累,TCFS在文件下载和传输上具备一定的性能优势。
根据迅雷方面介绍,鉴于其他区块链文件系统基于DHT网络,容易出现非法或不合规内容,TCFS在此做了考量,通过自研技术降低监管风险。
防伪溯源、分布式数据存储成区块链技术落地两大应用
日前,普华永道发布《2018年中国区块链(非金融)应用市场调查报告》。报告显示,防伪溯源、分布式数据存储、身份认证、供应链管理和共享类数据应用成为区块链技术落地的五大应用市场。其中,防伪溯源应用占比高至50%,分布式数据存储、身份认证和供应链管理则分别占比26.7%、23.3%和20%。
陈磊现场表示,迅雷在实践过程中发现,现阶段区块链技术的应用情况与上述报告存在相似和吻合的地方。因此,该公司即将针对商品溯源、数据分享、版权分发、知识经济、社会公益和征信这六大领域推出相关解决方案,帮助开发者从0到1快速搭建区块链应用,提高效率,降低技术门槛。「我们做的也不是应用,而是做系统设计框架和智能合约组建的基础模块,帮助(开发者)在迅雷链上开发这些应用。」陈磊进一步解释道。
值得注意的是,在本次大会上,迅雷还发布了迅雷链的三个TRC标准:
通证资产标准:通过该协议,可在迅雷链上支持你所需要发行的通证。唯一性资产标准:在区块链上,通证的所有权是唯一性的。可授权的唯一性资产标准:在该协议下,只有被授权的用户才能够享用这一可授权的唯一性资产。
目前,迅雷链已与国内数十家企业、机关单位和政府部门达成合作,以提供相关区块链解决方案。「每一个踏踏实实做区块链的区块链人,都不能被辜负。」陈磊最后表示。
- ?
Oyster推出主网,包括文件存储和检索接口
Rosas
展开
在不幸的最后一分钟延迟之后,Oyster Mainnet终于可以向公众开放。
最初的版本缺乏大多数用户感到兴奋的网站收入实施,并且当团队在后端工作时存在一些限制。但是基本的文件存储和检索已准备就绪。
用代码替换广告
该项目目的是通过分散的存储替换横幅和弹出窗口,以修复损坏的在线广告系统。Oyster不是在发布商和观众之间争夺收入和广告拦截扩展,而是在不从发布模式中删除货币化的情况下为每一方提供所需的内容。
用户可以在Oyster网络上托管文件,在PRL令牌中少量支付以换取服务。然后,网站所有者在其页面上放置一段代码,将其连接到Oyster网络。当访问者加载启用Oyster的网站时,他们可以选择捐赠少量的后台CPU和Web存储来为网络做出贡献。它几乎像加密货币挖掘,但对计算机性能没有影响。然后使用上传者的PRL付款的一部分来补偿网站所有者。
牡蛎系统的美妙之处在于所有各方都能轻松参与其中。最终用户使用简单的界面上传和检索文件。网站所有者可以使用隐形脚本替换笨重的横幅。
随着广泛采用,Oyster可能会扰乱在线广告和在线存储空间。这绝对是一个值得关注的项目。
Oyster Mainnet Web界面
mainnet推出时引入的核心功能是网络存储。公众现在可以访问一个简单的界面,提供从Oyster Tangles上传和检索文件的选项。
系统运行缓慢但功能齐全。许多用户也报告了某些浏览器和操作系统上的错误。在测试期间还有一些硬性限制,而团队会对性能问题进行排序。
已施加临时文件大小限制,将最大上载大小减小到5 MB。这是testnet上传量的25倍以上,但它是最初为mainnet beta宣布的承诺的25 MB限制的五分之一。
削减背后的原因与Oyster幕后运行的客户端到代理通信有关。该团队发现网络处理MySQL数据的方式效率低下,导致客户端较大的上传速度显着下降。在mainnet beta期间,预计文件大小限制会增加。
初始存储成本也被设置为每年每GB 64 PRL,由上传者支付。在撰写本文时,禁用了用于保留长度和节点选择的细粒度控制。Oyster团队将在公测期间提供所有PRL,使该服务暂时有效免费。
使用一串随机字符执行文件检索。一旦内容被添加到Oyster网络,上传者将收到他或她可以与公众自由分享的句柄。要下载这些文件,所有人都必须访问Oyster Storage站点,单击检索按钮,然后粘贴代码。
可以通过访问网站并输入以下句柄来试用Oyster的文件检索系统:
投资-icb6e1c3dd2b99b1f6abc1224b15f7336d0955c8db569a66b0170b5fbc6556f908kPG7oBU
将存储网络接口准备供大家使用。请注意,由于项目的beta状态,团队建议不要使用Oyster来存储重要数据。
最后一分钟延迟
2018年5月31日推出的Oyster主网不是没有戏剧性的。发布时间延迟了2次,第二次发布时间不到几个小时。
Oyster的路线图原定于2018年4月发布主要网络版本。本月末,来自通信总监Taylor French的博客文章宣布了第一次延迟,将发布日期推迟至5月29日。
该小组表示延迟的原因部分是由于安排。Oyster的路线图在项目开始发展之前很久就编写了脚本。当时只有2名团队成员参与其中,其中一名是平面设计师。Oyster最终获得了吸引力,新的开发人员也加入进来。对代码的更多关注导致了更多的改进,这自然会减慢速度。
延迟的另一个因素是不相信IOTA Tangle为Oyster做好了准备。IOTA尚未实施分片,因为主网用户开始上传内容,这可能导致巨大的减速问题。该团队决定将Oyster搬到私人纠纷中,他们可以自己实施分片。
第二次延迟是11小时的惊喜。在5月30日午夜之后,该团队的官方推特账号爆料称“我们私人纠纷中的突然问题”正在削弱上传功能。这个问题在不到一天的时间内得到缓解。
下面是官方subreddit上Oyster项目创始人oysterbruno发布的帖子的屏幕截图。全文概述了导致第二次延迟的事件,并将它们置于整个项目的背景下。
即使第二次延迟只是几个小时的延迟,它仍然引起了不耐烦的社区成员的呐喊。FUD评论出现在Oyster的Reddit和Telegram存在,就像任何区块链项目遭遇挫折时一样。幸运的是,在整个延迟期间,Oyster团队对他们的进展进行了沟通,防止出现任何严重后果。
牡蛎的未来
许多网站所有者正在等待的功能 - 通过复制/粘贴代码创收 - 并未随主网发布。该团队正在与精选发布商合作,以确保Oyster后端上线时的弹性。目前有超过200万独立月访问者参与测试。没有为收入模式的公开发布设置时间表。
在主网络上线的那天,PRL令牌看到活动上升。其中一些可能是由于围绕该版本的社区炒作。分散的托管服务PayFair还在5月31日将PRL列为35种不同的法定货币对。
在撰写本文时,Oyster的路线图没有列出今年余下时间的任何重大事件。该团队的大部分工作将集中在改进mainnet软件,使其成为一个功能齐全的产品。
对于2018/2019,Oyster计划允许在网络上开发和执行分散的JavaScript应用程序。这些可以以嵌入式软件,实用程序,工具,游戏,消息传递系统等形式出现。
结论
尽管围绕主网的第二次延迟有少量的戏剧性,但Oyster仍然很强劲。该团队对于他们所面临的挑战保持完全透明和沟通,使他们能够像Oyster一样独特地准备服务。用户已开始上传和与社区共享内容,只是为了庆祝发布。
Oyster的下一个重要里程碑将是可嵌入收入脚本的公开发布。那时,该项目可能会严重影响在线广告业务。
- ?
软件定义存储:为什么文件系统很关键?
托马斯
展开
【IT168 评论】业务流程的任何变化都会对业务本身产生影响。数字化转型所带来的改变和收益是显而易见的,而转型也需对传统存储架构进行一定的取舍。数字化企业产生和接收的数据量很大,使用传统存储解决方案进行扩展的成本是难以接受的。
通过线性扩展满足存储需求也会花费太长的时间。另外,即使添加多台服务器也无法满足需要。垂直存储体系结构包含瓶颈,会将性能降至不可接受的水平。
幸运的是,硬件的线性扩展并不是唯一的选择。软件定义的存储(SDS)将控制存储相关任务的程序与物理存储硬件分离,大大降低了与硬件相关的成本。可以使用更少,更便宜的服务器来提高容量和性能。管理变得更简单,更灵活,更高效。 SDS使用户能够在所有工作负载中分配和共享存储资产。
SDS已经被广泛采用。 Gartner最近报告说,到2020年,将有70-80%的非结构化数据被储存在由软件定义存储支持的低成本硬件上并进行管理。
当今的存储需要文件系统
文件系统在市场上80%以上的存储解决方案中都可用。这是因为80%的数据是非结构化的。虽然人们普遍认为非结构化数据最好用文件系统进行管理,但由于某种原因,许多SDS产品仅仅关注块或对象存储。很少的产品集中在文件系统上,或者做得很好。如果没有文件系统来覆盖这些数据,数据会变得非常难以管理。
每种类型的存储都有存在的目的:
极具吸引力的对象存储。它用于机器到机器/物联网事务和其他需要极高可扩展性的应用程序,但是在管理数据时并不比块好得多。
作为存储的基础,块用来存储虚拟机或数据库,但是你也需要文件来处理所有的非结构化数据。
虽然必要但经常被忽视,文件系统存储并不像对象存储那样被夸大了。不过,它是处理非结构化数据的最佳选择。
由于非结构化数据如非常突出,因此文件系统是现代存储中的重要元素。一些软件定义存储供应商声称提供文件系统的产品,但这类文件系统通常基于Samba,并排除了大多数Windows用户熟悉的功能。
Samba是一个免费模块,支持中小型企业,并允许最终用户访问和使用公司内部网或网络上的文件。很多需要文件系统的人都走这条路。但是通过开源的Samba提供文件服务通常意味着不需要特性。
这不是小问题。功能非常重要。不仅是为了处理非结构化数据才需要文件系统,文件相关的功能也是必要的,包括以下内容:
配额:此功能可帮助您监控正在使用的存储量。您可以设置一个软限制配额,当文件系统的一部分接近达到其存储限制时会警告您,但仍允许保存数据。如果您设置硬限制配额,则在达到配额后不能保存新数据。
快照:快照是文件系统或独立文件集的内容在一个时间点上的只读副本。当独立文件集的快照被采用时,将包括所有文件和嵌套相关文件集。
分层:通过使用策略,您可以创建一个过滤器,将特定的文件类型指定到特定的层。该策略使您可以指定放置特定文件的位置,以及文件在文件系统池之间移动的时间。您可以定义文件放置和迁移策略。分层存储更高效,提升性能。
保留:自动在文件服务器上创建单个文件夹或文件夹层次结构,根据分配的策略进行删除。
很明显,文件系统对于管理非结构化数据(大部分数据池)至关重要。不清楚的是,为什么大多数SDS供应商省略了强大的文件系统。开源解决方案能拿到“A”的分数,但不能提供必要的特性,使文件系统存储功能齐全。包含对象、块和文件系统存储的统一模型才最能为组织提供服务。在存储需求呈指数级增长的世界里,明智地进行选择是非常重要的,所以企业在购买解决方案之前要坐好充分的准备与考量。
- ?
什么是分布式存储?(IPFS, FileCoin, Sia, Storj & Swarm)
柏曼梅
展开
在Filecoin ICO后,分布式存储让我着迷了一段时间,Filecoin在Y Combinator、Naval Ravikant、Andreessen Horowitz、Union Square Ventures Sequoia和Winklevoss Capital等投资者的领投下筹集了超过2.5亿美元的资金。 考虑到他们筹集了多少资金,一定有理由说明为什么这些行业领导者会相信其能成功并且进行投资,所以我开始更多地阅读它所使用的协议:星际文件系统(IPFS)并了解该领域的其他项目是做什么的。
什么是去中心化+存储?
去中心化被理解为权力从中央实体转移到更加本地化和“自由”的体系。 这个概念本身已经存在了一段时间,而早期的概念可以与互联网的引入并行,其中信息的传播是民主化的。 该术语现在正在与区块链技术和应用(如比特币和以太坊)一起创造,这些技术和应用分散了金融交易和计算能力。
存储被定义为在计算机或其他电子系统上保留可检索数据。 我们每天都使用我们的手机和电脑进行存储,并且这个概念可以从我们往USB中存放文件的动作中轻松理解。 从必须将文件放在软盘上到我们能够将文件放入“云(CLoud)”中的日子来看,存储已经走过了漫长的道路。
为什么做分布式存储?
谷歌硬盘和Dropbox的当前解决方案固然很好,如果它工作正常,没有理由改变目前的存储方式。 然而,由于某些服务的限制性以及最近公司数据泄漏的频繁报道,人们越来越担心以至于想要转变目前的存储方式。
例子包括:
· Equifax(数据成本高达4亿美元)
· Facebook Cambridge Analytica(泄露高达8700万用户数据
当然有几个因素导致安全措施的数据泄露,但是一个主要因素是这些信息使用的中央服务器存储。 自互联网开始使用以来,数据泄露就随之而来,公司已经学会了处理它们,但它也引起了人们的注意,新的底层技术可能有助于为部分情况提供解决方案(即分布式存储)。
分布式存储是区块链公司正在研究和实施的潜在解决方案。 它是一个能够存储文件的系统,无需回复大量集中的数据孤岛,这些数据孤岛不会破坏隐私和信息自由等重要价值。
早在P2P文件共享的那时候,像Limewire这样的流下载和服务在下载音乐和视频文件方面很受欢迎。 它作为一个系统,许多用户作为系统参与者将文件和种子的副本(发送文件的片段)保存到网络上。 然而,系统参与者没有真正的激励机制来保持在线。分布式存储网络以类似的方式运行,具有进一步的高级加密和加密以及增加的激励机制。
记住这个很棒的软件现在,我将进一步详细介绍当前正在尝试解决分布式存储问题的项目。
· IPFS + Filecoin
· SIA
· Storj
· Swarm
IPFS+FilecoinIPFS + FileCoin
星际文件系统(IPFS)是Protocol Labs发起的一种协议,是用于在Web上创建服务器信息的新方法。 目前,互联网运作的位置基于类似于您访问像media这样的IP,其IP为XXXX,然后您就可以获得文章的地方。 这些URL指向世界各地的某些服务器(美国,新加坡,英国等)。
相反,IPFS所做的是它根据内容而不是信息(位置)来提供信息。 通过他们的路由算法,您可以选择从哪里获取内容,并且可以设置您信任的同伴/节点的隐私,以接收您的文件,这非常有趣。 那有什么好处呢?
IPFS是如何工作的?· 哈希值寻址使内容不可变 。 不像当前的HTTP协议那样消失
· 通过从多个节点和片段而不是从一个服务器收集内容来节省带宽
· 访问内容“离线”或在低连接性第三世界或农村地区,与git离线工作的意义相同。
· 审查抵制
· 与去中心化的精神契合
为了进一步利用技术,FileCoin被提议作为一种创建去中心化存储网络的方法,通过使用IPFS协议,通过FileCoins(FIL)使用周围未使用的存储并激励用户成为共享经济的一部分。
他们在2017年9月进行了私募(ICO),他们仍然在构建他们的产品,所以看看他们如何使用他们提出的空间证明和复制证明共识算法构建它们,这将会很有趣。
与其他分布式存储解决方案类似,FileCoin围绕激励和参与,通过网络开辟了一种全新的经济和思维方式。 对于FIL的奖励,个人基本上是因为在他们的闲置硬盘上存储内容而获得奖励。 它还有可能与其他区块链网络一起作为分布式的离线存储解决方案,这将是非常有趣的。
主要事实
阶段:在发展中
技术:时空证明和复制证明
Token:最大供应量为20亿
SiaSiacoin
Sia是一个早期项目,始于2013年的HackMIT,并于2015年正式启动。它旨在利用全球未充分利用的硬盘容量来创建一个数据存储市场,这对当前的解决方案来说更有效也更便宜。 他们有一个正在运作的产品,其具有有趣的设计功能。
他们偏爱工作证明(PoW),拥有自己的用于Siacoin挖掘的ASIC芯片,并利用文件合同来设置存储规则和要求(类似于智能合约)。 他们的存储证明算法用于进一步保护和验证网络上的证明和合约。
主要事实
阶段:使用中
技术:合约,存储证明
Token:最大Token供应量为4.25亿
Token流通: 98.5 / 4.25百万
Storj
另一个基于以太坊网络的分布式存储项目,拥有相当多的社区用户,致力于开源和用户体验的精神。 Storj是一个集平台、加密货币和分布式应用于一身的程序,它允许您以安全和分散的方式存储数据。
他们的技术围绕文件共享,类似于种子那样将部分文件分发到在网络中用户那里。 当用户想要该文件时,他们会查找该文件并且Storj使用分布式哈希表来定位所有碎片并将它们拼凑在一起。 这些文件在共享之前也是加密的,上传者也有自己的私钥来验证所有权。
Storj Labs公司的营利性方面是:它向数千名用户出租网络,并为网络使用收费。 这是一个稍微集中的模式,与Dropbox和Google Drive等竞争。 他们还与Microsoft Azure和Heroku建立了合作伙伴关系,以部署他们的一些开发工具,这对于开源开发人员生态系统来说是一项伟大的举措。
主要事实
阶段:使用中
技术:
Token:最大Token供应量为4.25亿
Token流通: 29.78 /无上限
SwarmSwarm
Swarm是另一个协议,它是以太坊对分布式网络的愿景的一部分。 它与Whisper一起进行信息传递,以太坊用于计算能力而Swarm用于存储。与IPFS / FileCoin相比,它们在开发方面仍然有点落后,但很快就会有所突破,并且具有能够直接与以太坊网络集成的优势。
主要事实
阶段:建设中+概念证明(Go)
共同点和不同点
所有项目在尝试通过激励模型实现分布式存储的方式类似,这使得它成为一个竞争激烈的市场。在技术方面,设计和他们的共识算法是它们之间的差异化因素,因此引领市场的是社区和进入这些分布式存储方式的网络参与者数量,这将是有趣的。
结论性思考
对于任何新兴技术而言,群众很难为新的“分布式”模式实现信仰的飞跃,因为为了控制XXX,总是需要集中化。 无论是通过IPFS解决内容和文件存储方式的小到大变化,还是制作了新的Dropbox对标版本,看看未来几年会发生什么变化真的很有意思。
本篇文章为翻译Tom Terado发表在https://medium/的《What is Decentralized Storage? (IPFS, FileCoin, Sia, Storj & Swarm) 》
- ?
glusterfs:优秀开源分布式存储系统
阿比盖尔
展开
启迪云研发部-刘闳全
分布式存储已经研究很多年,但直到近年来,伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起,它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统google Bigtable,亚马逊的对象存储AWS,阿里的TFS等都是很好的代表,同时也催生了一大批优秀的开源分布式存储系统,包括ceph、swift、Lustre和glusterfs等。
分布式存储系统
分布式存储按其存储接口分为三种:文件存储、块存储和对象存储。
文件存储
通常支持POSIX接口(如glusterfs,但GFS、HDFS是非POSIX接口的),可以像普通文件系统(如ext4)那样访问,但又比普通文件系统多了并行化访问的能力和冗余机制。主要的分布式文件存储系统有TFS、cephfs、glusterfs和HDFS等。主要存储非结构化数据,如普通文件、图片、音视频等。可以采用NFS和CIFS等协议访问,共享方便。NAS是文件存储类型。
块存储
这种接口通常以QEMU Driver或者Kernel Module的方式存在,主要通过qemu或iscsi协议访问。主要的块存储系统有ceph块存储、sheepdog等。主要用来存储结构化数据,如数据库数据。数据共享不方便。DAS和SAN都是块存储类型。
对象存储
对象存储系统综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势。以对象作为基本的存储单元,向外提供RESTful数据读写接口,常以网络服务的形式提供数据访问。主要的对象存储系统有AWS、swift和ceph对象存储。主要用来存储非结构化数据。
Glusterfs
Glusterfs是一个开源分布式文件系统,具有强大的横向扩展能力,可支持数PB存储容量和数千客户端,通过Infiniband RDMA 或Tcp/Ip 方式将许多廉价的x86 主机,通过网络互联成一个并行的网络文件系统。具有可扩展性、高性能、高可用性等特点。
GlusterFS采用可堆叠的用户空间设计,如图所示:
glusterfs堆栈式结构
Glusterfs是根据fuse提供的接口实现的一个用户态的文件系统,主要包括gluster、glusterd、glusterfs和glusterfsd四大模块组成:
gluster:是cli命令执行工具,主要功能是解析命令行参数,然后把命令发送给glusterd模块执行。
glusterd:是一个管理模块,处理gluster发过来的命令,处理集群管理、存储池管理、brick管理、负载均衡、快照管理等。集群信息、存储池信息和快照信息等都是以配置文件的形式存放在服务器中,当客户端挂载存储时,glusterd会把存储池的配置文件发送给客户端。
glusterfsd:是服务端模块,存储池中的每个brick都会启动一个glusterfsd进程。此模块主要是处理客户端的读写请求,从关联的brick所在磁盘中读写数据,然后返回给客户端。
glusterfs:是客户端模块,负责通过mount挂载集群中某台服务器的存储池,以目录的形式呈现给用户。当用户从此目录读写数据时,客户端根据从glusterd模块获取的存储池的配置文件信息,通过DHT算法计算文件所在服务器的brick位置,然后通过Infiniband RDMA 或Tcp/Ip 方式把数据发送给brick,等brick处理完,给用户返回结果。存储池的副本、条带、hash、EC等逻辑都在客户端处理。
在使用glusterfs提供的存储服务之前,需要先挂载存储池,向挂载点写数据,会经过fuse内核模块传给客户端,客户端检查存储池的类型,然后计算数据所在服务器 ,最后通过socket或rdma与服务器通信,如图2所示:
glusterfs模块关系图
Glusterfs作为一款开源的分布式文件系统,在开源社区的活跃度很高,目前已经被红帽收购,国内外也有大量的用户在研究和应用,相关技术文档很丰富。它并不完美,为了支持线性扩展和高性能,而在小文件性能和元数据性能上做了让步,但却可以满足一定的场景,如大数据应用和视频存储等。
接下来会从优点和缺点两方面入手来介绍glusterfs。
优点
无元数据节点性能瓶颈采用无中心对称式架构,没有专用的元数据服务器,也就不存在元数据服务器瓶颈。元数据存在于文件的属性和扩展属性中。当需要访问某文件时,客户端使用DHT算法,根据文件的路径和文件名计算出文件所在brick,然后由客户端从此brick获取数据,省去了同元数据服务器通信的过程。
良好的可扩展性使用弹性hash算法代替传统的有元数据节点服务,获得了接近线性的高扩展性。
高可用采用副本、EC等冗余设计,保证在冗余范围内的节点掉线时,仍然可以从其它服务节点获取数据,保证高可用性。采用弱一致性的设计,当向副本中文件写入数据时,客户端计算出文件所在brick,然后通过网络把数据传给所在brick,当其中有一个成功返回,就认为数据成功写入,不必等待其它brick返回,就会避免当某个节点网络异常或磁盘损坏时因为一个brick没有成功写入而导致写操作等待。
服务器端还会随着存储池的启动,而开启一个glustershd进程,这个进程会定期检查副本和EC卷中各个brick之间数据的一致性,并恢复。
存储池类型丰富包括粗粒度、条带、副本、条带副本和EC,可以根据用户的需求,满足不同程度的冗余。粗粒度卷不带任何冗余,文件不进行切片,是完整的存放在某个brick上。
条带卷不带任何冗余,文件会切片存储(默认大小为128kB)在不同的brick上。这些切片可以并发读写(并发粒度是条带块),可以明显提高读写性能。该模式一般只适合用于处理超大型文件和多节点性能要求高的情况。
副本卷冗余度高,副本数量可以灵活配置,可以保证数据的安全性。
条带副本卷是条带卷和副本卷的结合。
EC卷使用EC校验算法,提供了低于副本卷的冗余度,冗余度小于100%,满足比较低的数据安全性,例如可以使2+1(冗余度为50%)、5+3(冗余度为60%)等。这个可以满足安全性要求不高的数据。
高性能采用弱一致性的设计,向副本中写数据时,只要有一个brick成功返回,就认为写入成功,不必等待其它brick返回,这样的方式比强一致性要快。
还提供了I/O并发、write-behind、read-ahead、io-cache、条带等提高读写性能的技术。并且这些都还可以根据实际需求进行开启/关闭,i/o并发数量,cache大小都可以调整。
缺点
扩容、缩容时影响的服务器较多Glusterfs对逻辑卷中的存储单元brick划分hash分布空间(会以brick所在磁盘大小作为权重,空间总范围为0至232-1),一个brick占一份空间,当访问某文件时,使用Davies-Meyer算法根据文件名计算出hash值,比较hash值落在哪个范围内,即可确定文件所在的brick,这样定位文件会很快。但是在向逻辑卷中添加或移除brick时,hash分布空间会重新计算,每个brick的hash范围都会变化,文件定位就会失败,因此需要遍历文件,把文件移动到正确的hash分布范围对应的brick上,移动的文件可能会很多,加重系统负载,影响到正常的文件访问操作。
遍历目录下文件耗时Glusterfs没有元数据节点,而是根据hash算法来确定文件的分布,目录利用扩展属性记录子卷的中brick的hash分布范围,每个brick的范围均不重叠。遍历目录时,需要readdir子卷中每个brick中的目录,获取每个文件的属性和扩展属性,然后进行聚合,相对于有专门元数据节点的分布式存储,遍历效率会差很多,当目录下有大量文件时,遍历会非常缓慢。
删除目录也会遇到同样的问题。
目前提供的解决方法是合理组织目录结构,目录层级不要太深,目录下文件数量不要太多,增大glusterfs目录缓存。另外,还可以设计把元数据和数据分离,把元数据放到内存数据库中(如redis、memcache),并在ssd上持久保存。
小文件性能较差Glusterfs主要是为大文件设计,如io-cache、read-ahead、write-behind和条带等都是为优化大文件访问,对小文件的优化很少。
Glusterfs采用无元数据节点的设计,文件的元数据和数据一起保存在文件中,访问元数据和数据的速率相同,访问元数据的时间与访问数据的时间比例会较大,而有元数据中心的分布式存储系统,对元数据服务器可以采用更快速的ssd盘,可以采用更大的元数据缓存等优化措施来减小访问元数据时间与访问数据时间的比值,来提高小文件性能。
Glusterfs在客户端采用了元数据缓存md-cache来提高小文件性能,但是md-cache大小有限,但在海量小文件场景下,缓存命中率会严重下降,优化效果会减小,这就需要增大元数据缓存。
针对小文件性能差的问题,也可以参考TFS的做法, TFS会将大量的小文件合并成一个大文件,这个大文件称为Block,每个Block拥有在集群内唯一的编号(Block Id),Block Id在NameServer创建Block时分配,NameServer维护block与DataServer(存储Block的实际数据)的关系。
- ?
分布式文件系统FastDFS详解
CY
展开
上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历,可能有些人对FastDFS不是特别的了解,因此计划写几篇文章完整的介绍一下这个软件。
为什么要使用分布式文件系统呢?
嗯,这个问题问的好,使用了它对我们有哪些好处?带着这个问题我们来往下看:
单机时代
初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源。如果按不同类型再细分,可以在项目目录下再建立不同的子目录来区分。例如: resources\static\file、 resources\static\img等。
优点:这样做比较便利,项目直接引用就行,实现起来也简单,无需任何复杂技术,保存数据库记录和访问起来也很方便。
缺点:如果只是后台系统的使用一般也不会有什么问题,但是作为一个前端网站使用的话就会存在弊端。一方面,文件和代码耦合在一起,文件越多存放越混乱;另一方面,如果流量比较大,静态文件访问会占据一定的资源,影响正常业务进行,不利于网站快速发展。
独立文件服务器
随着公司业务不断发展,将代码和文件放在同一服务器的弊端就会越来越明显。为了解决上面的问题引入独立图片服务器,工作流程如下:项目上传文件时,首先通过ftp或者ssh将文件上传到图片服务器的某个目录下,再通过ngnix或者apache来访问此目录下的文件,返回一个独立域名的图片URL地址,前端使用文件时就通过这个URL地址读取。
优点:图片访问是很消耗服务器资源的(因为会涉及到操作系统的上下文切换和磁盘I/O操作),分离出来后,Web/App服务器可以更专注发挥动态处理的能力;独立存储,更方便做扩容、容灾和数据迁移;方便做图片访问请求的负载均衡,方便应用各种缓存策略(HTTP Header、Proxy Cache等),也更加方便迁移到CDN。
缺点:单机存在性能瓶颈,容灾、垂直扩展性稍差
分布式文件系统
通过独立文件服务器可以解决一些问题,如果某天存储文件的那台服务突然down了怎么办?可能你会说,定时将文件系统备份,这台down机的时候,迅速切换到另一台就OK了,但是这样处理需要人工来干预。另外,当存储的文件超过100T的时候怎么办?单台服务器的性能问题?这个时候我们就应该考虑分布式文件系统了。
业务继续发展,单台服务器存储和响应也很快到达了瓶颈,新的业务需要文件访问具有高响应性、高可用性来支持系统。分布式文件系统,一般分为三块内容来配合,服务的存储、访问的仲裁系统,文件存储系统,文件的容灾系统来构成,仲裁系统相当于文件服务器的大脑,根据一定的算法来决定文件存储的位置,文件存储系统负责保存文件,容灾系统负责文件系统和自己的相互备份。
优点:扩展能力: 毫无疑问,扩展能力是一个分布式文件系统最重要的特点;高可用性: 在分布式文件系统中,高可用性包含两层,一是整个文件系统的可用性,二是数据的完整和一致性;弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源,而不需要中断系统运行
缺点:系统复杂度稍高,需要更多服务器
FastDFS
毫无疑问FastDFS就属于我们上面介绍的分布式文件系统,下面我们来详细了解一下:
什么是FastDFS
FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务。
FastDFS是一款开源的轻量级分布式文件系统纯C实现,支持Linux、FreeBSD等UNIX系统类google FS,不是通用的文件系统,只能通过专有API访问,目前提供了C、Java和PHP API为互联网应用量身定做,解决大容量文件存储问题,追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统,称作分布式文件存储服务更为合适。
FastDFS相关概念
FastDFS服务端有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)。
tracker server:跟踪服务器,主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。
Tracker是FastDFS的协调者,负责管理所有的storage server和group,每个storage在启动后会连接Tracker,告知自己所属的group等信息,并保持周期性的心跳,tracker根据storage的心跳信息,建立group==>[storage server list]的映射表。
Tracker需要管理的元信息很少,会全部存储在内存中;另外tracker上的元信息都是由storage汇报的信息生成的,本身不需要持久化任何数据,这样使得tracker非常容易扩展,直接增加tracker机器即可扩展为tracker cluster来服务,cluster里每个tracker之间是完全对等的,所有的tracker都接受stroage的心跳信息,生成元数据信息来提供读写服务。
storage server:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。
Storage server(后简称storage)以组(卷,group或volume)为单位组织,一个group内包含多台storage机器,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。
以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制(group内storage server数量即为该group的副本数),比如将不同应用数据存到不同的group就能隔离应用数据,同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡;缺点是group的容量受单机存储容量的限制,同时当group内有机器坏掉时,数据恢复只能依赖group内地其他机器,使得恢复时间会很长。
group内每个storage的存储依赖于本地文件系统,storage可配置多个数据存储目录,比如有10块磁盘,分别挂载在 /data/disk1-/data/disk10,则可将这10个目录都配置为storage的数据存储目录。
storage接受到写文件请求时,会根据配置好的规则(后面会介绍),选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多,在storage第一次启动时,会在每个数据存储目录里创建2级子目录,每级256个,总共65536个文件,新写的文件会以hash的方式被路由到其中某个子目录下,然后将文件数据直接作为一个本地文件存储到该目录中。
client:客户端,作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口,比如upload、download、append、delete等,以客户端库的方式提供给用户使用。
另外两个概念:
group :组, 也可称为卷。 同组内服务器上的文件是完全相同的 ,同一组内的storage server之间是对等的, 文件上传、 删除等操作可以在任意一台storage server上进行 。
meta data :文件相关属性,键值对( Key Value Pair) 方式,如:width=1024,heigth=768 。
Tracker相当于FastDFS的大脑,不论是上传还是下载都是通过tracker来分配资源;客户端一般可以使用ngnix等静态服务器来调用或者做一部分的缓存;存储服务器内部分为卷(或者叫做组),卷于卷之间是平行的关系,可以根据资源的使用情况随时增加,卷内服务器文件相互同步备份,以达到容灾的目的。
上传机制
首先客户端请求Tracker服务获取到存储服务器的ip地址和端口,然后客户端根据返回的IP地址和端口号请求上传文件,存储服务器接收到请求后生产文件,并且将文件内容写入磁盘并返回给客户端file_id、路径信息、文件名等信息,客户端保存相关信息上传完毕。
内部机制如下:
1、选择tracker server
当集群中不止一个tracker server时,由于tracker之间是完全对等的关系,客户端在upload文件时可以任意选择一个trakcer。 选择存储的group 当tracker接收到upload file的请求时,会为该文件分配一个可以存储该文件的group,支持如下选择group的规则:
1、Round robin,所有的group间轮询
2、Specified group,指定某一个确定的group
3、Load balance,剩余存储空间多多group优先
2、选择storage server
当选定group后,tracker会在group内选择一个storage server给客户端,支持如下选择storage的规则:
1、Round robin,在group内的所有storage间轮询
2、First server ordered by ip,按ip排序
3、First server ordered by priority,按优先级排序(优先级在storage上配置)
3、选择storage path
当分配好storage server后,客户端将向storage发送写文件请求,storage将会为文件分配一个数据存储目录,支持如下规则:
1、Round robin,多个存储目录间轮询
2、剩余存储空间最多的优先
4、生成Fileid
选定存储目录之后,storage会为文件生一个Fileid,由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成,然后将这个二进制串进行base64编码,转换为可打印的字符串。 选择两级目录 当选定存储目录之后,storage会为文件分配一个fileid,每个存储目录下有两级256*256的子目录,storage会按文件fileid进行两次hash(猜测),路由到其中一个子目录,然后将文件以fileid为文件名存储到该子目录下。
5、生成文件名
当文件存储到某个子目录后,即认为该文件存储成功,接下来会为该文件生成一个文件名,文件名由group、存储目录、两级子目录、fileid、文件后缀名(由客户端指定,主要用于区分文件类型)拼接而成。
下载机制
客户端带上文件名信息请求Tracker服务获取到存储服务器的ip地址和端口,然后客户端根据返回的IP地址和端口号请求下载文件,存储服务器接收到请求后返回文件给客户端。
跟upload file一样,在download file时客户端可以选择任意tracker server。tracker发送download请求给某个tracker,必须带上文件名信息,tracke从文件名中解析出文件的group、大小、创建时间等信息,然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的,所以有可能出现在读到时候,文件还没有同步到某些storage server上,为了尽量避免访问到这样的storage,tracker按照如下规则选择group内可读的storage。
1、该文件上传到的源头storage - 源头storage只要存活着,肯定包含这个文件,源头的地址被编码在文件名中。
2、文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间(如5分钟) - 文件创建后,认为经过最大同步时间后,肯定已经同步到其他storage了。
3、文件创建时间戳 < storage被同步到的时间戳。 - 同步时间戳之前的文件确定已经同步了
4、(当前时间-文件创建时间戳) > 同步延迟阀值(如一天)。 - 经过同步延迟阈值时间,认为文件肯定已经同步了。
同步时间管理
当一个文件上传成功后,客户端马上发起对该文件下载请求(或删除请求)时,tracker是如何选定一个适用的存储服务器呢? 其实每个存储服务器都需要定时将自身的信息上报给tracker,这些信息就包括了本地同步时间(即,同步到的最新文件的时间戳)。而tracker根据各个存储服务器的上报情况,就能够知道刚刚上传的文件,在该存储组中是否已完成了同步。同步信息上报如下图:
写文件时,客户端将文件写至group内一个storage server即认为写文件成功,storage server写完文件后,会由后台线程将文件同步至同group内其他的storage server。
每个storage写文件后,同时会写一份binlog,binlog里不包含文件数据,只包含文件名等元信息,这份binlog用于后台同步,storage会记录向group内其他storage同步的进度,以便重启后能接上次的进度继续同步;进度以时间戳的方式进行记录,所以最好能保证集群内所有server的时钟保持同步。
storage的同步进度会作为元数据的一部分汇报到tracker上,tracke在选择读storage的时候会以同步进度作为参考。 比如一个group内有A、B、C三个storage server,A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了),B向C同步到时间戳为T2(T2 > T1),tracker接收到这些同步进度信息时,就会进行整理,将最小的那个做为C的同步时间戳,本例中T1即为C的同步时间戳为T1(即所有T1以前写的数据都已经同步到C上了);同理,根据上述规则,tracker会为A、B生成一个同步时间戳。
精巧的文件ID-FID
说到下载就不得不提文件索引(又称:FID)的精巧设计了。文件索引结构如下图,是客户端上传文件后存储服务器返回给客户端,用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。
组名:文件上传后所在的存储组名称,在文件上传成功后有存储服务器返回,需要客户端自行保存。
虚拟磁盘路径:存储服务器配置的虚拟路径,与磁盘选项store_path*对应。
数据两级目录:存储服务器在每个虚拟磁盘路径ä¸...
- ?
想要入门大数据,数据存储工具必不可少,分布式文件系统大简介
流浪
展开
大数据的最底层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。今天小鸟就带大家来盘点一下这些常见的分布式文件系统:
Lustre
Lustre是一个非常安全,规模很大的分布式文件系统,最早由CFS(Cluster File System Inc.)公司研发,最后由CFS、惠普和因特尔三家公司一起与2003年推出第一版发布版,发展到现在已经非常成熟。其存储量通常以PB起步,节点支持数也能打到万级。但是其对设备有特殊要求。
HDFS
HDFS是Hadoop内置的分布式文件系统,之前也有过介绍。HDFS最大的优势就是价格低廉,因此也使用极为广泛。并且其高可靠性,高容错性也让使用者非常信赖。虽然HDFS的存储级别也在PB以上,但是对于小文件过多的情况HDFS不能很好的支持。
QFS
QFS和HDFS类似,都是为了解决高效顺序读写大量数据的问题。但是QFS在性能上优于HDFS,读写效率提升综合越60%。现在QFS还比较小众,没有经过大量的使用测试,因此还不能用于大规模的生产环境。
GlusterFS
GlusterFS也是一个PB级别的集群文件系统,其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做最大的特点就是无中心,不会有单点故障。
Alluxio
Alluxio是第一个基于内存的分布式文件系统,因此其相应速度也会超出普通的分布式文件系统很多,例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的,文档都是中文的,对于被英文文档困扰很久的小伙伴绝对是福音。
Ceph
Ceph也是一个没有单点故障的分布式文件系统,Ceph的每个节点上都有一小部分资源用于计算节点的数据信息,从而非常优秀的实现负载均衡。
PVFS
PVFS是一个并行虚拟文件系统,他能很好的支持linux上的原声命令和工具,例如rm、dd、cat等。但是PSFS是单管理节点的,因此存在单点故障,并且在启动后无法灵活的修改。
想学习更多大数据知识欢迎关注小鸟,转发评论收藏然后私信小鸟,有机会领取大数据入门教程一份。关注小鸟,福利多多。
- ?
k8s存储系统介绍
乌斯怀亚
展开
在k8s集群中,运行服务离不开持久化地将数据保存起来,这就涉及到k8s的存储系统了。k8s的存储系统在运行机制上基于docker原生的volume机制,本质上都是先将存储挂在到主机上,经过处理后,通过docker的volume机制挂载到容器中。但在存储实现上,k8s自己包装了一套volume plugins,用于对接各种存储的后端实现。这些存储实现从基本用途来说,大致可以分为以下几类:
1)测试使用
emtyDir、hostPath:使用宿主机上的临时或者固定目录作为容器使用的卷,在临时测试时非常有用
2)云环境
gce pcd、azure disk、OpenStack cinder、aws ebs、vSphere volume,这几种实现是k8s集群运行在相应云环境中时,才能使用相应的存储实现。
3)块设备
iscsi、rbd:通过对主机提供块设备,然后kubelet将块设备格式化后再挂载给容器使用。
4)网络共享文件
nfs、glusterfs、cephfs:通过网络共享文件系统,提供网络可访问的目录供容器挂载使用。
5)k8s配置
configmap、secret:将k8s中的configmap或secret的值,按指定目录在宿主机上生成文件,然后再挂载给容器。
在使用方式上,k8s经历了三代进化。如下图所示:
1.1 直接使用volume
在POD定义中,直接将存储的访问方式定义好,其生命周期与POD生命周期保持一致,当POD被删除时,volume也没解挂,但数据不会被处理。在使用和管理上都有比较多的问题:
1) 普通用户需要了解比较多的存储实现细节,对他们来说是额外的负担。
2) POD删除后,数据的处理完全依赖用户手动处理,很容易出现数据残留或者泄漏。
3) 管理员或者用户需要手动在存储系统上提前准备好volume使用的存储设备,增加了他们的负担。
1.2 使用pv&pvc
k8s通过pv封装了存储的实现细节,并通过labels对用户提供了存储介质、访问方式、容量、IOPS等属性,使用户能够通过pvc来使用存储,减少了用户的负担。并且,pvc还支持设置对pv进行回收时的策略,自动化地实现存储空间的回收,减轻了管理员的负担。其使用过程如下图所示:
但是管理员还是需要手动地为用户提前准备好pv以及对应的存储设备,在使用上不是很便利。
1.3 使用storageclass
在k8s 1.4后,k8s提供了storageclass特性,根据管理员配置的存储系统设置,动态地根据用户的pvc动态创建或者绑定pv,减少了管理员的手动操作。其使用过程如下图所示:
2. k8s集成ceph演示
k8s集成ceph时,可以通过pv&pvc,或者使用storageclass的方式集成,最终可以实现相同的效果。
2.1 ceph通过volume plugin与k8s集成
在这种工作模式下,k8s提供了两种实现与ceph集成。
1)以RBD块设备方式挂载。在这种方式下,由于块设备的特性,不支持多个挂载POD同时向存储写,但支持一写多读这种方式。
2)以cephfs网络共享文件方式挂载。在这种方式下,支持多个挂载的POD同时写。
本文以rbd方式为例,介绍集成过程。
2.1.1 环境准备
1)确保ceph集群处于健康状态。
ceph status
2)创建存储后端的image
rbd create demoimage --size=1G
3)在k8s所有节点安装ceph-common,获得rbd命令,使主机可以挂载ceph image。
4)保存ceph客户端key到k8s,kubelet将使用这个key来挂载ceph image。
echo " {key}" |base64
kubectl create secret generic ceph-secret-admin --from-literal=key='' {encoded-key}'' --type=kubernetes.io/rbd
2.1.2 测试过程
使用如下的yaml声明创建pv、pvc以及使用pvc的ReplicationController。
pv的yaml如下:
apiVersion: v1
kind: PersistentVolume
metadata:
name: ceph-pv
labels:
name: ceph-pv
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
rbd:
monitors:
- "192.168.7.211:6789"
- "192.168.7.212:6789"
- "192.168.7.213:6789"
pool: rbd
image: demoimage
user: admin
secretRef:
name: ceph-secret-admin
fsType: ext4
pvc的yaml如下:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: ceph-claim
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
selector:
matchLabels:
name: ceph-pv
使用pvc的ReplicationController如下:
apiVersion: v1
kind: ReplicationController
metadata:
name: rbd
labels:
app: rbd-demo
spec:
replicas: 1
selector:
app: rbd-demo
template:
metadata:
labels:
app: rbd-demo
spec:
containers:
- name: demo
image: reg.skycloud:5000/nginx:stable
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: "/mnt"
name: mypd
volumes:
- name: mypd
persistentVolumeClaim:
claimName: ceph-claim
创建完成后,可以通过k8s命令行确认ReplicationController创建的POD正常运行。
2.1.3 测试结果
POD创建出来后,在其运行宿主机上,可以看到ceph的demoimage被挂载了。
在内部可以看到被挂载的目录,并且被格式化为pv指定的ext4格式。
通过下面的几种方式测试服务数据的持久化保存
删除容器,k8s自动重建,可以保持数据不丢失。删除POD,然后重建,可以保持数据不丢失。内存中的状态,如连接状态、会话session等丢失。
测试过程可以观看gif。
2.2 ceph通过storageclass集成
通过storageclass集成时,k8s目前仅支持ceph的rbd实现。
2.2.1 环境准备
1)确保ceph集群处于健康状态。
ceph status
2)创建storageclass使用的存储池。
ceph osd pool create kube 512
3)在k8s所有节点安装ceph-common,获得rbd命令,用于创建和挂载rbd image。
4)保存ceph管理端key到k8s,供k8s自动创建image使用。需要注意的是,管理端key必须通过base64编码。
echo " {key}" |base64
kubectl create secret generic ceph-secret-admin --from-literal=key='' {encoded-key}'' --type=kubernetes.io/rbd
5)创建ceph客户端key,设置权限,并保存到k8s,kubelet将使用这个key来挂载ceph image。保存时,注意设置的namespace,只能由这个namespace中的POD挂载storageclass自动创建出来的pv。
ceph auth get-or-create client.kube mon 'allow r' osd 'allow rwx pool=kube‘
kubectl create secret generic ceph-secret-user --from-literal=key='{kube-key}' --namespace=sky-firmament --type=kubernetes.io/rbd
2.2.2 测试过程
使用如下的yaml声明创建storageclass、pvc以及使用pvc的ReplicationController。
storageclass的yaml如下:
apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
name: cephdemo
provisioner: kubernetes.io/rbd
parameters:
monitors: 192.168.7.211:6789,192.168.7.212:6789,192.168.7.213:6789
adminId: admin
adminSecretName: ceph-secret-admin
adminSecretNamespace: default
pool: kube
userId: kube
userSecretName: ceph-secret-user
pvc的yaml如下:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: ceph-claim
namespace: sky-firmament
annotations:
volume.beta.kubernetes.io/storage-class: “cephdemo"
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
ReplicationController的yaml如下:
apiVersion: v1
kind: ReplicationController
metadata:
name: ceph
namespace: sky-firmament
labels:
app: ceph-demo
spec:
replicas: 1
selector:
app: ceph-demo
template:
metadata:
labels:
app: ceph-demo
spec:
containers:
- name: demo
image: reg.skycloud:5000/nginx:stable
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: "/mnt"
name: mypd
volumes:
- name: mypd
persistentVolumeClaim:
claimName: cephclaim
创建完成后,通过k8s命令行确认ReplicationController创建的POD正常运行。
2.2.3 测试结果
可以看到k8s通过storageclass,动态创建的pv,为POD提供存储。
在ceph集群上,可以查看到对应动态创建的image。
POD创建出来后,在其运行宿主机上,可以看到ceph的demoimage被挂载了。
在内部可以看到被挂载的目录,并且被格式化为pv指定的ext4格式。
通过下面的几种方式测试服务数据的持久化保存。
删除容器,k8s自动重建,可以保持数据不丢失。删除POD,然后重建,可以保持数据不丢失。
内存中的状态,如连接状态、会话session等丢失。
3. 踩坑经验
3.1 ceph集群的安装
由于ceph-deploy默认使用官方源来安装,由于网络连接的原因,经常出现下载超时等网络异常,导致安装失败。
其实ceph-deploy是支持使用镜像源来安装的,以网易源为例:
export CEPH_DEPLOY_REPO_URL=http://mirrors.163/ceph/rpm-jewel/el7
export CEPH_DEPLOY_GPG_URL=http://mirrors.163/ceph/keys/release.asc
然后按正常的安装过程执行命令即可,可以参考此链接。
3.2 rbd挂载失败
使用pv&pvc集成方式时,rbd image无法挂载到宿主机上,从kubelet中可以看到如下日志:
rbd: map failed exit status 6 2017-03-22 11:20:58.090270 7f30f46b6d80 -1 did not load config file, using default settings.
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
根据日志提示,首先通过rbd info命令,查看image启用的特性。
通过rbd feature disable命令,将不支持的特性禁用即可。
rbd feature disable demoimage exclusive-lock, object-map, fast-diff, deep-flatten
3.3 storageclass无法动态创建pv
创建pvc后,k8s没有自动创建pv,从controller-manager服务的日志中,可以看到相关异常信息:
rbd_util.go:341] rbd: Error creating rbd image: fork/exec /usr/bin/rbd: invalid argument
通过搜索kubernetes官方issue,可以确定是因为使用的ceph管理端key没有经过base64编码,导致无法执行创建image的命令。
3.4 总结
k8s目前处于极速迭代中,其中使用的技术一直在变化,当出现问题时,首先要从k8s官方的issue列表中检索,一般情况下都可以找到蛛丝马迹,可以帮助解决问题。如果还是解决不了,则应当有效利用搜索引擎,通过从k8s服务运行过程中产生的异常信息,来辅助解决问题。