中企动力 > 头条 > 云存储管理方案

网站性能检测评分

注:本网站页面html检测工具扫描网站中存在的基本问题,仅供参考。

云存储管理方案

中国的企业级云存储魔力象限是否有你?不光有阿里与腾讯 企业视频课程

img

韶鹤

关注

Seagate和IDC一项新研究表明,到2025年,全球数据量将会从2016年的16 ZB上升至163ZB,数据量相当于查看整个Netflix目录4.89亿次。当前数据呈现爆炸式增长的态势,数据存储面临着新的挑战。

企业级存储的发展经历了三个阶段。

第一阶段是基于FTP的文件共享需求,本阶段基于局域网的文件共享,通过FTP类工具对企业文档进行梳理、归类、上传、下载等。

第二阶段基于互联网的存储服务(以NAS等开启的专用存储服务),本阶段企业对数据、文档的独立运维意识觉醒,需要对数据、文档进行独立的集中管理,并通过互联网方式获得更高效率的对数据、文档利用,同时需要释放宽带、提高性能和降低成本。

第三阶段是基于云的方式,获取性更强、更高效的数据访问模式。本阶段以邮箱为切入点的企业网盘,初步实现文档的简单共享、协作问题。随后企业数据快速爆炸,新技术快速迭代,企业对数据、文档管理诉求更为复杂,对数据复用几率以及高并发使用情况大幅提升,云存储不仅实现数据计算、存储、处理的大吞吐问题,同时将数据存储与业务融合,极大地提升了企业数据、文档在互联网下的访问效率和安全性。

目前国内基于IaaS层、PaaS层、SaaS层的企业级云存储厂商已经有了多年的发展,中国云存储市场现在发展得怎么样了?用户有什么样的需求?

基于此,移动化信息研究中心将于近期推出完整版 《企业级云存储市场用户实践研究报告》 ,对国内企业级云存储的市场现状、用户特征、用户实践等方面进行深度研究。敬请期待!

T客汇梳理了近期国内比较活跃的25家企业级云存储品牌,排名按照产品首写字母排列:

1、 阿里云

阿里云创立于2009年,是云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。目前已经在全球14个地域设立有数十个飞天数据中心,均部署阿里云自研的飞天操作系统,并提供中、英、日三种语言支持。

云存储服务类型:IaaS层、PaaS层

云存储产品与CDN:对象存储OSS、块存储、文件存储NAS、表格存储TableStore、归档存储OAS、云存储网关、闪电立方、混合云阵列、PCDN、CDN

官网:https://aliyun/

2、爱龙祥云

爱龙祥云科技专注于研发以及运营云服务基础设施服务平台,提供基于云计算的IT解决方案与客户服务。

云存储服务类型:IaaS层

产品:存储空间、流入量、流出量、数据请求

https://cloud-88/Account/LogOn

3、爱数

上海爱数信息技术股份有限公司注册于2006年,是一家智能数据管理、数据备份容灾整体解决方案提供商,着眼于企业最核心的资产:数据,并从基础设施层、数据应用层和数据分析层三个维度出发,帮助客户解决CAMS趋势下的数据管理需求。

云存储服务类型:SaaS层

产品:AnyShare文档云、AnyStorage

https://eisoo/

4、百度云

百度云是百度提供的公有云平台,于2015年正式开放运营。2016年,百度正式对外发布了“云计算+大数据+人工智能“三位一体的云计算战略。百度云推出了40余款云计算产品,天算、天像、天工三大智能平台,分别提供智能大数据、智能多媒体、智能物联网服务。

云存储服务类型:IaaS层、PaaS层、SaaS层

云存储产品与CDN:对象存储BOS、云磁盘CDS、内容分发网络CDN、存储网关BSG、企业网盘

https://cloud.baidu/

企业网盘:https://eyun.baidu/enterprise/index

5、 DOCQ

DOCQ 是武汉织云软件有限公司开发的一款在线办公协作软件。支持在线编辑 Word 格式,Excel 格式,PPT 格式和 PDF 格式。在线编辑后可以生成链接分享给其他人,对于重要的文档文件在分享时还增加了添加密码的功能。

http://docq/

6、多备份

多备份是深圳木浪科技旗下的全球化数据保护服务品牌,由IDG和极客帮联合投资。提供数据加密、备份保护和恢复迁移服务。

https://dbfen/

7、够快科技

上海够快网络科技股份有限公司成立于2012年4月,致力于为企业提供文档管理系统,云存储解决方案和产品服务。2016年1月,够快科技成功登陆新三板。

产品服务类型:SaaS

http://gokuai/

8、华为云

华为云贯彻华为公司"云、管、端"的战略方针,聚焦I层,使能P层,聚合S层,致力于为广大企业、政府和创新创业群体提供IT基础设施云服务。

云存储产品服务类型:IaaS层、PaaS层

云存储产品:云硬盘、云硬盘备份、对象存储服务、数据快递服务、数据传输加速、弹性文件服务

http://hwclouds/

9、 华云

无锡华云数据技术服务有限公司成立于2010年,是国内云计算基础设施运营商,专注于研发与运营商用云计算基础设施,提供基于云计算的IT解决方案与外包服务。2015年获得海通开元1亿美元的C轮融资。

云存储产品服务类型:PaaS层

云存储产品与CDN:对象存储、CDN

https://chinac/

10、坚果云

上海亦存网络科技有限公司创立于2011年,提供云存储服务,实现文件共享。

云存储产品服务类型:SaaS层

https://jianguoyun/

11、金山云

北京金山云网络技术有限公司(以下简称“金山云”)为金山软件旗下子公司,成立于2012年,是国内云计算服务提供商。

云存储产品服务层类型:IaaS层、PaaS层、SaaS层

云存储产品与CDN:对象存储、云硬盘、CDN、企业云盘

https://ksyun/

金山企业云盘:https://pan.ksyun/

12、开始云

开始云成立于2006年,中国企业文档管理解决方案提供商,自主研发了开始云文件平台、KASS企业文档管理系统、开始云文件盒子及KFS文档管理中间件四大核心产品。

产品:企业文档管理系统、文档管理中间件、开始云文件盒子、开始云SaaS平台

http://kass/

13、 联想云存储

联想云科技,隶属于联想集团,主要业务涉及云计算服务(包括云主机,云存储和云基础设施)、技术开发及技术外包等,其中云存储业务-联想企业网盘自2006年开始产品技术研发,至今运营10余年。

云存储产品服务类型:IaaS层、PaaS层、SaaS层

云存储产品:联想私有云网盘系统、联想企业网盘、联想网络分布式存储系统、联想服务器虚拟化

https://yun.lenovo/

14、七牛云

七牛云(上海七牛信息技术有限公司)成立于2011年,是国内企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

产品服务类型:IaaS层、PaaS层

云存储产品与CDN:对象存储、融合CDN

https://qiniu/

15、青云

北京优帆科技有限公司成立于2012年,专注于云计算领域。2017年6月获得10.8亿元D轮融资。

云存储产品:块存储、硬盘 Volume、Virtual SAN、NAS、QingStor 对象存储 、备份 Snapshot

https://qingcloud/

16、盛大云

盛大云隶属于上海盛大网络发展有限公司,是在整合盛大集团资源的基础上自主技术研发的公有云平台,2011年宣布开放公测。为中小企业、创业团队提供一揽子云计算服务。

云存储产品服务类型:IaaS层

http://grandcloud/

17、首都在线

北京首都在线科技股份有限公司(以下简称“首都在线”)成立于2005年,主营业务是为电商、游戏、金融、大数据、医疗、PaaS/SaaS等诸多行业提供高性能的云计算服务、IDC托管及IT增值、IT外包、通信集成等信息技术服务。公司2010年8月在新三板挂牌(股票代码430071)。

云存储产品与CDN:对象存储GSS、内容分发网络CDN

http://capitalonline/zh-cn/

18、 搜狐企业网盘

搜狐企业网盘是搜狐公司推出的一款云存储服务。采用软件即服务(SaaS)模式,致力于为广大企业用户打造集存储、备份、同步、共享为一体的云办公平台。

产品服务类型:SaaS层

https://pan.sohu/

19、数人云

数人云创始团队来自谷歌、红帽和惠普,数人云重点聚焦打造基于容器的轻量级PaaS平台, 2017年1月获云启资本、唯猎资本、洋源资本5000万A+轮融资。

产品服务类型:PaaS层

https://shurenyun/

20、 腾讯云

2014 年6 月腾讯云计算有限公司成立,致力于为用户提供云服务器、云数据库、DDoS防御等服务。

云存储产品与CDN:对象存储、文件存储(公测)、归档存储、存储网关(公测)、私有云存储、云硬盘、内容分发网络、动态加速网络(内测)、全球应用加速(内测)

https://qcloud/

21、 UCloud

UCloud (上海优刻得信息科技有限公司),是国内云计算服务平台,自主研发并提供计算资源、存储资源、网络资源等企业必需的基础IT架构服务,并深入了解互联网、移动互联网、传统企业不同场景下的业务需求,提供解决方案。

云存储产品与CDN:云硬盘UDisk、云分发UCDN、对象存储UFile、数据方舟UdataArk、归档存储UArchive、消息队列UMQ、开放式分发节点UODN

https://ucloud/

22、云创存储

南京云创大数据科技股份有限公司成立于2011年3月,从事大数据、云计算、云存储技术领域研发及产品销售。公司于2015年12月28日在新三板挂牌(股票代码:835305)

云存储产品服务类型:IaaS层、SaaS层

云存储产品:cStor云存储系统一体机、cStor云存储系统、minicloud安全办公私有云、cStor 6000系列磁盘阵列存储系统、云创网盘、IPSAN/MAS网络存储

http://cstor/

23、亿方云

杭州亿方云网络科技有限公司是创立于2013年,是国内的企业文件管理及协作SaaS服务提供商。公司并在2016年与阿里云达成战略合作。2016年11月获光速中国、经纬中国840万美元A+轮融资。

http://fangcloud/

24、燕麦云

深圳企业云科技股份有限公司(企业云科技)为用户提供数据资产保护,企业云科技通过对纸质文件与电子文件进行融合管控,为客户提供数据资产解决方案。

http://oatos/

25、网易蜂巢

网易蜂巢是杭州朗和科技有限公司旗下产品,是一个为开发团队打造的容器云平台,专注于提供云计算服务,以及性能监控、报警、日志采集等运维工具。

云存储产品与CDN:云硬盘、对象存储、CDN

https://c.163/

70

移动信息化研究中心联合T客汇携 第三届SaaS产业峰会(上海站) 强势来袭!

本界峰会诚邀SaaS创业老兵、资深投资人、激情创业者、最专业的行业分析师和最敏锐的媒体人一起探索,在“新经济+新模式+新机遇”的 十字路口,让SaaS产业胜之有道,填平那些年对SaaS揠苗助长的坑,谋求SaaS转型升级最佳方案。

数据发布

《中国SaaS产业洞察报告》

《CRM――实践的力量》

《2017麦达SaaS指数》

《在垂直行业的协同作业》

云财务、云存储、云HR、大数据……相关领域市场调研及用户实践研究报告,届时从优选择一组数据发布

产业解读

“互联网化的崛起 中国企业SaaS的实践”――移动信息化研究中心高级分析师 江涛

老兵洞察

“重塑企业与客户连接”―― 销售易创始人&CEO 史彦泽

“SaaS创业者的挑战与机会” ―― 易订货创始人&CEO 冯颉

……

扫码参会,8月18日我们在上海等你!

云计算存储产品详解 行业视频课程

img

Ivie

关注

云上存储产品主要有对象存储,块存储,网络文件系统(NAS),还有最赚钱的CDN,我们将针对这些主流产品,讲讲他们产品特点,有云上存储时候知道如何选型,当然我们是技术型作者也会简单讲讲实现思路,出于信息安全,不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统,我们也捎带说说存储祖师爷DFS。

Linux IO STACK

云计算本质就是单机计算能力的无限扩展,我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs,调度算法,块设备层,最终落盘:

(1)其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品

(2)VFS还有一个fuse文件系统,可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口,就可访问后端存储

(3)在设备层,通过扩展ISCSI网络协议,衍生出了块存储

存储产品架构流派

分层或平层:

如hbase,底层基于hdfs文件系统,hbase不用考虑replication,专注于自身领域问题 特点:大大降低开发成本,稳定性依赖底层存储,底层不稳定,上层遭殃。

竖井:

自己做replication,自己做副本recover,自己做写时recover master-slave体系架构

两层索引体系,解决lots of small file

第一层,master维护一个路由表,通过fileurl找到对应slave location(ip+port)

第二层,slave单机索引体系,找到具体的location,读出raw data DFS

特点:丰富类posix语意,特点Append-only存储,不支持pwrite

可能存在问题:

(1)Pb级别存储方案,非EB级别。 原因namenode集中式server,内存&qps瓶颈,bat体量公司需运维上百个集群

(2)默认三副本,成本高

(3)强一致写,慢节点问题

演进:

GFS2拆分了namenode,拆分成目录树,blockservice,外加ferdaration,但namespace集中式server缺陷依旧,同时切分image是要停服,水平扩展不是那么友好。

对象存储:

元数据管理

Blobstorage: blobid->[raw data]Metastore,aws s3又称为keymap,本质上是个kv系统。存储内容file_url->[blobid list]

I/O 路径

(1)httpserver收到muti-part form,收到固定大小raw data,切成K份等长条带

(2)条带做EC,生成(N-K)份编码块,共得到N份shard。现在的问题变成了这N份数据存哪

(3)客户端的代理继续向blobstorage申请一个全局的id,这个id代表了了后端实际node的地址,以及这个node管理的实际物理卷,我们的每个分片数据均等的存在这些物理卷上。

(4)分发写N份数据,满足安全副本数即可返回写成功,写失败的可延时EC方式修复

(5)httpserver将文件file及对应的分片列表以KV形式写入metastore。

特点:

基于http协议 ws服务,接口简单,put/get,延时高。 EB级别存储方案,适合云上产品形态。深度目录树变成两层目录结构(bucket+object)。

缺点:

posix语意接口太少,不提供append语意(其实是通过覆盖写提供),更别说随机写。

iscsi模型

与后端交互的的部分在内核实现,后端target解析iscsi协议并将请求映射到后端分布式存储

特点:

(1)绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统,而大多数主流文件系统的块大小是4KB,文件最小操作粒度是块,因此绝大多数的IO请求是4KB对齐的。

(2)强一致. 块设备必须提供强一致,即写返回后,能够读到写进去的数据。

(3)支持随机写,延时要低用户基于虚拟块设备构建文件系统(ext4),对于文件编辑操作很频繁,所以需要支持随机写。比NAS/Fuse类产品性能好,只hack块设备读写,上层dentry lookup还是走原来的IO path,没有像NAS/FUSE dentry的lookup发起多次rpc问题

(4)产品层面需要预先购买容量,扩容需要重新挂载,跟NAS比容易浪费空间

实现模型:

云盘逻辑卷按block切分,为了便于recover,按1G切分,第一层路由由blockManager管理,按volumeid+offset 映射到逻辑block,逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件(falloc,防止写过程中空间不够),称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上,很容易实现pwrite。当然也可以基于裸盘,在os看来是一个大文件,分割成不同的1G文件

IO路径:

块设备上层会有文件系统,经过io调度算法,合并io操作,isici协议发出的IO请求的都是对扇区LBA的操作,所以可以简单抽象成对于卷id加上偏移的操作,我们简单讲讲EBS(Elastic Block Store)层IO路径

(1)网络发出来的IO请求是针对volume+offerset操作,假定是个写请求

(2)通过blockManager查找到逻辑block

(3)在内存中找到block对应的物理地址(ip+port),block的replicationGroup

(4)使用业界通用复制链方式如raft协议向replicationGroup发送io请求,raft帮我们解决写时失败tuncate问题

(5)单节点接到IO请求,把LBA换算成真实的文件偏移,pwrite写下去

优化

a、可想而知,这种存储模型下,后端node会有大量的随机写,吞吐肯定不高,有很大的优化空间 可以通过类似LSM引擎方式,将随机写变成顺序写,读者可深入思考,本文不详细探讨了。

b、虚拟磁盘可以切条掉,相当于raid盘思路,单块盘的IO变成多多块盘,增大吞吐。

NAS

用户通过mount目录访问共享文件,mount点挂在的是一个NFS协议的文件系统,会通过tcp访问到NFS server。NFS server是一个代理,通过libcfs最终会访问到我们后端的存储系统。

后端存储系统

DS包含管理inode的metastore和datastore,metastore

我们充分吸取业界DFS缺点,解决Namenode集中式server瓶颈,充分考虑bigtable的各种优点。Metastore可基于分布式数据库(newsql),回想一下bigtable,一个用户的文件散落在多个tabletserver上,允许用户跨tabletserver rename操作,所以需要分布式事务完成上述保证,出于对DFS改进,我们把目录树持久化模仿linux fs dentry管理,映射规则如下两张表,dentry表和inode表,dentry表描述目录树,inode表描述文件block列表及atime,mtime,uid,gid等源信息,一般来讲硬链够用,该场景下dentry可以多份,共同指向一个inode。 dentry通过外健关联到inode表

比如lookup 子节点

SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID

datastore

特点:要求提供随机写,所以跟块存储EBS设计思路是一样的,大文件切块,按块组织,dataserver上有真实的物理block文件,提供pwrite操作。

特点

弹性容量,不限容量,多机挂载并行读写,IO线性增长,支持随机写比块存储优势在于用多少花多少,不需要提前申请容量,真弹性

缺点

vfs层 dentry lookup每个层级目录会发起rpc,延时高。

总结

如何在树莓派上搭建私有云存储 营销视频课程

img

罗琳

关注

本篇的旨在最全面地介绍搭建网盘的整个过程,让没有Linux基础的小白们少走弯路,因此细节上多有赘述,老司机们请无视。最近国内的网盘们一个接一个地倒下,相信很多人不想忍受某网盘的限速,大家对私有云的需求越来越高。最简单和稳妥的解决办法当然还是购买群晖这样高性能、多功能的NAS,但动辄几千元的售价还是让许多人望而却步,市面上的私有云盘软件有诸如可道云、Nextcloud/ownCloud、Seafile等,这里IT之家来介绍如何用一块树莓派3B开发板搭建私有云存储。

先介绍一下本篇的主角——可道云

KodExplorer可道云,原名芒果云,是基于Web技术的私有云和在线文档管理解决方案,具有以下特点:

轻量易部署适用性强,应用场景多高颜值、可定制

在体验了各家网盘后笔者选择了可道云,主要是第一眼就被他近似于Windows的操作界面吸引了,可道云不需要数据库,足够轻量,搭建简单,毕竟小小的树莓派机能实在是有限。对比ownCloud,可道云在树莓派上的性能表现要好太多。但也有像无移动客户端支持、同步不便、移动端网页版存在一些问题等不足。

aria2

aria2被众多网友视为下载神器,相信不少朋友都接触过,它是一款开源免费跨Win、Mac、Linux平台且不限速的多线程下载软件,具有速度快、体积小、性能强劲等特点。aria2支持HTTP / FTP / BT / Magnet磁力链接等类型的文件下载。

准备

树莓派3B内存卡硬盘公网IP域名

为树莓派安装系统并启动登录

先去树莓派官网下载系统镜像

点Download Zip下载压缩包,下载完成后解压,得到img镜像文件。

下载镜像烧录工具Win32DiskImager v0.9.zip并安装。

使用读卡器将内存卡连接电脑,运行Win32diskimager。

映像文件选择刚下载的img文件,设备选择内存卡盘符,然后选择写入,就开始安装系统了,安装完成后会弹出完成对话框。安装完成后在Windows系统看到内存卡只有74MB这是正常的,Windows看不到Linux下的分区。

然后在内存卡根目录下新建文件名为ssh的空白文件(没有后缀名),这样就能开启SSH服务登陆树莓派了。

将内存卡插入树莓派,用网线连接树莓派网口和路由器lan口,然后接上电源线。树莓派就开机了!

登陆路由器后台查看树莓派的内网IP

可以看到这里树莓派获取到的IP地址为192.168.2.6,记住这个地址

下载并安装PuTTY,安装完成后运行PuTTY。

将电脑和树莓派置于同一局域网,在主机名称中输入192.168.2.6,端口默认的22就可以,然后点击打开。这时会弹出安全警告,点是即可;之后输入用户名:pi;密码:raspberry(输入时密码不可见)就成功登陆树莓派了。

域名

大家可以在阿里云注册一个喜欢的域名,部分域名一年也就几块钱。至此准备工作就完成了。

搭建可道云

PuTTY登陆后为root用户设置密码,输入(PuTTY中单击鼠标右键粘贴):

sudo passwd root

会提示输入密码,然后确认输入密码(输入时密码不可见)。

输入如下命令就可切换到root用户:

su

我们先解除树莓派对root用户直接登陆的限制,编辑sshd_config文件:

sudo nano /etc/ssh/sshd_config

按Ctrl+W搜索PermitRootLogin,删除前面的#并把without-password改为yes:

PermitRootLogin yes

按Ctrl+O保存文件,Ctrl + X退出编辑然后重启树莓派:

reboot

安装Apache+PHP

使用root用户登录,先更新一下安装源:

sudo apt-get update

安装apache2和PHP:

sudo apt-get install apache2 php7.0 php7.0-curl php7.0-mbstring php7.0-gd

这时访问树莓派的IP就可以看到apache2的默认页了。

挂载硬盘

树莓派挂载NTFS硬盘默认是只读文件系统,我们可以通过其它工具实现,安装ntfs-3g:

sudo apt-get install ntfs-3gmodprobe fuse

接下来我们创建挂载点,我选择的挂载点在/media/pi/mo文件夹:

sudo mkdir /media/pi/mo

查看系统当前挂载的硬盘:

fdisk -l

我们会看到最下面有如下信息:

Device Boot Start End Sectors Size Id Type/dev/mmcblk0p1 8192 93236 85045 41.5M c W95 FAT32 (LBA)/dev/mmcblk0p2 94208 62521343 62427136 29.8G 83 LinuxDisk /dev/sda: 464.8 GiB, 3899024998 bytes, 937766584 sectorsUnits: sectors of 1 * 512 = 512 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisklabel type: dosDisk identifier: 0xa7cf32d1Device Boot Start End Sectors Size Id Type/dev/sda1 2048 334438655 937766584 464.8G 7 HPFS/NTFS/exFAT

其中/dev/sda1为这块硬盘的分区信息。下面我们就以Apache的默认用户www-data来挂载硬盘,输入如下命令来查看用户身份:

sudo -u www-data id

显示信息如下:

uid=33(www-data) gid=33(www-data) groups=33(www-data)

然后让硬盘能够自动挂载,编辑/etc/fstab:

sudo nano /etc/fstab

将如下内容添加到文件最后一行:

/dev/sda1 /media/pi/mo ntfs uid=33,gid=33,noexec,umask=007 0 0

这里uid和gid为用户和组,也就是上面我们查看到的信息;umask表示拒绝的权限,其中第一个数字为0。表示不拒绝任何权限,即可读、写、执行,第二、三个数字分别代表用户组和其他用户。按Ctrl+O保存文件,然后Ctrl + X退出编辑,重启后生效:

reboot

配置可道云

下载并解压可道云

cd /media/pi/mo/kodwget http://static.kodcloud/update/download/kodexplorer4.25.zipunzip kodexplorer4.25.zipchmod -Rf 777 ./*

配置apache:

nano /etc/apache2/sites-available/kod.conf

粘贴如下内容:

ServerName kod.wumoServerAdmin abc@OutlookDocumentRoot /media/pi/mo/kod Options FollowSymLinks AllowOverride All Require all granted

注:这里将kod.wumo替换成你自己的用来访问云盘的域名。重启apache2:

sudo service apache2 restart

解析域名

我们先在路由器上配置端口转发,进入路由器管理后台,找到端口转发/端口映射这项,以我手里这台刷了老毛子的斐讯为例:服务名称随意;端口范围我这里填58080(图上是80,别管它),这个端口是可以任意的,它是我们通过域名访问树莓派上的web服务时使用的端口,你可以用其他端口但尽量避开80、443、8080这些端口,因为运营商会封禁这些web服务默认端口;内网IP:树莓派的内网IP;本地端口:80;这样我们就把对路由器58080端口的访问转移到树莓派的80端口了。这里我们也为aria2配置一条转发规则:将路由器的6800端口转发到树莓派的6800端口。

家庭宽带IP会经常改变,这里就需要动态域名解析。动态域名的功能大多数路由器都有,如果你不会的话可以参考这篇文章用WinScp将softether(提取码:uqgx)上传到树莓派根目录并解压:

tar -zxvf softether-vpnserver-v4.25-9656-rtm-2018.01.15-linux-arm_eabi-32bit.tar.gzcd /vpnserver./.install.sh./vpnserver start–Simplified Chinese

然后设置密码:

./vpncmd

输入1,后按三次回车,然后输入:

ServerPasswordSet

按照提示设置密码,然后下载并安装Windows端管理工具(在上面的网盘链接里),点击“新设置”添加连接文件。主机名填树莓派内网IP,端口:443,密码:你刚才设置的密码。

确定后选择“远程访问vpnserver”,然后一路确定,你就能看到分配到的动态解析的域名了,

记下这个域名,我的域名是阿里云注册的,进入阿里云控制台>我的资源>云解析DNS>你的域名,选择添加解析,

记录类型:CNAME;主机记录:配置apache时填写的域名(上文中我填的是kod);记录值:动态DNS分配的域名。

至此我们的私有云就搭建完成了!用浏览器访问http://你的域名:转发到树莓派的端口号就可以看到我们搭建的云盘了。效果如下:

本文就是用可道云内置的MD编辑器写的。

配置Aria2

这里aria2的配置参考这篇文章。

安装Aria2

sudo apt-get install aria2

配置Aria2在/etc目录下创建aria2目录用来存放配置文件:

sudo mkdir /etc/aria2

创建空白的aria2.session文件:

sudo touch /etc/aria2/aria2.session

创建配置文件:

sudo nano /etc/aria2/aria2.conf

在该文件中输入以下内容:

# 文件的保存路径(可使用绝对路径或相对路径), 默认: 当前启动位置dir=/media/pi/mo/kod/data/User/admin/home/download# 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本, 默认:16Mdisk-cache=32M# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc# falloc和trunc则需要文件系统和内核支持# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项file-allocation=none# 断点续传continue=true## 下载连接相关 ### 最大同时下载任务数, 运行时可修改, 默认:5max-concurrent-downloads=10# 同一服务器连接数, 添加时可指定, 默认:1max-connection-per-server=5# 最小文件分片大小, 添加时可指定, 取值范围1M -1024M, 默认:20M# 假定size=10M, 文件为20MiB 则使用两个来源下载; 文件为15MiB 则使用一个来源下载min-split-size=10M# 单个任务最大线程数, 添加时可指定, 默认:5split=10# 整体下载速度限制, 运行时可修改, 默认:0#max-overall-download-limit=0# 单个任务下载速度限制, 默认:0#max-download-limit=0# 整体上传速度限制, 运行时可修改, 默认:0#max-overall-upload-limit=0# 单个任务上传速度限制, 默认:0#max-upload-limit=0# 禁用IPv6, 默认:falsedisable-ipv6=true## 进度保存相关 ### 定时保存会话, 0为退出时才保存, 需1.16.1以上版本, 默认:0#save-session-interval=60## RPC相关设置 ### 启用RPC, 默认:falseenable-rpc=true# 允许所有来源, 默认:falserpc-allow-origin-all=true# 允许非外部访问, 默认:falserpc-listen-all=true# 事件轮询方式, 取值:[epoll, kqueue, port, poll, select], 不同系统默认值不同#event-poll=select# RPC监听端口, 端口被占用时可以修改, 默认:6800#rpc-listen-port=6800# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项rpc-secret=123456789# 设置的RPC访问用户名, 此选项新版已废弃, 建议改用 --rpc-secret 选项#rpc-user=# 设置的RPC访问密码, 此选项新版已废弃, 建议改用 --rpc-secret 选项#rpc-passwd=## BT/PT下载相关 ### 当下载的是一个种子(以.torrent结尾)时, 自动开始BT任务, 默认:true#follow-torrent=true# BT监听端口, 当端口被屏蔽时使用, 默认:6881-6999listen-port=51413# 单个种子最大连接数, 默认:55#bt-max-peers=55# 打开DHT功能, PT需要禁用, 默认:trueenable-dht=true# 打开IPv6 DHT功能, PT需要禁用#enable-dht6=false# DHT网络监听端口, 默认:6881-6999#dht-listen-port=6881-6999# 本地节点查找, PT需要禁用, 默认:false#bt-enable-lpd=true# 种子交换, PT需要禁用, 默认:trueenable-peer-exchange=true# 每个种子限速, 对少种的PT很有用, 默认:50K#bt-request-peer-speed-limit=50K# 客户端伪装, PT需要peer-id-prefix=-TR2770-user-agent=Transmission/2.77# 当种子的分享率达到这个数时, 自动停止做种, 0为一直做种, 默认:1.0seed-ratio=0.1# 强制保存会话, 即使任务已经完成, 默认:false# 较新的版本开启后会在任务完成后依然保留.aria2文件#force-save=false# BT校验相关, 默认:true#bt-hash-check-seed=true# 继续之前的BT任务时, 无需再次校验, 默认:falsebt-seed-unverified=true# 保存磁力链接元数据为种子文件(.torrent文件), 默认:falsebt-save-metadata=false

注1:rpc-secret=123456789,改为你自己的密码;

注2:aria2默认下载目录笔者放在了可道云管理员文件目录下的download文件夹,下载完成后打开可道云即可看到。

启动aria2

这里我们用www-data用户来运行aria2,先赋予配置目录可执行权限:

sudo chown -R www-data:www-data /etc/aria2

以www-data用户运行aria2:

sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf

如果没有提示任何错误信息,那就按Ctrl+C停止上面的语句,以Daemon的形式,转为后台运行:

sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf -D

做成系统服务:

sudo nano /etc/init.d/aria2c

粘贴以下内容:

#!/bin/sh### BEGIN INIT INFO# Provides: aria2# Required-Start: $remote_fs $network# Required-Stop: $remote_fs $network# Default-Start: 2 3 4 5# Default-Stop: 0 1 6# Short-Description: Aria2 Downloader### END INIT INFO case "$1" instart) echo "Starting aria2c ..." sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf -D;;stop) echo "Shutting down aria2c ..." killall aria2c;;restart) killall aria2c sleep 3 sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf -D;;esacexit

然后设置这个文件的权限:

sudo chmod 755 /etc/init.d/aria2c

测试服务是否可以启动:

sudo service aria2c start

添加aria2c服务自动运行:

sudo update-rc.d aria2c defaults

安装aria的web管理界面这里我们选择aria2-NG作为web管理界面创建目录:

mkdir /var/www/html/aria2

下载并解压aria2-NG:

cd /var/www/html/aria2 && wget https://github/mayswind/AriaNg/releases/download/0.3.0/aria-ng-0.3.0.zipunzip aria-ng-0.3.0.zip

配置apache:

nano /etc/apache2/sites-available/aria2.conf

输入以下内容:

ServerName aria2.wumoServerAdmin qazqazqwer@OutlookDocumentRoot /var/www/html/aria2 Options FollowSymLinks AllowOverride All Require all grantedErrorLog ${APACHE_LOG_DIR}/error.logCustomLog ${APACHE_LOG_DIR}/access.log combined

注:和上文一样把aria2.wumo替换成你用来访问aria2管理界面的域名。

ln -s /etc/apache2/sites-available/aria2.conf /etc/apache2/site...

中国的企业级云存储魔力象限是否有你?不光有阿里与腾讯 企业视频课程

img

慕又亦

关注

Seagate和IDC一项新研究表明,到2025年,全球数据量将会从2016年的16 ZB上升至163ZB,数据量相当于查看整个Netflix目录4.89亿次。当前数据呈现爆炸式增长的态势,数据存储面临着新的挑战。

企业级存储的发展经历了三个阶段。

第一阶段是基于FTP的文件共享需求,本阶段基于局域网的文件共享,通过FTP类工具对企业文档进行梳理、归类、上传、下载等。

第二阶段基于互联网的存储服务(以NAS等开启的专用存储服务),本阶段企业对数据、文档的独立运维意识觉醒,需要对数据、文档进行独立的集中管理,并通过互联网方式获得更高效率的对数据、文档利用,同时需要释放宽带、提高性能和降低成本。

第三阶段是基于云的方式,获取性更强、更高效的数据访问模式。本阶段以邮箱为切入点的企业网盘,初步实现文档的简单共享、协作问题。随后企业数据快速爆炸,新技术快速迭代,企业对数据、文档管理诉求更为复杂,对数据复用几率以及高并发使用情况大幅提升,云存储不仅实现数据计算、存储、处理的大吞吐问题,同时将数据存储与业务融合,极大地提升了企业数据、文档在互联网下的访问效率和安全性。

目前国内基于IaaS层、PaaS层、SaaS层的企业级云存储厂商已经有了多年的发展,中国云存储市场现在发展得怎么样了?用户有什么样的需求?

基于此,移动化信息研究中心将于近期推出完整版 《企业级云存储市场用户实践研究报告》 ,对国内企业级云存储的市场现状、用户特征、用户实践等方面进行深度研究。敬请期待!

T客汇梳理了近期国内比较活跃的25家企业级云存储品牌,排名按照产品首写字母排列:

1、 阿里云

阿里云创立于2009年,是云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。目前已经在全球14个地域设立有数十个飞天数据中心,均部署阿里云自研的飞天操作系统,并提供中、英、日三种语言支持。

云存储服务类型:IaaS层、PaaS层

云存储产品与CDN:对象存储OSS、块存储、文件存储NAS、表格存储TableStore、归档存储OAS、云存储网关、闪电立方、混合云阵列、PCDN、CDN

官网:https://aliyun/

2、爱龙祥云

爱龙祥云科技专注于研发以及运营云服务基础设施服务平台,提供基于云计算的IT解决方案与客户服务。

云存储服务类型:IaaS层

产品:存储空间、流入量、流出量、数据请求

https://cloud-88/Account/LogOn

3、爱数

上海爱数信息技术股份有限公司注册于2006年,是一家智能数据管理、数据备份容灾整体解决方案提供商,着眼于企业最核心的资产:数据,并从基础设施层、数据应用层和数据分析层三个维度出发,帮助客户解决CAMS趋势下的数据管理需求。

云存储服务类型:SaaS层

产品:AnyShare文档云、AnyStorage

https://eisoo/

4、百度云

百度云是百度提供的公有云平台,于2015年正式开放运营。2016年,百度正式对外发布了“云计算+大数据+人工智能“三位一体的云计算战略。百度云推出了40余款云计算产品,天算、天像、天工三大智能平台,分别提供智能大数据、智能多媒体、智能物联网服务。

云存储服务类型:IaaS层、PaaS层、SaaS层

云存储产品与CDN:对象存储BOS、云磁盘CDS、内容分发网络CDN、存储网关BSG、企业网盘

https://cloud.baidu/

企业网盘:https://eyun.baidu/enterprise/index

5、 DOCQ

DOCQ 是武汉织云软件有限公司开发的一款在线办公协作软件。支持在线编辑 Word 格式,Excel 格式,PPT 格式和 PDF 格式。在线编辑后可以生成链接分享给其他人,对于重要的文档文件在分享时还增加了添加密码的功能。

http://docq/

6、多备份

多备份是深圳木浪科技旗下的全球化数据保护服务品牌,由IDG和极客帮联合投资。提供数据加密、备份保护和恢复迁移服务。

https://dbfen/

7、够快科技

上海够快网络科技股份有限公司成立于2012年4月,致力于为企业提供文档管理系统,云存储解决方案和产品服务。2016年1月,够快科技成功登陆新三板。

产品服务类型:SaaS

http://gokuai/

8、华为云

华为云贯彻华为公司"云、管、端"的战略方针,聚焦I层,使能P层,聚合S层,致力于为广大企业、政府和创新创业群体提供IT基础设施云服务。

云存储产品服务类型:IaaS层、PaaS层

云存储产品:云硬盘、云硬盘备份、对象存储服务、数据快递服务、数据传输加速、弹性文件服务

http://hwclouds/

9、 华云

无锡华云数据技术服务有限公司成立于2010年,是国内云计算基础设施运营商,专注于研发与运营商用云计算基础设施,提供基于云计算的IT解决方案与外包服务。2015年获得海通开元1亿美元的C轮融资。

云存储产品服务类型:PaaS层

云存储产品与CDN:对象存储、CDN

https://chinac/

10、坚果云

上海亦存网络科技有限公司创立于2011年,提供云存储服务,实现文件共享。

云存储产品服务类型:SaaS层

https://jianguoyun/

11、金山云

北京金山云网络技术有限公司(以下简称“金山云”)为金山软件旗下子公司,成立于2012年,是国内云计算服务提供商。

云存储产品服务层类型:IaaS层、PaaS层、SaaS层

云存储产品与CDN:对象存储、云硬盘、CDN、企业云盘

https://ksyun/

金山企业云盘:https://pan.ksyun/

12、开始云

开始云成立于2006年,中国企业文档管理解决方案提供商,自主研发了开始云文件平台、KASS企业文档管理系统、开始云文件盒子及KFS文档管理中间件四大核心产品。

产品:企业文档管理系统、文档管理中间件、开始云文件盒子、开始云SaaS平台

http://kass/

13、 联想云存储

联想云科技,隶属于联想集团,主要业务涉及云计算服务(包括云主机,云存储和云基础设施)、技术开发及技术外包等,其中云存储业务-联想企业网盘自2006年开始产品技术研发,至今运营10余年。

云存储产品服务类型:IaaS层、PaaS层、SaaS层

云存储产品:联想私有云网盘系统、联想企业网盘、联想网络分布式存储系统、联想服务器虚拟化

https://yun.lenovo/

14、七牛云

七牛云(上海七牛信息技术有限公司)成立于2011年,是国内企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

产品服务类型:IaaS层、PaaS层

云存储产品与CDN:对象存储、融合CDN

https://qiniu/

15、青云

北京优帆科技有限公司成立于2012年,专注于云计算领域。2017年6月获得10.8亿元D轮融资。

云存储产品:块存储、硬盘 Volume、Virtual SAN、NAS、QingStor 对象存储 、备份 Snapshot

https://qingcloud/

16、盛大云

盛大云隶属于上海盛大网络发展有限公司,是在整合盛大集团资源的基础上自主技术研发的公有云平台,2011年宣布开放公测。为中小企业、创业团队提供一揽子云计算服务。

云存储产品服务类型:IaaS层

http://grandcloud/

17、首都在线

北京首都在线科技股份有限公司(以下简称“首都在线”)成立于2005年,主营业务是为电商、游戏、金融、大数据、医疗、PaaS/SaaS等诸多行业提供高性能的云计算服务、IDC托管及IT增值、IT外包、通信集成等信息技术服务。公司2010年8月在新三板挂牌(股票代码430071)。

云存储产品与CDN:对象存储GSS、内容分发网络CDN

http://capitalonline/zh-cn/

18、 搜狐企业网盘

搜狐企业网盘是搜狐公司推出的一款云存储服务。采用软件即服务(SaaS)模式,致力于为广大企业用户打造集存储、备份、同步、共享为一体的云办公平台。

产品服务类型:SaaS层

https://pan.sohu/

19、数人云

数人云创始团队来自谷歌、红帽和惠普,数人云重点聚焦打造基于容器的轻量级PaaS平台, 2017年1月获云启资本、唯猎资本、洋源资本5000万A+轮融资。

产品服务类型:PaaS层

https://shurenyun/

20、 腾讯云

2014 年6 月腾讯云计算有限公司成立,致力于为用户提供云服务器、云数据库、DDoS防御等服务。

云存储产品与CDN:对象存储、文件存储(公测)、归档存储、存储网关(公测)、私有云存储、云硬盘、内容分发网络、动态加速网络(内测)、全球应用加速(内测)

https://qcloud/

21、 UCloud

UCloud (上海优刻得信息科技有限公司),是国内云计算服务平台,自主研发并提供计算资源、存储资源、网络资源等企业必需的基础IT架构服务,并深入了解互联网、移动互联网、传统企业不同场景下的业务需求,提供解决方案。

云存储产品与CDN:云硬盘UDisk、云分发UCDN、对象存储UFile、数据方舟UdataArk、归档存储UArchive、消息队列UMQ、开放式分发节点UODN

https://ucloud/

22、云创存储

南京云创大数据科技股份有限公司成立于2011年3月,从事大数据、云计算、云存储技术领域研发及产品销售。公司于2015年12月28日在新三板挂牌(股票代码:835305)

云存储产品服务类型:IaaS层、SaaS层

云存储产品:cStor云存储系统一体机、cStor云存储系统、minicloud安全办公私有云、cStor 6000系列磁盘阵列存储系统、云创网盘、IPSAN/MAS网络存储

http://cstor/

23、亿方云

杭州亿方云网络科技有限公司是创立于2013年,是国内的企业文件管理及协作SaaS服务提供商。公司并在2016年与阿里云达成战略合作。2016年11月获光速中国、经纬中国840万美元A+轮融资。

http://fangcloud/

24、燕麦云

深圳企业云科技股份有限公司(企业云科技)为用户提供数据资产保护,企业云科技通过对纸质文件与电子文件进行融合管控,为客户提供数据资产解决方案。

http://oatos/

25、网易蜂巢

网易蜂巢是杭州朗和科技有限公司旗下产品,是一个为开发团队打造的容器云平台,专注于提供云计算服务,以及性能监控、报警、日志采集等运维工具。

云存储产品与CDN:云硬盘、对象存储、CDN

https://c.163/

70

移动信息化研究中心联合T客汇携 第三届SaaS产业峰会(上海站) 强势来袭!

本界峰会诚邀SaaS创业老兵、资深投资人、激情创业者、最专业的行业分析师和最敏锐的媒体人一起探索,在“新经济+新模式+新机遇”的 十字路口,让SaaS产业胜之有道,填平那些年对SaaS揠苗助长的坑,谋求SaaS转型升级最佳方案。

数据发布

《中国SaaS产业洞察报告》

《CRM――实践的力量》

《2017麦达SaaS指数》

《在垂直行业的协同作业》

云财务、云存储、云HR、大数据……相关领域市场调研及用户实践研究报告,届时从优选择一组数据发布

产业解读

“互联网化的崛起 中国企业SaaS的实践”――移动信息化研究中心高级分析师 江涛

老兵洞察

“重塑企业与客户连接”―― 销售易创始人&CEO 史彦泽

“SaaS创业者的挑战与机会” ―― 易订货创始人&CEO 冯颉

……

扫码参会,8月18日我们在上海等你!

云计算存储产品详解 公司视频课程

img

姜谷雪

关注

云上存储产品主要有对象存储,块存储,网络文件系统(NAS),还有最赚钱的CDN,我们将针对这些主流产品,讲讲他们产品特点,有云上存储时候知道如何选型,当然我们是技术型作者也会简单讲讲实现思路,出于信息安全,不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统,我们也捎带说说存储祖师爷DFS。

Linux IO STACK

云计算本质就是单机计算能力的无限扩展,我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs,调度算法,块设备层,最终落盘:

(1)其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品

(2)VFS还有一个fuse文件系统,可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口,就可访问后端存储

(3)在设备层,通过扩展ISCSI网络协议,衍生出了块存储

存储产品架构流派

分层或平层:

如hbase,底层基于hdfs文件系统,hbase不用考虑replication,专注于自身领域问题 特点:大大降低开发成本,稳定性依赖底层存储,底层不稳定,上层遭殃。

竖井:

自己做replication,自己做副本recover,自己做写时recover master-slave体系架构

两层索引体系,解决lots of small file

第一层,master维护一个路由表,通过fileurl找到对应slave location(ip+port)

第二层,slave单机索引体系,找到具体的location,读出raw data DFS

特点:丰富类posix语意,特点Append-only存储,不支持pwrite

可能存在问题:

(1)Pb级别存储方案,非EB级别。 原因namenode集中式server,内存&qps瓶颈,bat体量公司需运维上百个集群

(2)默认三副本,成本高

(3)强一致写,慢节点问题

演进:

GFS2拆分了namenode,拆分成目录树,blockservice,外加ferdaration,但namespace集中式server缺陷依旧,同时切分image是要停服,水平扩展不是那么友好。

对象存储:

元数据管理

Blobstorage: blobid->[raw data]Metastore,aws s3又称为keymap,本质上是个kv系统。存储内容file_url->[blobid list]

I/O 路径

(1)httpserver收到muti-part form,收到固定大小raw data,切成K份等长条带

(2)条带做EC,生成(N-K)份编码块,共得到N份shard。现在的问题变成了这N份数据存哪

(3)客户端的代理继续向blobstorage申请一个全局的id,这个id代表了了后端实际node的地址,以及这个node管理的实际物理卷,我们的每个分片数据均等的存在这些物理卷上。

(4)分发写N份数据,满足安全副本数即可返回写成功,写失败的可延时EC方式修复

(5)httpserver将文件file及对应的分片列表以KV形式写入metastore。

特点:

基于http协议 ws服务,接口简单,put/get,延时高。 EB级别存储方案,适合云上产品形态。深度目录树变成两层目录结构(bucket+object)。

缺点:

posix语意接口太少,不提供append语意(其实是通过覆盖写提供),更别说随机写。

iscsi模型

与后端交互的的部分在内核实现,后端target解析iscsi协议并将请求映射到后端分布式存储

特点:

(1)绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统,而大多数主流文件系统的块大小是4KB,文件最小操作粒度是块,因此绝大多数的IO请求是4KB对齐的。

(2)强一致. 块设备必须提供强一致,即写返回后,能够读到写进去的数据。

(3)支持随机写,延时要低用户基于虚拟块设备构建文件系统(ext4),对于文件编辑操作很频繁,所以需要支持随机写。比NAS/Fuse类产品性能好,只hack块设备读写,上层dentry lookup还是走原来的IO path,没有像NAS/FUSE dentry的lookup发起多次rpc问题

(4)产品层面需要预先购买容量,扩容需要重新挂载,跟NAS比容易浪费空间

实现模型:

云盘逻辑卷按block切分,为了便于recover,按1G切分,第一层路由由blockManager管理,按volumeid+offset 映射到逻辑block,逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件(falloc,防止写过程中空间不够),称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上,很容易实现pwrite。当然也可以基于裸盘,在os看来是一个大文件,分割成不同的1G文件

IO路径:

块设备上层会有文件系统,经过io调度算法,合并io操作,isici协议发出的IO请求的都是对扇区LBA的操作,所以可以简单抽象成对于卷id加上偏移的操作,我们简单讲讲EBS(Elastic Block Store)层IO路径

(1)网络发出来的IO请求是针对volume+offerset操作,假定是个写请求

(2)通过blockManager查找到逻辑block

(3)在内存中找到block对应的物理地址(ip+port),block的replicationGroup

(4)使用业界通用复制链方式如raft协议向replicationGroup发送io请求,raft帮我们解决写时失败tuncate问题

(5)单节点接到IO请求,把LBA换算成真实的文件偏移,pwrite写下去

优化

a、可想而知,这种存储模型下,后端node会有大量的随机写,吞吐肯定不高,有很大的优化空间 可以通过类似LSM引擎方式,将随机写变成顺序写,读者可深入思考,本文不详细探讨了。

b、虚拟磁盘可以切条掉,相当于raid盘思路,单块盘的IO变成多多块盘,增大吞吐。

NAS

用户通过mount目录访问共享文件,mount点挂在的是一个NFS协议的文件系统,会通过tcp访问到NFS server。NFS server是一个代理,通过libcfs最终会访问到我们后端的存储系统。

后端存储系统

DS包含管理inode的metastore和datastore,metastore

我们充分吸取业界DFS缺点,解决Namenode集中式server瓶颈,充分考虑bigtable的各种优点。Metastore可基于分布式数据库(newsql),回想一下bigtable,一个用户的文件散落在多个tabletserver上,允许用户跨tabletserver rename操作,所以需要分布式事务完成上述保证,出于对DFS改进,我们把目录树持久化模仿linux fs dentry管理,映射规则如下两张表,dentry表和inode表,dentry表描述目录树,inode表描述文件block列表及atime,mtime,uid,gid等源信息,一般来讲硬链够用,该场景下dentry可以多份,共同指向一个inode。 dentry通过外健关联到inode表

比如lookup 子节点

SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID

datastore

特点:要求提供随机写,所以跟块存储EBS设计思路是一样的,大文件切块,按块组织,dataserver上有真实的物理block文件,提供pwrite操作。

特点

弹性容量,不限容量,多机挂载并行读写,IO线性增长,支持随机写比块存储优势在于用多少花多少,不需要提前申请容量,真弹性

缺点

vfs层 dentry lookup每个层级目录会发起rpc,延时高。

总结

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP