网站性能检测评分
注:本网站页面html检测工具扫描网站中存在的基本问题,仅供参考。
云存储管理方案
中国的企业级云存储魔力象限是否有你?不光有阿里与腾讯 企业视频课程
Seagate和IDC一项新研究表明,到2025年,全球数据量将会从2016年的16 ZB上升至163ZB,数据量相当于查看整个Netflix目录4.89亿次。当前数据呈现爆炸式增长的态势,数据存储面临着新的挑战。
企业级存储的发展经历了三个阶段。
第一阶段是基于FTP的文件共享需求,本阶段基于局域网的文件共享,通过FTP类工具对企业文档进行梳理、归类、上传、下载等。
第二阶段基于互联网的存储服务(以NAS等开启的专用存储服务),本阶段企业对数据、文档的独立运维意识觉醒,需要对数据、文档进行独立的集中管理,并通过互联网方式获得更高效率的对数据、文档利用,同时需要释放宽带、提高性能和降低成本。
第三阶段是基于云的方式,获取性更强、更高效的数据访问模式。本阶段以邮箱为切入点的企业网盘,初步实现文档的简单共享、协作问题。随后企业数据快速爆炸,新技术快速迭代,企业对数据、文档管理诉求更为复杂,对数据复用几率以及高并发使用情况大幅提升,云存储不仅实现数据计算、存储、处理的大吞吐问题,同时将数据存储与业务融合,极大地提升了企业数据、文档在互联网下的访问效率和安全性。
目前国内基于IaaS层、PaaS层、SaaS层的企业级云存储厂商已经有了多年的发展,中国云存储市场现在发展得怎么样了?用户有什么样的需求?
基于此,移动化信息研究中心将于近期推出完整版 《企业级云存储市场用户实践研究报告》 ,对国内企业级云存储的市场现状、用户特征、用户实践等方面进行深度研究。敬请期待!
T客汇梳理了近期国内比较活跃的25家企业级云存储品牌,排名按照产品首写字母排列:
1、 阿里云
阿里云创立于2009年,是云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。目前已经在全球14个地域设立有数十个飞天数据中心,均部署阿里云自研的飞天操作系统,并提供中、英、日三种语言支持。
云存储服务类型:IaaS层、PaaS层
云存储产品与CDN:对象存储OSS、块存储、文件存储NAS、表格存储TableStore、归档存储OAS、云存储网关、闪电立方、混合云阵列、PCDN、CDN
官网:https://aliyun/
2、爱龙祥云
爱龙祥云科技专注于研发以及运营云服务基础设施服务平台,提供基于云计算的IT解决方案与客户服务。
云存储服务类型:IaaS层
产品:存储空间、流入量、流出量、数据请求
https://cloud-88/Account/LogOn
3、爱数
上海爱数信息技术股份有限公司注册于2006年,是一家智能数据管理、数据备份容灾整体解决方案提供商,着眼于企业最核心的资产:数据,并从基础设施层、数据应用层和数据分析层三个维度出发,帮助客户解决CAMS趋势下的数据管理需求。
云存储服务类型:SaaS层
产品:AnyShare文档云、AnyStorage
https://eisoo/
4、百度云
百度云是百度提供的公有云平台,于2015年正式开放运营。2016年,百度正式对外发布了“云计算+大数据+人工智能“三位一体的云计算战略。百度云推出了40余款云计算产品,天算、天像、天工三大智能平台,分别提供智能大数据、智能多媒体、智能物联网服务。
云存储服务类型:IaaS层、PaaS层、SaaS层
云存储产品与CDN:对象存储BOS、云磁盘CDS、内容分发网络CDN、存储网关BSG、企业网盘
https://cloud.baidu/
企业网盘:https://eyun.baidu/enterprise/index
5、 DOCQ
DOCQ 是武汉织云软件有限公司开发的一款在线办公协作软件。支持在线编辑 Word 格式,Excel 格式,PPT 格式和 PDF 格式。在线编辑后可以生成链接分享给其他人,对于重要的文档文件在分享时还增加了添加密码的功能。
http://docq/
6、多备份
多备份是深圳木浪科技旗下的全球化数据保护服务品牌,由IDG和极客帮联合投资。提供数据加密、备份保护和恢复迁移服务。
https://dbfen/
7、够快科技
上海够快网络科技股份有限公司成立于2012年4月,致力于为企业提供文档管理系统,云存储解决方案和产品服务。2016年1月,够快科技成功登陆新三板。
产品服务类型:SaaS
http://gokuai/
8、华为云
华为云贯彻华为公司"云、管、端"的战略方针,聚焦I层,使能P层,聚合S层,致力于为广大企业、政府和创新创业群体提供IT基础设施云服务。
云存储产品服务类型:IaaS层、PaaS层
云存储产品:云硬盘、云硬盘备份、对象存储服务、数据快递服务、数据传输加速、弹性文件服务
http://hwclouds/
9、 华云
无锡华云数据技术服务有限公司成立于2010年,是国内云计算基础设施运营商,专注于研发与运营商用云计算基础设施,提供基于云计算的IT解决方案与外包服务。2015年获得海通开元1亿美元的C轮融资。
云存储产品服务类型:PaaS层
云存储产品与CDN:对象存储、CDN
https://chinac/
10、坚果云
上海亦存网络科技有限公司创立于2011年,提供云存储服务,实现文件共享。
云存储产品服务类型:SaaS层
https://jianguoyun/
11、金山云
北京金山云网络技术有限公司(以下简称“金山云”)为金山软件旗下子公司,成立于2012年,是国内云计算服务提供商。
云存储产品服务层类型:IaaS层、PaaS层、SaaS层
云存储产品与CDN:对象存储、云硬盘、CDN、企业云盘
https://ksyun/
金山企业云盘:https://pan.ksyun/
12、开始云
开始云成立于2006年,中国企业文档管理解决方案提供商,自主研发了开始云文件平台、KASS企业文档管理系统、开始云文件盒子及KFS文档管理中间件四大核心产品。
产品:企业文档管理系统、文档管理中间件、开始云文件盒子、开始云SaaS平台
http://kass/
13、 联想云存储
联想云科技,隶属于联想集团,主要业务涉及云计算服务(包括云主机,云存储和云基础设施)、技术开发及技术外包等,其中云存储业务-联想企业网盘自2006年开始产品技术研发,至今运营10余年。
云存储产品服务类型:IaaS层、PaaS层、SaaS层
云存储产品:联想私有云网盘系统、联想企业网盘、联想网络分布式存储系统、联想服务器虚拟化
https://yun.lenovo/
14、七牛云
七牛云(上海七牛信息技术有限公司)成立于2011年,是国内企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。
产品服务类型:IaaS层、PaaS层
云存储产品与CDN:对象存储、融合CDN
https://qiniu/
15、青云
北京优帆科技有限公司成立于2012年,专注于云计算领域。2017年6月获得10.8亿元D轮融资。
云存储产品:块存储、硬盘 Volume、Virtual SAN、NAS、QingStor 对象存储 、备份 Snapshot
https://qingcloud/
16、盛大云
盛大云隶属于上海盛大网络发展有限公司,是在整合盛大集团资源的基础上自主技术研发的公有云平台,2011年宣布开放公测。为中小企业、创业团队提供一揽子云计算服务。
云存储产品服务类型:IaaS层
http://grandcloud/
17、首都在线
北京首都在线科技股份有限公司(以下简称“首都在线”)成立于2005年,主营业务是为电商、游戏、金融、大数据、医疗、PaaS/SaaS等诸多行业提供高性能的云计算服务、IDC托管及IT增值、IT外包、通信集成等信息技术服务。公司2010年8月在新三板挂牌(股票代码430071)。
云存储产品与CDN:对象存储GSS、内容分发网络CDN
http://capitalonline/zh-cn/
18、 搜狐企业网盘
搜狐企业网盘是搜狐公司推出的一款云存储服务。采用软件即服务(SaaS)模式,致力于为广大企业用户打造集存储、备份、同步、共享为一体的云办公平台。
产品服务类型:SaaS层
https://pan.sohu/
19、数人云
数人云创始团队来自谷歌、红帽和惠普,数人云重点聚焦打造基于容器的轻量级PaaS平台, 2017年1月获云启资本、唯猎资本、洋源资本5000万A+轮融资。
产品服务类型:PaaS层
https://shurenyun/
20、 腾讯云
2014 年6 月腾讯云计算有限公司成立,致力于为用户提供云服务器、云数据库、DDoS防御等服务。
云存储产品与CDN:对象存储、文件存储(公测)、归档存储、存储网关(公测)、私有云存储、云硬盘、内容分发网络、动态加速网络(内测)、全球应用加速(内测)
https://qcloud/
21、 UCloud
UCloud (上海优刻得信息科技有限公司),是国内云计算服务平台,自主研发并提供计算资源、存储资源、网络资源等企业必需的基础IT架构服务,并深入了解互联网、移动互联网、传统企业不同场景下的业务需求,提供解决方案。
云存储产品与CDN:云硬盘UDisk、云分发UCDN、对象存储UFile、数据方舟UdataArk、归档存储UArchive、消息队列UMQ、开放式分发节点UODN
https://ucloud/
22、云创存储
南京云创大数据科技股份有限公司成立于2011年3月,从事大数据、云计算、云存储技术领域研发及产品销售。公司于2015年12月28日在新三板挂牌(股票代码:835305)
云存储产品服务类型:IaaS层、SaaS层
云存储产品:cStor云存储系统一体机、cStor云存储系统、minicloud安全办公私有云、cStor 6000系列磁盘阵列存储系统、云创网盘、IPSAN/MAS网络存储
http://cstor/
23、亿方云
杭州亿方云网络科技有限公司是创立于2013年,是国内的企业文件管理及协作SaaS服务提供商。公司并在2016年与阿里云达成战略合作。2016年11月获光速中国、经纬中国840万美元A+轮融资。
http://fangcloud/
24、燕麦云
深圳企业云科技股份有限公司(企业云科技)为用户提供数据资产保护,企业云科技通过对纸质文件与电子文件进行融合管控,为客户提供数据资产解决方案。
http://oatos/
25、网易蜂巢
网易蜂巢是杭州朗和科技有限公司旗下产品,是一个为开发团队打造的容器云平台,专注于提供云计算服务,以及性能监控、报警、日志采集等运维工具。
云存储产品与CDN:云硬盘、对象存储、CDN
https://c.163/
70
移动信息化研究中心联合T客汇携 第三届SaaS产业峰会(上海站) 强势来袭!
本界峰会诚邀SaaS创业老兵、资深投资人、激情创业者、最专业的行业分析师和最敏锐的媒体人一起探索,在“新经济+新模式+新机遇”的 十字路口,让SaaS产业胜之有道,填平那些年对SaaS揠苗助长的坑,谋求SaaS转型升级最佳方案。
数据发布
《中国SaaS产业洞察报告》
《CRM――实践的力量》
《2017麦达SaaS指数》
《在垂直行业的协同作业》
云财务、云存储、云HR、大数据……相关领域市场调研及用户实践研究报告,届时从优选择一组数据发布
产业解读
“互联网化的崛起 中国企业SaaS的实践”――移动信息化研究中心高级分析师 江涛
老兵洞察
“重塑企业与客户连接”―― 销售易创始人&CEO 史彦泽
“SaaS创业者的挑战与机会” ―― 易订货创始人&CEO 冯颉
……
扫码参会,8月18日我们在上海等你!
云计算存储产品详解 行业视频课程
云上存储产品主要有对象存储,块存储,网络文件系统(NAS),还有最赚钱的CDN,我们将针对这些主流产品,讲讲他们产品特点,有云上存储时候知道如何选型,当然我们是技术型作者也会简单讲讲实现思路,出于信息安全,不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统,我们也捎带说说存储祖师爷DFS。
Linux IO STACK
云计算本质就是单机计算能力的无限扩展,我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs,调度算法,块设备层,最终落盘:
(1)其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品
(2)VFS还有一个fuse文件系统,可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口,就可访问后端存储
(3)在设备层,通过扩展ISCSI网络协议,衍生出了块存储
存储产品架构流派
分层或平层:
如hbase,底层基于hdfs文件系统,hbase不用考虑replication,专注于自身领域问题 特点:大大降低开发成本,稳定性依赖底层存储,底层不稳定,上层遭殃。
竖井:
自己做replication,自己做副本recover,自己做写时recover master-slave体系架构
两层索引体系,解决lots of small file
第一层,master维护一个路由表,通过fileurl找到对应slave location(ip+port)
第二层,slave单机索引体系,找到具体的location,读出raw data DFS
特点:丰富类posix语意,特点Append-only存储,不支持pwrite
可能存在问题:
(1)Pb级别存储方案,非EB级别。 原因namenode集中式server,内存&qps瓶颈,bat体量公司需运维上百个集群
(2)默认三副本,成本高
(3)强一致写,慢节点问题
演进:
GFS2拆分了namenode,拆分成目录树,blockservice,外加ferdaration,但namespace集中式server缺陷依旧,同时切分image是要停服,水平扩展不是那么友好。
对象存储:
元数据管理
Blobstorage: blobid->[raw data]Metastore,aws s3又称为keymap,本质上是个kv系统。存储内容file_url->[blobid list]
I/O 路径
(1)httpserver收到muti-part form,收到固定大小raw data,切成K份等长条带
(2)条带做EC,生成(N-K)份编码块,共得到N份shard。现在的问题变成了这N份数据存哪
(3)客户端的代理继续向blobstorage申请一个全局的id,这个id代表了了后端实际node的地址,以及这个node管理的实际物理卷,我们的每个分片数据均等的存在这些物理卷上。
(4)分发写N份数据,满足安全副本数即可返回写成功,写失败的可延时EC方式修复
(5)httpserver将文件file及对应的分片列表以KV形式写入metastore。
特点:
基于http协议 ws服务,接口简单,put/get,延时高。 EB级别存储方案,适合云上产品形态。深度目录树变成两层目录结构(bucket+object)。
缺点:
posix语意接口太少,不提供append语意(其实是通过覆盖写提供),更别说随机写。
iscsi模型
与后端交互的的部分在内核实现,后端target解析iscsi协议并将请求映射到后端分布式存储
特点:
(1)绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统,而大多数主流文件系统的块大小是4KB,文件最小操作粒度是块,因此绝大多数的IO请求是4KB对齐的。
(2)强一致. 块设备必须提供强一致,即写返回后,能够读到写进去的数据。
(3)支持随机写,延时要低用户基于虚拟块设备构建文件系统(ext4),对于文件编辑操作很频繁,所以需要支持随机写。比NAS/Fuse类产品性能好,只hack块设备读写,上层dentry lookup还是走原来的IO path,没有像NAS/FUSE dentry的lookup发起多次rpc问题
(4)产品层面需要预先购买容量,扩容需要重新挂载,跟NAS比容易浪费空间
实现模型:
云盘逻辑卷按block切分,为了便于recover,按1G切分,第一层路由由blockManager管理,按volumeid+offset 映射到逻辑block,逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件(falloc,防止写过程中空间不够),称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上,很容易实现pwrite。当然也可以基于裸盘,在os看来是一个大文件,分割成不同的1G文件
IO路径:
块设备上层会有文件系统,经过io调度算法,合并io操作,isici协议发出的IO请求的都是对扇区LBA的操作,所以可以简单抽象成对于卷id加上偏移的操作,我们简单讲讲EBS(Elastic Block Store)层IO路径
(1)网络发出来的IO请求是针对volume+offerset操作,假定是个写请求
(2)通过blockManager查找到逻辑block
(3)在内存中找到block对应的物理地址(ip+port),block的replicationGroup
(4)使用业界通用复制链方式如raft协议向replicationGroup发送io请求,raft帮我们解决写时失败tuncate问题
(5)单节点接到IO请求,把LBA换算成真实的文件偏移,pwrite写下去
优化
a、可想而知,这种存储模型下,后端node会有大量的随机写,吞吐肯定不高,有很大的优化空间 可以通过类似LSM引擎方式,将随机写变成顺序写,读者可深入思考,本文不详细探讨了。
b、虚拟磁盘可以切条掉,相当于raid盘思路,单块盘的IO变成多多块盘,增大吞吐。
NAS
用户通过mount目录访问共享文件,mount点挂在的是一个NFS协议的文件系统,会通过tcp访问到NFS server。NFS server是一个代理,通过libcfs最终会访问到我们后端的存储系统。
后端存储系统
DS包含管理inode的metastore和datastore,metastore
我们充分吸取业界DFS缺点,解决Namenode集中式server瓶颈,充分考虑bigtable的各种优点。Metastore可基于分布式数据库(newsql),回想一下bigtable,一个用户的文件散落在多个tabletserver上,允许用户跨tabletserver rename操作,所以需要分布式事务完成上述保证,出于对DFS改进,我们把目录树持久化模仿linux fs dentry管理,映射规则如下两张表,dentry表和inode表,dentry表描述目录树,inode表描述文件block列表及atime,mtime,uid,gid等源信息,一般来讲硬链够用,该场景下dentry可以多份,共同指向一个inode。 dentry通过外健关联到inode表
比如lookup 子节点
SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID
datastore
特点:要求提供随机写,所以跟块存储EBS设计思路是一样的,大文件切块,按块组织,dataserver上有真实的物理block文件,提供pwrite操作。
特点
弹性容量,不限容量,多机挂载并行读写,IO线性增长,支持随机写比块存储优势在于用多少花多少,不需要提前申请容量,真弹性
缺点
vfs层 dentry lookup每个层级目录会发起rpc,延时高。
总结
如何在树莓派上搭建私有云存储 营销视频课程
本篇的旨在最全面地介绍搭建网盘的整个过程,让没有Linux基础的小白们少走弯路,因此细节上多有赘述,老司机们请无视。最近国内的网盘们一个接一个地倒下,相信很多人不想忍受某网盘的限速,大家对私有云的需求越来越高。最简单和稳妥的解决办法当然还是购买群晖这样高性能、多功能的NAS,但动辄几千元的售价还是让许多人望而却步,市面上的私有云盘软件有诸如可道云、Nextcloud/ownCloud、Seafile等,这里IT之家来介绍如何用一块树莓派3B开发板搭建私有云存储。
先介绍一下本篇的主角——可道云
KodExplorer可道云,原名芒果云,是基于Web技术的私有云和在线文档管理解决方案,具有以下特点:
轻量易部署适用性强,应用场景多高颜值、可定制
在体验了各家网盘后笔者选择了可道云,主要是第一眼就被他近似于Windows的操作界面吸引了,可道云不需要数据库,足够轻量,搭建简单,毕竟小小的树莓派机能实在是有限。对比ownCloud,可道云在树莓派上的性能表现要好太多。但也有像无移动客户端支持、同步不便、移动端网页版存在一些问题等不足。
aria2
aria2被众多网友视为下载神器,相信不少朋友都接触过,它是一款开源免费跨Win、Mac、Linux平台且不限速的多线程下载软件,具有速度快、体积小、性能强劲等特点。aria2支持HTTP / FTP / BT / Magnet磁力链接等类型的文件下载。
准备
树莓派3B内存卡硬盘公网IP域名
为树莓派安装系统并启动登录
先去树莓派官网下载系统镜像
点Download Zip下载压缩包,下载完成后解压,得到img镜像文件。
下载镜像烧录工具Win32DiskImager v0.9.zip并安装。
使用读卡器将内存卡连接电脑,运行Win32diskimager。
映像文件选择刚下载的img文件,设备选择内存卡盘符,然后选择写入,就开始安装系统了,安装完成后会弹出完成对话框。安装完成后在Windows系统看到内存卡只有74MB这是正常的,Windows看不到Linux下的分区。
然后在内存卡根目录下新建文件名为ssh的空白文件(没有后缀名),这样就能开启SSH服务登陆树莓派了。
将内存卡插入树莓派,用网线连接树莓派网口和路由器lan口,然后接上电源线。树莓派就开机了!
登陆路由器后台查看树莓派的内网IP
可以看到这里树莓派获取到的IP地址为192.168.2.6,记住这个地址
下载并安装PuTTY,安装完成后运行PuTTY。
将电脑和树莓派置于同一局域网,在主机名称中输入192.168.2.6,端口默认的22就可以,然后点击打开。这时会弹出安全警告,点是即可;之后输入用户名:pi;密码:raspberry(输入时密码不可见)就成功登陆树莓派了。
域名
大家可以在阿里云注册一个喜欢的域名,部分域名一年也就几块钱。至此准备工作就完成了。
搭建可道云
PuTTY登陆后为root用户设置密码,输入(PuTTY中单击鼠标右键粘贴):
sudo passwd root
会提示输入密码,然后确认输入密码(输入时密码不可见)。
输入如下命令就可切换到root用户:
su
我们先解除树莓派对root用户直接登陆的限制,编辑sshd_config文件:
sudo nano /etc/ssh/sshd_config
按Ctrl+W搜索PermitRootLogin,删除前面的#并把without-password改为yes:
PermitRootLogin yes
按Ctrl+O保存文件,Ctrl + X退出编辑然后重启树莓派:
reboot
安装Apache+PHP
使用root用户登录,先更新一下安装源:
sudo apt-get update
安装apache2和PHP:
sudo apt-get install apache2 php7.0 php7.0-curl php7.0-mbstring php7.0-gd
这时访问树莓派的IP就可以看到apache2的默认页了。
挂载硬盘
树莓派挂载NTFS硬盘默认是只读文件系统,我们可以通过其它工具实现,安装ntfs-3g:
sudo apt-get install ntfs-3gmodprobe fuse
接下来我们创建挂载点,我选择的挂载点在/media/pi/mo文件夹:
sudo mkdir /media/pi/mo
查看系统当前挂载的硬盘:
fdisk -l
我们会看到最下面有如下信息:
Device Boot Start End Sectors Size Id Type/dev/mmcblk0p1 8192 93236 85045 41.5M c W95 FAT32 (LBA)/dev/mmcblk0p2 94208 62521343 62427136 29.8G 83 LinuxDisk /dev/sda: 464.8 GiB, 3899024998 bytes, 937766584 sectorsUnits: sectors of 1 * 512 = 512 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisklabel type: dosDisk identifier: 0xa7cf32d1Device Boot Start End Sectors Size Id Type/dev/sda1 2048 334438655 937766584 464.8G 7 HPFS/NTFS/exFAT
其中/dev/sda1为这块硬盘的分区信息。下面我们就以Apache的默认用户www-data来挂载硬盘,输入如下命令来查看用户身份:
sudo -u www-data id
显示信息如下:
uid=33(www-data) gid=33(www-data) groups=33(www-data)
然后让硬盘能够自动挂载,编辑/etc/fstab:
sudo nano /etc/fstab
将如下内容添加到文件最后一行:
/dev/sda1 /media/pi/mo ntfs uid=33,gid=33,noexec,umask=007 0 0
这里uid和gid为用户和组,也就是上面我们查看到的信息;umask表示拒绝的权限,其中第一个数字为0。表示不拒绝任何权限,即可读、写、执行,第二、三个数字分别代表用户组和其他用户。按Ctrl+O保存文件,然后Ctrl + X退出编辑,重启后生效:
reboot
配置可道云
下载并解压可道云
cd /media/pi/mo/kodwget http://static.kodcloud/update/download/kodexplorer4.25.zipunzip kodexplorer4.25.zipchmod -Rf 777 ./*
配置apache:
nano /etc/apache2/sites-available/kod.conf
粘贴如下内容:
注:这里将kod.wumo替换成你自己的用来访问云盘的域名。重启apache2:
sudo service apache2 restart
解析域名
我们先在路由器上配置端口转发,进入路由器管理后台,找到端口转发/端口映射这项,以我手里这台刷了老毛子的斐讯为例:服务名称随意;端口范围我这里填58080(图上是80,别管它),这个端口是可以任意的,它是我们通过域名访问树莓派上的web服务时使用的端口,你可以用其他端口但尽量避开80、443、8080这些端口,因为运营商会封禁这些web服务默认端口;内网IP:树莓派的内网IP;本地端口:80;这样我们就把对路由器58080端口的访问转移到树莓派的80端口了。这里我们也为aria2配置一条转发规则:将路由器的6800端口转发到树莓派的6800端口。
家庭宽带IP会经常改变,这里就需要动态域名解析。动态域名的功能大多数路由器都有,如果你不会的话可以参考这篇文章用WinScp将softether(提取码:uqgx)上传到树莓派根目录并解压:
tar -zxvf softether-vpnserver-v4.25-9656-rtm-2018.01.15-linux-arm_eabi-32bit.tar.gzcd /vpnserver./.install.sh./vpnserver start–Simplified Chinese
然后设置密码:
./vpncmd
输入1,后按三次回车,然后输入:
ServerPasswordSet
按照提示设置密码,然后下载并安装Windows端管理工具(在上面的网盘链接里),点击“新设置”添加连接文件。主机名填树莓派内网IP,端口:443,密码:你刚才设置的密码。
确定后选择“远程访问vpnserver”,然后一路确定,你就能看到分配到的动态解析的域名了,
记下这个域名,我的域名是阿里云注册的,进入阿里云控制台>我的资源>云解析DNS>你的域名,选择添加解析,
记录类型:CNAME;主机记录:配置apache时填写的域名(上文中我填的是kod);记录值:动态DNS分配的域名。
至此我们的私有云就搭建完成了!用浏览器访问http://你的域名:转发到树莓派的端口号就可以看到我们搭建的云盘了。效果如下:
本文就是用可道云内置的MD编辑器写的。
配置Aria2
这里aria2的配置参考这篇文章。
安装Aria2
sudo apt-get install aria2
配置Aria2在/etc目录下创建aria2目录用来存放配置文件:
sudo mkdir /etc/aria2
创建空白的aria2.session文件:
sudo touch /etc/aria2/aria2.session
创建配置文件:
sudo nano /etc/aria2/aria2.conf
在该文件中输入以下内容:
# 文件的保存路径(可使用绝对路径或相对路径), 默认: 当前启动位置dir=/media/pi/mo/kod/data/User/admin/home/download# 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本, 默认:16Mdisk-cache=32M# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc# falloc和trunc则需要文件系统和内核支持# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项file-allocation=none# 断点续传continue=true## 下载连接相关 ### 最大同时下载任务数, 运行时可修改, 默认:5max-concurrent-downloads=10# 同一服务器连接数, 添加时可指定, 默认:1max-connection-per-server=5# 最小文件分片大小, 添加时可指定, 取值范围1M -1024M, 默认:20M# 假定size=10M, 文件为20MiB 则使用两个来源下载; 文件为15MiB 则使用一个来源下载min-split-size=10M# 单个任务最大线程数, 添加时可指定, 默认:5split=10# 整体下载速度限制, 运行时可修改, 默认:0#max-overall-download-limit=0# 单个任务下载速度限制, 默认:0#max-download-limit=0# 整体上传速度限制, 运行时可修改, 默认:0#max-overall-upload-limit=0# 单个任务上传速度限制, 默认:0#max-upload-limit=0# 禁用IPv6, 默认:falsedisable-ipv6=true## 进度保存相关 ### 定时保存会话, 0为退出时才保存, 需1.16.1以上版本, 默认:0#save-session-interval=60## RPC相关设置 ### 启用RPC, 默认:falseenable-rpc=true# 允许所有来源, 默认:falserpc-allow-origin-all=true# 允许非外部访问, 默认:falserpc-listen-all=true# 事件轮询方式, 取值:[epoll, kqueue, port, poll, select], 不同系统默认值不同#event-poll=select# RPC监听端口, 端口被占用时可以修改, 默认:6800#rpc-listen-port=6800# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项rpc-secret=123456789# 设置的RPC访问用户名, 此选项新版已废弃, 建议改用 --rpc-secret 选项#rpc-user=
注1:rpc-secret=123456789,改为你自己的密码;
注2:aria2默认下载目录笔者放在了可道云管理员文件目录下的download文件夹,下载完成后打开可道云即可看到。
启动aria2
这里我们用www-data用户来运行aria2,先赋予配置目录可执行权限:
sudo chown -R www-data:www-data /etc/aria2
以www-data用户运行aria2:
sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf
如果没有提示任何错误信息,那就按Ctrl+C停止上面的语句,以Daemon的形式,转为后台运行:
sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf -D
做成系统服务:
sudo nano /etc/init.d/aria2c
粘贴以下内容:
#!/bin/sh### BEGIN INIT INFO# Provides: aria2# Required-Start: $remote_fs $network# Required-Stop: $remote_fs $network# Default-Start: 2 3 4 5# Default-Stop: 0 1 6# Short-Description: Aria2 Downloader### END INIT INFO case "$1" instart) echo "Starting aria2c ..." sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf -D;;stop) echo "Shutting down aria2c ..." killall aria2c;;restart) killall aria2c sleep 3 sudo -u www-data aria2c --conf-path=/etc/aria2/aria2.conf -D;;esacexit
然后设置这个文件的权限:
sudo chmod 755 /etc/init.d/aria2c
测试服务是否可以启动:
sudo service aria2c start
添加aria2c服务自动运行:
sudo update-rc.d aria2c defaults
安装aria的web管理界面这里我们选择aria2-NG作为web管理界面创建目录:
mkdir /var/www/html/aria2
下载并解压aria2-NG:
cd /var/www/html/aria2 && wget https://github/mayswind/AriaNg/releases/download/0.3.0/aria-ng-0.3.0.zipunzip aria-ng-0.3.0.zip
配置apache:
nano /etc/apache2/sites-available/aria2.conf
输入以下内容:
注:和上文一样把aria2.wumo替换成你用来访问aria2管理界面的域名。
ln -s /etc/apache2/sites-available/aria2.conf /etc/apache2/site...
中国的企业级云存储魔力象限是否有你?不光有阿里与腾讯 企业视频课程
Seagate和IDC一项新研究表明,到2025年,全球数据量将会从2016年的16 ZB上升至163ZB,数据量相当于查看整个Netflix目录4.89亿次。当前数据呈现爆炸式增长的态势,数据存储面临着新的挑战。
企业级存储的发展经历了三个阶段。
第一阶段是基于FTP的文件共享需求,本阶段基于局域网的文件共享,通过FTP类工具对企业文档进行梳理、归类、上传、下载等。
第二阶段基于互联网的存储服务(以NAS等开启的专用存储服务),本阶段企业对数据、文档的独立运维意识觉醒,需要对数据、文档进行独立的集中管理,并通过互联网方式获得更高效率的对数据、文档利用,同时需要释放宽带、提高性能和降低成本。
第三阶段是基于云的方式,获取性更强、更高效的数据访问模式。本阶段以邮箱为切入点的企业网盘,初步实现文档的简单共享、协作问题。随后企业数据快速爆炸,新技术快速迭代,企业对数据、文档管理诉求更为复杂,对数据复用几率以及高并发使用情况大幅提升,云存储不仅实现数据计算、存储、处理的大吞吐问题,同时将数据存储与业务融合,极大地提升了企业数据、文档在互联网下的访问效率和安全性。
目前国内基于IaaS层、PaaS层、SaaS层的企业级云存储厂商已经有了多年的发展,中国云存储市场现在发展得怎么样了?用户有什么样的需求?
基于此,移动化信息研究中心将于近期推出完整版 《企业级云存储市场用户实践研究报告》 ,对国内企业级云存储的市场现状、用户特征、用户实践等方面进行深度研究。敬请期待!
T客汇梳理了近期国内比较活跃的25家企业级云存储品牌,排名按照产品首写字母排列:
1、 阿里云
阿里云创立于2009年,是云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。目前已经在全球14个地域设立有数十个飞天数据中心,均部署阿里云自研的飞天操作系统,并提供中、英、日三种语言支持。
云存储服务类型:IaaS层、PaaS层
云存储产品与CDN:对象存储OSS、块存储、文件存储NAS、表格存储TableStore、归档存储OAS、云存储网关、闪电立方、混合云阵列、PCDN、CDN
官网:https://aliyun/
2、爱龙祥云
爱龙祥云科技专注于研发以及运营云服务基础设施服务平台,提供基于云计算的IT解决方案与客户服务。
云存储服务类型:IaaS层
产品:存储空间、流入量、流出量、数据请求
https://cloud-88/Account/LogOn
3、爱数
上海爱数信息技术股份有限公司注册于2006年,是一家智能数据管理、数据备份容灾整体解决方案提供商,着眼于企业最核心的资产:数据,并从基础设施层、数据应用层和数据分析层三个维度出发,帮助客户解决CAMS趋势下的数据管理需求。
云存储服务类型:SaaS层
产品:AnyShare文档云、AnyStorage
https://eisoo/
4、百度云
百度云是百度提供的公有云平台,于2015年正式开放运营。2016年,百度正式对外发布了“云计算+大数据+人工智能“三位一体的云计算战略。百度云推出了40余款云计算产品,天算、天像、天工三大智能平台,分别提供智能大数据、智能多媒体、智能物联网服务。
云存储服务类型:IaaS层、PaaS层、SaaS层
云存储产品与CDN:对象存储BOS、云磁盘CDS、内容分发网络CDN、存储网关BSG、企业网盘
https://cloud.baidu/
企业网盘:https://eyun.baidu/enterprise/index
5、 DOCQ
DOCQ 是武汉织云软件有限公司开发的一款在线办公协作软件。支持在线编辑 Word 格式,Excel 格式,PPT 格式和 PDF 格式。在线编辑后可以生成链接分享给其他人,对于重要的文档文件在分享时还增加了添加密码的功能。
http://docq/
6、多备份
多备份是深圳木浪科技旗下的全球化数据保护服务品牌,由IDG和极客帮联合投资。提供数据加密、备份保护和恢复迁移服务。
https://dbfen/
7、够快科技
上海够快网络科技股份有限公司成立于2012年4月,致力于为企业提供文档管理系统,云存储解决方案和产品服务。2016年1月,够快科技成功登陆新三板。
产品服务类型:SaaS
http://gokuai/
8、华为云
华为云贯彻华为公司"云、管、端"的战略方针,聚焦I层,使能P层,聚合S层,致力于为广大企业、政府和创新创业群体提供IT基础设施云服务。
云存储产品服务类型:IaaS层、PaaS层
云存储产品:云硬盘、云硬盘备份、对象存储服务、数据快递服务、数据传输加速、弹性文件服务
http://hwclouds/
9、 华云
无锡华云数据技术服务有限公司成立于2010年,是国内云计算基础设施运营商,专注于研发与运营商用云计算基础设施,提供基于云计算的IT解决方案与外包服务。2015年获得海通开元1亿美元的C轮融资。
云存储产品服务类型:PaaS层
云存储产品与CDN:对象存储、CDN
https://chinac/
10、坚果云
上海亦存网络科技有限公司创立于2011年,提供云存储服务,实现文件共享。
云存储产品服务类型:SaaS层
https://jianguoyun/
11、金山云
北京金山云网络技术有限公司(以下简称“金山云”)为金山软件旗下子公司,成立于2012年,是国内云计算服务提供商。
云存储产品服务层类型:IaaS层、PaaS层、SaaS层
云存储产品与CDN:对象存储、云硬盘、CDN、企业云盘
https://ksyun/
金山企业云盘:https://pan.ksyun/
12、开始云
开始云成立于2006年,中国企业文档管理解决方案提供商,自主研发了开始云文件平台、KASS企业文档管理系统、开始云文件盒子及KFS文档管理中间件四大核心产品。
产品:企业文档管理系统、文档管理中间件、开始云文件盒子、开始云SaaS平台
http://kass/
13、 联想云存储
联想云科技,隶属于联想集团,主要业务涉及云计算服务(包括云主机,云存储和云基础设施)、技术开发及技术外包等,其中云存储业务-联想企业网盘自2006年开始产品技术研发,至今运营10余年。
云存储产品服务类型:IaaS层、PaaS层、SaaS层
云存储产品:联想私有云网盘系统、联想企业网盘、联想网络分布式存储系统、联想服务器虚拟化
https://yun.lenovo/
14、七牛云
七牛云(上海七牛信息技术有限公司)成立于2011年,是国内企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。
产品服务类型:IaaS层、PaaS层
云存储产品与CDN:对象存储、融合CDN
https://qiniu/
15、青云
北京优帆科技有限公司成立于2012年,专注于云计算领域。2017年6月获得10.8亿元D轮融资。
云存储产品:块存储、硬盘 Volume、Virtual SAN、NAS、QingStor 对象存储 、备份 Snapshot
https://qingcloud/
16、盛大云
盛大云隶属于上海盛大网络发展有限公司,是在整合盛大集团资源的基础上自主技术研发的公有云平台,2011年宣布开放公测。为中小企业、创业团队提供一揽子云计算服务。
云存储产品服务类型:IaaS层
http://grandcloud/
17、首都在线
北京首都在线科技股份有限公司(以下简称“首都在线”)成立于2005年,主营业务是为电商、游戏、金融、大数据、医疗、PaaS/SaaS等诸多行业提供高性能的云计算服务、IDC托管及IT增值、IT外包、通信集成等信息技术服务。公司2010年8月在新三板挂牌(股票代码430071)。
云存储产品与CDN:对象存储GSS、内容分发网络CDN
http://capitalonline/zh-cn/
18、 搜狐企业网盘
搜狐企业网盘是搜狐公司推出的一款云存储服务。采用软件即服务(SaaS)模式,致力于为广大企业用户打造集存储、备份、同步、共享为一体的云办公平台。
产品服务类型:SaaS层
https://pan.sohu/
19、数人云
数人云创始团队来自谷歌、红帽和惠普,数人云重点聚焦打造基于容器的轻量级PaaS平台, 2017年1月获云启资本、唯猎资本、洋源资本5000万A+轮融资。
产品服务类型:PaaS层
https://shurenyun/
20、 腾讯云
2014 年6 月腾讯云计算有限公司成立,致力于为用户提供云服务器、云数据库、DDoS防御等服务。
云存储产品与CDN:对象存储、文件存储(公测)、归档存储、存储网关(公测)、私有云存储、云硬盘、内容分发网络、动态加速网络(内测)、全球应用加速(内测)
https://qcloud/
21、 UCloud
UCloud (上海优刻得信息科技有限公司),是国内云计算服务平台,自主研发并提供计算资源、存储资源、网络资源等企业必需的基础IT架构服务,并深入了解互联网、移动互联网、传统企业不同场景下的业务需求,提供解决方案。
云存储产品与CDN:云硬盘UDisk、云分发UCDN、对象存储UFile、数据方舟UdataArk、归档存储UArchive、消息队列UMQ、开放式分发节点UODN
https://ucloud/
22、云创存储
南京云创大数据科技股份有限公司成立于2011年3月,从事大数据、云计算、云存储技术领域研发及产品销售。公司于2015年12月28日在新三板挂牌(股票代码:835305)
云存储产品服务类型:IaaS层、SaaS层
云存储产品:cStor云存储系统一体机、cStor云存储系统、minicloud安全办公私有云、cStor 6000系列磁盘阵列存储系统、云创网盘、IPSAN/MAS网络存储
http://cstor/
23、亿方云
杭州亿方云网络科技有限公司是创立于2013年,是国内的企业文件管理及协作SaaS服务提供商。公司并在2016年与阿里云达成战略合作。2016年11月获光速中国、经纬中国840万美元A+轮融资。
http://fangcloud/
24、燕麦云
深圳企业云科技股份有限公司(企业云科技)为用户提供数据资产保护,企业云科技通过对纸质文件与电子文件进行融合管控,为客户提供数据资产解决方案。
http://oatos/
25、网易蜂巢
网易蜂巢是杭州朗和科技有限公司旗下产品,是一个为开发团队打造的容器云平台,专注于提供云计算服务,以及性能监控、报警、日志采集等运维工具。
云存储产品与CDN:云硬盘、对象存储、CDN
https://c.163/
70
移动信息化研究中心联合T客汇携 第三届SaaS产业峰会(上海站) 强势来袭!
本界峰会诚邀SaaS创业老兵、资深投资人、激情创业者、最专业的行业分析师和最敏锐的媒体人一起探索,在“新经济+新模式+新机遇”的 十字路口,让SaaS产业胜之有道,填平那些年对SaaS揠苗助长的坑,谋求SaaS转型升级最佳方案。
数据发布
《中国SaaS产业洞察报告》
《CRM――实践的力量》
《2017麦达SaaS指数》
《在垂直行业的协同作业》
云财务、云存储、云HR、大数据……相关领域市场调研及用户实践研究报告,届时从优选择一组数据发布
产业解读
“互联网化的崛起 中国企业SaaS的实践”――移动信息化研究中心高级分析师 江涛
老兵洞察
“重塑企业与客户连接”―― 销售易创始人&CEO 史彦泽
“SaaS创业者的挑战与机会” ―― 易订货创始人&CEO 冯颉
……
扫码参会,8月18日我们在上海等你!
云计算存储产品详解 公司视频课程
云上存储产品主要有对象存储,块存储,网络文件系统(NAS),还有最赚钱的CDN,我们将针对这些主流产品,讲讲他们产品特点,有云上存储时候知道如何选型,当然我们是技术型作者也会简单讲讲实现思路,出于信息安全,不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统,我们也捎带说说存储祖师爷DFS。
Linux IO STACK
云计算本质就是单机计算能力的无限扩展,我们先看看单机的文件及IO管理。linux操作系统一个IO操作要经由文件系统vfs,调度算法,块设备层,最终落盘:
(1)其中vfs层有具体的NFS/smbfs 支持网络协议派生出来NAS产品
(2)VFS还有一个fuse文件系统,可切换到用户态上下文。上层分布式存储只要适配了Libfuse接口,就可访问后端存储
(3)在设备层,通过扩展ISCSI网络协议,衍生出了块存储
存储产品架构流派
分层或平层:
如hbase,底层基于hdfs文件系统,hbase不用考虑replication,专注于自身领域问题 特点:大大降低开发成本,稳定性依赖底层存储,底层不稳定,上层遭殃。
竖井:
自己做replication,自己做副本recover,自己做写时recover master-slave体系架构
两层索引体系,解决lots of small file
第一层,master维护一个路由表,通过fileurl找到对应slave location(ip+port)
第二层,slave单机索引体系,找到具体的location,读出raw data DFS
特点:丰富类posix语意,特点Append-only存储,不支持pwrite
可能存在问题:
(1)Pb级别存储方案,非EB级别。 原因namenode集中式server,内存&qps瓶颈,bat体量公司需运维上百个集群
(2)默认三副本,成本高
(3)强一致写,慢节点问题
演进:
GFS2拆分了namenode,拆分成目录树,blockservice,外加ferdaration,但namespace集中式server缺陷依旧,同时切分image是要停服,水平扩展不是那么友好。
对象存储:
元数据管理
Blobstorage: blobid->[raw data]Metastore,aws s3又称为keymap,本质上是个kv系统。存储内容file_url->[blobid list]
I/O 路径
(1)httpserver收到muti-part form,收到固定大小raw data,切成K份等长条带
(2)条带做EC,生成(N-K)份编码块,共得到N份shard。现在的问题变成了这N份数据存哪
(3)客户端的代理继续向blobstorage申请一个全局的id,这个id代表了了后端实际node的地址,以及这个node管理的实际物理卷,我们的每个分片数据均等的存在这些物理卷上。
(4)分发写N份数据,满足安全副本数即可返回写成功,写失败的可延时EC方式修复
(5)httpserver将文件file及对应的分片列表以KV形式写入metastore。
特点:
基于http协议 ws服务,接口简单,put/get,延时高。 EB级别存储方案,适合云上产品形态。深度目录树变成两层目录结构(bucket+object)。
缺点:
posix语意接口太少,不提供append语意(其实是通过覆盖写提供),更别说随机写。
iscsi模型
与后端交互的的部分在内核实现,后端target解析iscsi协议并将请求映射到后端分布式存储
特点:
(1)绝大多数请求大小是4K对齐的blocksize. 块设备的使用一般上层文件系统,而大多数主流文件系统的块大小是4KB,文件最小操作粒度是块,因此绝大多数的IO请求是4KB对齐的。
(2)强一致. 块设备必须提供强一致,即写返回后,能够读到写进去的数据。
(3)支持随机写,延时要低用户基于虚拟块设备构建文件系统(ext4),对于文件编辑操作很频繁,所以需要支持随机写。比NAS/Fuse类产品性能好,只hack块设备读写,上层dentry lookup还是走原来的IO path,没有像NAS/FUSE dentry的lookup发起多次rpc问题
(4)产品层面需要预先购买容量,扩容需要重新挂载,跟NAS比容易浪费空间
实现模型:
云盘逻辑卷按block切分,为了便于recover,按1G切分,第一层路由由blockManager管理,按volumeid+offset 映射到逻辑block,逻辑block location在三台blockserver上。Blockserver预先创建一个1G文件(falloc,防止写过程中空间不够),称为物理block。对于逻辑卷这段区间所有的IO操作都会落到这个物理block文件上,很容易实现pwrite。当然也可以基于裸盘,在os看来是一个大文件,分割成不同的1G文件
IO路径:
块设备上层会有文件系统,经过io调度算法,合并io操作,isici协议发出的IO请求的都是对扇区LBA的操作,所以可以简单抽象成对于卷id加上偏移的操作,我们简单讲讲EBS(Elastic Block Store)层IO路径
(1)网络发出来的IO请求是针对volume+offerset操作,假定是个写请求
(2)通过blockManager查找到逻辑block
(3)在内存中找到block对应的物理地址(ip+port),block的replicationGroup
(4)使用业界通用复制链方式如raft协议向replicationGroup发送io请求,raft帮我们解决写时失败tuncate问题
(5)单节点接到IO请求,把LBA换算成真实的文件偏移,pwrite写下去
优化
a、可想而知,这种存储模型下,后端node会有大量的随机写,吞吐肯定不高,有很大的优化空间 可以通过类似LSM引擎方式,将随机写变成顺序写,读者可深入思考,本文不详细探讨了。
b、虚拟磁盘可以切条掉,相当于raid盘思路,单块盘的IO变成多多块盘,增大吞吐。
NAS
用户通过mount目录访问共享文件,mount点挂在的是一个NFS协议的文件系统,会通过tcp访问到NFS server。NFS server是一个代理,通过libcfs最终会访问到我们后端的存储系统。
后端存储系统
DS包含管理inode的metastore和datastore,metastore
我们充分吸取业界DFS缺点,解决Namenode集中式server瓶颈,充分考虑bigtable的各种优点。Metastore可基于分布式数据库(newsql),回想一下bigtable,一个用户的文件散落在多个tabletserver上,允许用户跨tabletserver rename操作,所以需要分布式事务完成上述保证,出于对DFS改进,我们把目录树持久化模仿linux fs dentry管理,映射规则如下两张表,dentry表和inode表,dentry表描述目录树,inode表描述文件block列表及atime,mtime,uid,gid等源信息,一般来讲硬链够用,该场景下dentry可以多份,共同指向一个inode。 dentry通过外健关联到inode表
比如lookup 子节点
SELECT i.* FROM Dentry d, Inode i WHERE d.PARENT_DID=$PARENT_ID
datastore
特点:要求提供随机写,所以跟块存储EBS设计思路是一样的,大文件切块,按块组织,dataserver上有真实的物理block文件,提供pwrite操作。
特点
弹性容量,不限容量,多机挂载并行读写,IO线性增长,支持随机写比块存储优势在于用多少花多少,不需要提前申请容量,真弹性
缺点
vfs层 dentry lookup每个层级目录会发起rpc,延时高。
总结