- ?
数据共享 | UCloud分布式文件存储UFS新品发布
廖忆安
展开
互联网飞速发展使各领域对数据存储及共享的需求与日俱增。IDC调查数据显示,未来全球数据将维持50%左右的增长率,到2020年全球数据总量将达到44ZB(十万亿亿字节)。那么问题来了:如此庞大的数据量该如何有效存储和利用呢?尤其是在大数据及分析、动画制作、web服务和企业工作目录等业务场景下,更需要搭建一套安全、便于扩容、高可靠、简单易用的文件共享存储系统。在此背景下,UCloud File System (UFS) 分布式文件存储应运而生。
三种存储形态对比
目前,独立的存储形态主要有三种:块存储、文件存储以及对象存储。
块存储就是一块一块的硬盘直接挂载在主机上,主要操作对象是磁盘。从存储架构的角度区分,块存储又分为DAS(Direct-Attached Storage,直连式存储)和SAN(Storage Area Network,存储区域网络)。块存储一般不会定义磁盘的创建和删除操作,协议更注重传输控制。
文件存储是指基于文件系统上的存储,主要操作对象是文件和文件夹。我们知道,文件系统由文件夹、子文件夹形成一个自上而下的文件结构。文件系统下的文件,用户可以通过操作系统中的应用程序进行读取、修改、保存等操作。从架构角度分析,文件存储提供一种NAS(Network Attached Storage,网络附属存储)架构,使得主机的文件系统不仅限于本地的文件系统,还可以连接基于局域网的共享文件系统。文件存储协议更注重接口灵活以及访问权限控制。
对象存储是面向对象/文件的海量互联网存储,它也可以直接被称为“云存储”,主要操作目标是对象。尽管对象是文件但已被封装,因此在对象存储系统里,不能直接打开/修改文件,但可以像ftp一样上传下载文件。与文件存储相比,没有目录树的概念,协议更注重简洁。
以下是三种存储形态和存储架构的示意图:
在PC时代,用户的数据大多以文件形式存在,数据共享也多以文件形式访问,比如常见的FTP服务、NFS服务、Samba共享,都是属于典型的文件存储。几十甚至上百个用户的文件存储、共享、访问都可以用NAS存储加以解决。因此,文件存储的广泛兼容性和易用性成为很多中小企业的不二之选。
UCloud File System (UFS) 分布式文件存储是一种主要面向UCloud云主机,提供简单、可扩展、高可靠的标准POSIX文件共享访问方式。实现存储空间在线灵活扩展的同时,也可实现多个计算节点访问同一个文件系统实例,极大提升存储空间的使用效率,降低存储成本。
分布式文件存储UFS的三种应用场景
◆ 负载均衡服务下的数据共享
一直以来,数据的存储效率和管理成本是困扰客户的难题之一。在负载均衡服务辅助下的多台云主机,可以共享同一UFS文件空间,不仅极大优化了数据存储效率,也实现了数据存储层的高可用。
◆ 日志汇总存储及分析
随着业务规模不断壮大,云主机的日志数据如何管理成为日常运维的重要议题。通过UFS文件共享服务,多台云主机上的日志数据可以实现快速的汇总存储及分析,能有效降低日志分析与信息统计的时间与空间成本,显著提升运维效率。
◆企业个人文件存储
在企业中,不同的组织、用户所对应的职责和权限不同,用户可以使用的数据也不同,这给数据运维人员的工作带来复杂性。UFS在为企业客户提供个人数据访问权限时,管理员可以通过指定目录和文件的属主及用户组,限制不同用户的访问权限方式,从而规范用户的使用行为,极大促进企业数据管理的合规性。
UFS分布式文件存储架构解析
UFS存储整体架构如下:
>>>接入集群:主要负责解析NFS协议并实现NFS语义。本模块还负责KV数据库模拟文件系统层级结构,与存储层交互完成数据读写定位。该模块为无状态设计,可平行拓展;
>>>文件索引:文件系统元数据,包括目录索引与文件索引;
>>>存储接入集群:此模块提供无状态的业务转发。
>>>Set集群:Set为不受可用区限制的分布式存储集群。每个Set内部都由控制节点(ChunkMaster)与若干存储节点(ChunkServer)组成。其中ChunkMaster负责整个Set中的集群管理、路由、Chunk调度、发起迁移/修复操作等。ChunkServer负责最终的IO存取,管理对应Chunk迁移/修复等操作。
Set集群架构如下图:
UFS分布式文件存储的优势
◆ 跨可用区共享挂载
UFS作为一个region级别的产品,可以将一个UFS实例在多个跨可用区间共享挂载,达到文件在跨可用区的多台主机间共享的目的。
◆ 容量与弹性
用户可根据需求随时扩容,扩容过程中不会影响IO读写请求。相较传统的文件存储,UFS极易扩展,能快速响应业务需求。同时,用户所需要管理的是适合业务需求的存储规模,极大提升存储效率、降低管理成本、优化IT架构。
◆ 安全可靠
UFS通过白名单访问机制限制实例访问权限,未在白名单内的云主机无法访问文件空间,提升了数据的安全性。同时,基于分布式的文件存储架构,支持3份冗余与强一致性,数据持久性可高达99.99999999%,是发展业务的可靠助手。
◆ 无缝集成
支持标准的NFSv3文件访问协议,提供标准POSIX文件系统语义,传统使用本地文件系统的应用程序可无缝迁移到UFS文件存储。
面对种类繁多的云存储产品,到底该如何选择?这是企业架构存储基础设施时不可避免的一个问题。这个问题不仅会影响企业前端业务场景,也会影响后端数据管理,其重要程度毋庸置疑。UFS分布式文件存储作为UCloud一款数据共享的重要产品,不仅在使用的灵活性和高效性实现了质的提升,同时注重高可用性和持久性,用户可以方便地将大数据及分析、web服务和主目录等业务数据托管在UFS上,极大降低业务环境复杂度。
目前,UFS已经上线并开始公测,需要申请试用的用户请联系客户经理。
—End—
- ?
Gartner发布2018对象与分布式文件存储魔力象限报告
访旋
展开
八家对象与分布式文件存储供应商共同进入Gartner公司发布的年度重量级魔力象限报告,不过本次排名与上年有所区别——新晋厂商两家、升段厂商三家、降级厂商两家、落榜厂商一家。
这份极富盛名的魔力象限报告以两项基本指标为基础,其一为代表执行力的垂直轴,其二为代表前瞻性的水平轴。整个区间被分为四个象限,分别对应前瞻者、利基者、挑战者与领导者。
各供应商共同在其中角逐,并凭借着两大基本指标占据各自的市场定位。
除了去年的三家领导者厂商——分别为戴尔-EMC、IBM以及Scality——之外,今年Qumulo也首次迈入领导者象限。顺带一提,Qumulo去年被定位在前瞻者象限。
下面来看今年与去年魔力象限报告之间的区别:
可以看到:
Qumulo由前瞻者象限晋升至领导者象限。中国供应商浪潮进入利基者象限。DDN仍然以利基厂商的姿态出现。SUSE同样以利基厂商的姿态出现。NetApp由利基者象限晋升至前瞻者象限。西部数据(HGST)以及Cloudian由利基者象限晋升至挑战者象限。Pure Storage进入前瞻者象限。华为晋升至利基者象限。StorageCraft由去年的利基者象限彻底掉出魔力象限区间。Gartner公司的分析师们认为,到2022年,80%以上的企业数据将存储在企业与云数据中心内的向外扩展存储系统当中——这一比例将远高于2018年的40%。
如果出现这种情况,那么对于供应商们而言无疑是个振奋人心的消息,且明年的魔力象限也许会迎来更多上榜厂商。
- ?
企业文件存储必备的网盘
阿比盖尔
展开
对于企业来说,在进行文档的管理与共享时,企业网盘是一个很好的选择。目前,市面上提供企业网盘的产品很多,各有特点。小编从众多产品中挑选了三家体验比较好的产品来为大家做介绍,它们分别是一粒云、联想企业网盘和坚果云。
▌产品背景介绍
一粒云,是深圳三位年轻有为的工程师创办企业推出的产品,产品正式上线是15年7月。专注于提供企业网盘服务,已宣布获得500万元的A轮融资。联想企业网盘由联想提供,从2006开始,联想便投身基于云计算的大规模数据传输及分布式存储技术的研发,提供的安全、稳定、高效、性价比高的数据传输、备份、管理服务。而创立于2011年的坚果云由上海亦存网络科技有限公司研发和运营,通过一年时间的在线测试,坚果云于2012年3月1日免费开放注册。
▌文件传输速度
在同等网络条件下,小编选取了一个包含2个视频、15张照片和30份文档,大约60M的文件测试传输速度,三款产品的上传速度存在一定差别:
▌权限管理
目前这三款产品都支持文件持有者按公司、部门、指定群组或个人设置文件共享权限,并且也支持对公司外的人共享文件。但在具体可共享的权限上,各个产品有所不同:
▌支持的客户端
三款企业网盘都支持多平台的客户端进行上传和下载管理,但具体有所不同:
需要特别说明的是,新版一粒云盘提供了水印功能,对高秘密级别文件进行防止泄漏,防止拍照,防止截图;这种场景一般在企业、单位内部,防止故意或者大意造成安全事故,事后追溯且有据可依。给客户分享,发送文件,文件是业务与客户之间的机密,相对涉密,任意一方扩散公开,都是有据可追查的。与一粒云安全登录功能配合使用,根据用户的设备、ip地址设置,效果更佳!
▌收费模式
一粒云提供免费版的企业网盘,支持最多10个账号,100G的存储空间。
联想企业网盘的价格从59元/人/月起,10用户1年起订,不同产品对应的网盘空间大小不同。
坚果云的收费为30元/人/月,5用户1年起订。
- ?
最适合个人使用的5个国外云存储服务
两相忘
展开
什么云存储最适合个人使用?
第一,价格低廉,最好免费,因为个人用户并不是每年能够为计算机服务花费数百或数千美元的大公司,确保普通人能够负担得起这些服务;
第二,分享应该简单,快速,能够直接进入大型社交网络,个人和个人群体。内容控制也是至关重要的,允许通过共享链接的过期日期,权限设置和密码保护等功能来限制未经授权的文件访问。如果有快速的互联网连接,一般可能会认为将快速传输文件,但传输速度也取决于云存储服务。用户与服务器的距离也很重要。最好是服务可以使用块级传输算法来优化已上载文件的传输。
第三,具良好的安全性,因为它有助于保护文件免受黑客攻击。服务的安全性质量取决于它在静止和传输过程中使用的加密,以及它是否提供私有的端到端加密,以防止除用户之外的任何人阅读文件,还应该提供双因素身份验证。
最适合个人使用的5个国外云存储服务包括:
1、Sync
Sync以良好的安全性和保护用户隐私而闻名,这有助于它在云存储比较列表中占据优势。 它位于加拿大,因此可以享受加拿大隐私法的好处,这些法律是世界上最好的之一。
在决定订阅之前,可以使用具有5GB可用存储空间的Sync Starter来测试该服务。 可以完成几个步骤,以获得1GB的额外存储空间。 此外,对于推荐的每位朋友,还可以获得另外几千兆字节,最多20个。
在云中共享文件从Web界面中的“共享”按钮开始。如果是文件夹,您可以邀请用户或生成链接。使用该链接的其他人可以下载压缩文件夹而不是每个文件。如果您正在共享文件,则只能生成链接,您可以手动复制或通过电子邮件发送该链接。
Sync还允许您共享上传链接,允许其他人将内容上传到您的存储空间。对于内容控件,您可以为共享设置权限。您还可以将密码和到期日期附加到链接,但仅限于Pro订阅。您可以设置共享的下载限制,以及查看下载统计信息。
有一个“共享”页面,可以告诉您共享的文件夹以及与谁共享的文件夹。初始上载和下载速度与其他服务相比较,默认情况下Sync不会限制您的带宽。如果您的连接很弱并且您正在使用桌面客户端,则可以使用任务栏图标来降低速度。唯一的缺点是它没有块级复制。
个人用户有两种计划:Personal Pro 500GB和Personal Pro 2TB。 第一个成本为每年49美元,第二个成本为每年96美元,使其成为云存储中最优惠的交易之一。
2、pCloud
与Sync一样,总部位于瑞士的pCloud仅提供两个个人计划,但它们具有很高的价值。 Premium计划提供500GB,每年47.88美元,而Premium Plus每年售价95.88美元,2TB。 如果您决定长期订购pCloud,购买终身许可将为您节省大量绿色。
在订阅之前,您可以使用免费计划,它可以为您提供10GB的大容量存储空间。 如果您愿意,还可以通过多步骤流程在注册后获得另外4GB的免费存储空间。 此外,对于您推荐的每位朋友,您可获得1GB的额外空间,最高可达20GB。
您可以添加电子邮件或帐户名称以与某人共享文件或文件夹。 如果其他人想与您分享他们的内容,他们可以使用上传链接。
为了保护您的链接,您可以设置密码和到期日期,但请记住,两者都需要订阅高级计划。 如果您使用的是pCloud的零知识加密附加组件,则只能共享未使用它加密的文件。 pCloud还提供了一个有用的表格,显示您的共享统计信息。
连接速度优于大多数服务,并且更频繁地达到更高的峰值,但它们各不相同。 同步是可靠的,永远不会删除文件或混合它们。 如果传输占用系统资源,则有一些设置可以补偿它。
3、OneDrive
OneDrive是微软在云存储市场的产品,它的桌面应用程序附带Windows 8.1和10.它运行良好并具有所有常用功能,但它们可能很难访问或有限制。
作为免费用户,您将可以访问5GB的免费存储空间和Office Online。 最便宜的订阅计划提供50GB,每月2美元。 不过,下一个计划是一个更好的交易,因为它只为6.99美元提供1TB的空间和Office 365。 也就是说,它不如Sync或pCloud的2TB计划好。
共享与其他服务类似。 您可以生成指向该文件的链接,通过电子邮件发送OneDrive网站的链接,在社交媒体上共享并将其嵌入网页。 如果您订阅了高级计划,则可以设置到期日期,但没有密码保护。 没有办法快速查看您与谁分享的内容。
传输速度快速且一致,考虑到微软拥有全球服务器网络,这并不奇怪。 我们认为只使用同步上传,因为手动上传容易出错。同步客户端仅对Office文件使用块级复制,这太糟糕了,因为某些用户不使用Office。
4、Dropbox
Dropbox是最老的存储服务之一,也是同步和块级复制的通用模型的发起者。 您可以使用其基本计划进行尝试,该计划为您提供仅2GB的免费存储空间,您可以通过推荐以500MB的增量进行增强。
您可以使用“共享”按钮共享文件和文件夹。 它会为您生成一个链接,您可以通过电子邮件或手动共享。 请注意,您只能授予文件夹共享的编辑权限,因此如果您正在协作,则需要使用文件夹。
Free和Plus用户无法获得高级共享设置,但如果您支付专业费用,则会获得密码保护和链接的到期日期。
Dropbox在初始上传时速度很快,其令人印象深刻的块级同步有助于在后续传输中更快地上传文件,这就是我们在同步列表的最佳云存储中给予它高排名的原因。
Plus计划提供1TB的存储空间,每月10美元,这是一个不错的交易。 它还允许您访问移动设备上的优先级电子邮件支持,远程数据删除和脱机文件夹等功能。订阅专业计划每月花费20美元,为您提供2TB的存储空间,以及智能同步,全文搜索和优先聊天支持。 但是有更好的交易。
5、Google Drive
Google云端硬盘提供了大量可供选择的计划。 免费提供高达15GB的存储空间,使其适合我们的最佳免费云存储产品列表。 付费计划从100GB开始到30TB结束,但大多数都不是很好的价值。 1TB计划每月9.99美元,这是其中最好的一个,但它仍然不接近pCloud。
共享文件和文件夹很容易,但没有内容控制功能,例如到期日期或链接。 您可以获得可共享的链接,通过电子邮件进行复制,粘贴或共享。 收到您链接的人可以查看或编辑您的内容,具体取决于您设置权限的方式。Google云端硬盘可以快速运行,并且不会落后于其他服务,但它缺少块级传输算法。
- ?
教你用IPFS安全地分享区块链上的文件
苛求
展开
区块链兄弟社区,区块链技术专业问答先行者,中国区块链技术爱好者聚集地
作者:铃铃
文章来源:币乎
原文链接:https://bihu/article/138549
著权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
本文约4000字+,阅读(观看)需要24分钟
最近,越来越多的人开始对区块链产生兴趣。虽然大多数关注点被放在加密货币与各种ICO上面,但区块链技术本身也同样令人兴奋。区块链构建了一种民主化的信任与验证协议,已经颠覆了传统银行模式,并且正在对医疗,理财,社交应用等领域产生影响。
然后,从技术上看,区块链也并非没有缺点。目前的PoW(Proof of work)共识机制, 使得交易处理速度十分缓慢,以至于在某些情况下变得几乎没用。风靡一时的加密猫也一度让整个以太坊网络陷入瘫痪。
从区块链的现状来看,在链上存储大量的数据不是一个好的选择。既然区块链只能处理少量字符与文本,记录收付款情况,那我们怎么能在链上直接存储一些较大的文件或者图片之类的数据呢?难道区块链真的只能局限于记录这种小微数据量的应用?
引入IPFS
IPFS全称为Interplanet File System,中文可以叫做星际文件系统,由Protocol Labs主导开发。它是目前最有希望能被用于解决这个问题的方案。IPFS是一种点对点的传输协议,每个节点都存储一系列通过hash索引的文件。当某个客户端需要访问这些文件的时候,只需要通过一个巧妙封装过的抽象层,传入文件的hash值。IPFS会通过这个hash值,从活跃的节点当中找到对应的文件,并返回文件内容给客户端。
你可以把IPFS想象成类似我们熟悉的BT下载协议。它是一种去中心化的文件存储与索引方式,通过hash索引,你可以更自如地管理与访问文件,同时提供更加强大的可编程性。
下图简单的表述了IPFS的工作流程:
John打算上传一份PDF文档到IPFS他首先把PDF文件放到电脑工作区然后,使用IPFS相关命令添加这个文件,并且得到了文件的hash值。(IPFS的hash值总是以Qm开头,比较好认)上面动作结束后,这个PDF文件就可以在IPFS上面被访问了。
现在,John打算把这个PDF通过IPFS分享给他的同事Mary。他只需要将第3步得到的hash值告诉Mary,然后Mary就能按图索骥,从IPFS上面下载这份文件。整个过程还挺酷的!
安全漏洞
实际上,这里有一个安全漏洞。任何得到这份PDF hash值的人,都可以轻松从IPFS上下载它。对于带有敏感信息的文件并不适合这样直接分享。因此,当我们需要在IPFS上共享一些敏感文件时,就需要预先对这些文件做一些处理。
引入不对称加密
幸运的是,我们有现成的工具能够很好的配合IPFS来安全的共享文件。不对称加密技术能够让我们用文件接收方的公钥加密文件,之后接收方从IPFS下载文件之后,再用私钥解密即可。作恶方就算从IPFS上取得这个文件,也不能做任何事情,因为无法解密其内容。在这个教程中,我们将采用GPG不对称加密算法。
让我们重新设一下前面的工作流程,这次引入加密和解密的过程:
John打算上传一份PDF到IPFS,但只打算给Mary一个人看。他将PDF放入电脑的工作区,然后用Mary的公钥对其进行加密。然后,使用IPFS相关命令添加这个加密后的文件,并且得到了加密文件的hash值。上面动作结束后,这个加密过的文件就可以在IPFS上面被访问了。Mary得知hash值之后,可以从IPFS上下载,并用她的秘钥解密得到原PDF文件。任何企图作恶的一方,由于没有Mary的密钥,所以他们无法解密这个文件,从而保证了文件在IPFS上面的安全共享。
区块链
下面这张图很重要:
注意到每个区块中BPM字段,这样的简单字段才是区块链目前能够应付的。这也是为什么加密货币能够很好的在区块链上运作。因为,只要需要记录付款地址,收款地址,转账的比特币(以太坊等)数量,这样简单的字段。由于区块链的链式结构,假如我们把大量文件和数据存放在链上,进行完整性验证的时候,将会是一场十分恐怖的噩梦。
然而,当我们把IPFS和区块链结合在一起的时候,它们就变得十分强大。实际上,我们只在区块链上存储文件的hash值,就像BPM字段那样!这是一个不错的想法。我们在保证区块链上数据简单性的同时,又利用到了IPFS去中心化的文件存储!充分利用了区块链和IPFS的优势。然后,再加上不对称加密技术(GPG),我们现在有了一套在区块链上优雅地存储,共享大量数据和文件的方法。
在实际应用中,每个区块里存储的可能是健康数据或者实验室数据的hash值。当我们得到一个新的实验结果,我们可以将加密后的实验结果上传到IPFS,在新建的区块内存储相应的hash值即可。
说了这么多,看看具体怎么做吧!
本教程包含的内容:
配置GPG搭建IPFS用公钥加密文件上传加密文件至IPFS从IPFS下载加密文件,然后确认只有私钥拥有者才能解密内容
需要做的准备
一台备用电脑或者虚拟机也行。这台备用电脑就是你的文件接收方。一个测试文件。这个可以自己随意定,PDF文档,txt文件都行。
好了,下面开始!
配置GPG
在两台电脑上都安装GPG,下载链接。如果是Mac的话,直接用brew install gnupg命令安装。
用下面的命令,在两台电脑上分别生成key:
gpg --gen-key
之后按照提示,输入name, email 然后是密码,确保记住这个密码。
在第二台电脑上导出公钥:
gpg --export --armor email >pubkey.asc
把上面命令中的email替换成你配置GPG时填入的email地址,运行即可。拷贝pubkey.asc文件到你的第一台电脑上。最好用U盘,而不要用电子邮件这样的常规网络传输方式。
拷贝成功后,在你第一台电脑上运行:
gpg --import pubkey.asc
这样就导入了第二台电脑的公钥。可以用下面的命令检查是否导入成功:
gpg --list-keys
在命令输出结果中,你应该能看到第二台电脑的name 和 email。
都做好之后,GPG的配置就完成了,继续看看IPFS。
搭建IPFS
根据IPFS官方教程,在两台电脑上都下载安装。
安装成功之后,执行:
ipfs init
初始化结束之后,再运行:
ipfs daemon
启动ipfs进程。
都成功之后,IPFS搭建就结束了。
用公钥加密文件
这里我的测试文件是一个名为 myriad.pdf 的文档,我们用第二台电脑的公钥对其进行加密:
gpg --encrypt --recipient "Cory Health" myriad.pdf
需要注意的是,文件名需要根据你实际的测试文件名做更改,“Cory Health”替换为你第二台电脑公钥的名称。
加密成功之后,同目录下生成一个后缀名为.gpg的文件,只有在你第二台电脑上才能解密并查看这个文件,你可以尝试将它发送给你的朋友,测试是否能打开,就算他们把文件名改回myriad.pdf,也无法查看pdf的内容。
现在有了这个加密的文件,我们可以把它上传到IPFS!
上传加密文件至IPFS
在我们第一台电脑上运行:
ipfs add myriad.pdf.gpg
命令成功之后,会返回一个 Qm开头的hash值,你可以将这个hash值分享给你的朋友,或是任何人,他们就能通过IPFS下载到对应的文件。
为了确保我们上传成功了,我们可以运行:
ipfs pin ls
返回结果里面,应该包含刚才的hash值。
从IPFS下载加密文件
记住,我们现在是用第二台电脑代表一个接收方,你甚至可以叫你的朋友操作第二台电脑! 在第二台电脑上运行:
ipfs get hashValue
把hashValue替换成上一步得到的以Qm开头的hash值,运行并等待下载。
运行结束之后,加密文件就被下载到了你第二台电脑上了。
解密文件
在第二台电脑运行:
gpg --decrypt encryptFile >myriad.pdf
这个myriad.pdf就是解密后的文件,可以直接查看其内容,验证是否解密成功。
哇喔!到这里我已经成功通过IPFS下载,并解密了我们的文件。用这个方式,我们就可以防止其他人查看我们放在IPFS上的文件内容了!
总结与展望
现在可以放松庆祝一下了!我们刚才掌握了一个十分强大的方法,它能够解决目前区块链技术的一些关键问题。
回顾一下我们都学到些什么:
认识到区块链在数据和文件存储方面的短板IPFS的配置和使用利用GPG加密敏感数据,并存储在IPFS理解了IPFS的去中心化文件系统,并且知道如何结合区块链去管理这些hash值。同时发挥了区块链和IPFS系统的优点。
之后,你可以根据自己的实际情况去使用你在这里学到的东西。值得注意的是,如果你的文件在IPFS节点上不是很受欢迎的话,那么你停掉自己的节点之后,很可能没有其他的节点去保管你的文件。从而,你的文件可能会从IPFS上消失。解决的办法就是,你可以利用云服务搭建一个IPFS节点,来保管你的文件,直到你确定你的文件足够受欢迎。
【本文译自:Learn to securely share files on the blockchain with IPFS! 】
文章发布只为分享区块链技术内容,版权归原作者所有,观点仅代表作者本人,绝不代表区块链兄弟赞同其观点或证实其描述。
- ?
「价值布局」 - 区块链最佳的分布式存储解决方案
寡淡
展开
开篇词:伟大的物理学家霍金先生离开了我们,他的精神永存!有一个记者问过他,请用一个词对这个世界评价,他的回复是:“WOW!”,是的,“哇!”,惊叹!这就是我们的世界~让我们生者共同努力吧~
前几天说过分布式数据库BLZ,今天说几个分布式储蓄的项目,以下,enjoy:
成为最好的分布式储解决方案
Blockchain 技术是关于权力下放的, 首先是金融系统和支付。接下来是分布式的应用程序和可以在区块链上运行。现在, 另一个前沿是开放的文件存储。分布式的存储空间迅速成为一个拥挤的赛道, Storj, Sia, Filecoin 和 MaidSAFE ,上述的项目竞争市场份额.
分布式存储背后的想法是允许普通用户在对等网络中租用其硬盘空间中未使用的部分。我们将在本文中讨论的不同平台以稍有不同的方式完成此任务。然而, 无论采用何种方法, 数据都是一个蓬勃发展的行业, 未来对于任何能够完善分布式文件存储的项目来说, 前景看好。
分布式存储基础知识
分布式存储通过在对等网络上共享文件来工作。
首先, 对文件进行加密上传, 此人保留密钥以解锁加密。然后文件被分成许多小块。每个加密的小块都被复制以确保冗余。最后, 文件碎片被发送到对等网络上的各种独立的计算机的储蓄空间。
那些承载文件的个人只拥有文件内容的一个小碎片, 并且加密。这意味着主机无法从文件中获取信息。这也意味着对宿主节点发起攻击是毫无意义的。
要撤回文件, 原始上传使用私钥以及 blockchain 承载的哈希表来查找原始文件的所有碎片, 并要求网络重新构造该文件。一旦节点发送回各种碎片, 文件就会重新生成。然后, 上传使用原始加密密钥解密文件以供使用。
存储需求
云存储市场是巨大的。然而, 像亚马逊和谷歌这样的主要玩家目前占据了这个空间。
市场调查组估计云存储市场可能增长到2021的 749.4亿美元和 2022年的924.9亿美元到年。如果分布式的存储能够捕获到该市场的一小部分, 它将成为一个大型行业.
这就是为什么要成为顶级分布式存储解决方案的竞争如此激烈。
Storj
目前, Storj 是分布式存储市场的领导者。它也是这个领域中最古老的项目之一。迄今为止, Storj 拥有2万用户 (上传者) 和1.9万农夫 (存储提供商) 的社区。
该项目的代码是开源的, 因此任何人都可以实现 Storj 的实例。不过, Storj 背后的私人公司 Storj 实验室已经建立了一个令人印象深刻的网络。用户支付访问该网络的权限。
Storj 体系结构遵循分片、加密和群集的标准模型来拆分和重新编译文件。
用户体验
Storj 的着重点 (除了作为市场的主导力量) 是用户体验。Storj 使您可以轻松、直观地注册、上传文件或操作节点。它的目的是为了大众市场的采用, 设计显然是可行的。
付款模式也是支付上传者, 他们可以支付美元。这有助于更快速被采用, 使交易容易理解。
但是, 对用户体验的控制是以一定的集中性为代价的。Storj 实验室控制对其网络的访问。不过, 网络比集中式的替代方案更为分散和安全。Storj 实验室也看不到您的任何文件。但是, 您必须信任 Storj 门户网站才能使用网络。
STORJ 令牌 & 未来计划
Storj 不支持采矿。相反, 它的农民接受文件储蓄的审计。如果农民可以证明他们的电脑是在线的, 并持有一个副本的文件, 那么他们将收到付款。这些审核确保这些文件实际上存在于网络中。他们也是农民获得报酬的方式。
支出以 STORJ 令牌的形式出现。STORJ 是 ERC-20 令牌。事实上, 整个 Storj 生态系统是基于以太坊区块链的分布式应用(dApp)。Storj 没有自己的区块链。
在不久的将来, Storj 计划专注于可伸缩性的解决方案。他们还希望解决文件共享问题, 以便用户可以实时共享/撤消对文件的访问。
Storj 有多个伙伴关系, 以测试和扩大其范围。值得注意的是, 他们最近与一个主要的 FTP 提供商 FileZilla。在2017年的最后六月中, 存储在 Storj 上的数据量每月增长50%。Storj 当前在网络上承载超过 30 pb 的数据。
Sia
Sia是 Storj 的最大竞争对手, 其产品发布到生产中。它的工作方式与 Storj 类似。具体地说, Sia将文件拆分为三十段, 有足够的冗余, 他们可以成功地重建文件, 只需要三十段当中的的十段。该协议还以类似于 Storj 的方式对文件进行加密。
与 Storj 相比, Sia有自己的区块链。此专有区块链支持Sia用于管理和发送文件的智能合约。一旦发送, Sia也实施类似的存储证明, 以审核其节点的文件维护情况,以确保用户文件上传的文件安全并且可找回。奖惩机制通过自己的代币进行。
Siacoin (SC)
Sia不支持像 Storj 这样的法币付款。相反, 上传者和节点在支付Siacoin并获得报酬。Sia还需要矿工支持其区块链, 而这些矿工也得到Siacoin的奖励。Siacoin有多个挖掘池, 其中第一个和最大的是SiaMining .
成长 & 未来
2017年期间, Sia从75个主机和 500 TB 的存储增长到1000个主机和 3.3 PB 的可用存储。这是一个快速增长的速度。然而, 与 Storj 的2万台主机相比, 它还是很小的。Storj 还有超过 3.5 PB 的已经被使用-超过Sia的整个网络规模。
Filecoin
Filecoin 在这场比赛中是一个有趣的竞争者, 因为它还没有启动。尽管如此, 许多人预计, 这将是一个主要的大玩家。
这部分归功于启动后的团队。Filecoin 是一个来自协议实验室(protocal lab)的项目。他们成功地部署了其他基于网络的存储和计算项目,一方面, 硅谷风险投资是项目的幕后黑手, 包括安德森和 Ravikant。另一方面, Filecoin 推出了有史以来最成功的 ICOs 之一, 募集了2亿500万美元的代币.
平台体系结构
Filecoin 的白皮书描述了使用两种类型的网络节点的平台体系结构的双重方法。
第一个是存储节点, 如在Sia和Storj。然而, Filecoin 似乎正在向更大的玩家提供大量专用存储的奖励。
第二种类型的节点是检索节点。这些节点在物理上理想地位于由许多存储节点包围的中心点。它们还需要高带宽、低滞后时间的互联网访问, 以便尽可能有效地检索和中继文件碎片。
在操作节点时, Filecoin 会对委托给您的文件碎片的连续复制验证模型进行审计。创建冗余会赚取 Filecoin 令牌。Filecoin已经有了一个内置的用于冗余和擦除编码的协议。
市场
另一个区别是 Filecoin 提供了一个数据存储市场。虽然 Storj 和Sia已经建立了定价模型, Filecoin鼓的数据存储交易所。主机所有者可以说明他们愿意提供存储的价格, 上传者可以选择是否接受该价格。
未来
Filecoin 周围有很多炒作, 但现实是他们还没有推出。这一炒作是否有必要还有待观察。
MaidSafe
到目前为止, MaidSafe 是该领域的一个较小的竞争者。它们也不是严格的文件存储解决方案。他们也有野心进入分布式计算领域。这些远大的抱负使他们成为一个有趣的项目, 如果他们成功了, 可能会有巨大的潜力。然而, 缺点是宏伟的愿景意味着在短期内不再专注于建立和区分一个单一问题的可行解决方案。
他们的体系结构就是提供计算资源, 而不仅仅是存储。例如, 如果您的计算机有大量的处理能力, 您可以在 MaidSafe 上租用它。带宽或一致、可靠的连接也是您可以在 MaidSafe 上进行交易的宝贵计算资源。
MaidSafe 还可以匿名使用网络。当与端到端加密和切分存储结合使用时, 这会给文件存储增添隐私。
该项目仍处于发展的 测试版本(alpha )阶段。它还没有所有的功能。然而, 他们在发展方面取得进展, 在过去几个月中进入测试版 2.0。
结论
分布式储的未来令人兴奋。它是更快, 更便宜, 更安全的存储, 并且将会被广泛采用。虽然竞争在这个空间是激烈的, 它最终会对所产生的技术有好处。所有这些团队都在努力改进和区分他们的解决方案。如果速度、价格和可伸缩性提高, 您可以看到这些公司在不远的将来与亚马逊和 Google 进行从头到脚的合作。
- ?
一招快速搞定PS存储后文件异常大的问题
鲁代男
展开
很多设计师在使用photoshop的时候,都会时不时遇到一个莫名其妙的问题,就是PS文件本身并不大,但是保存的时候,不管是PSD文件,还是jpg格式,文件都是异常的巨大。而且在操作的时候电脑会变得非常的卡顿(再快的电脑也会出现),影响了PS的运行速度。解决办法我也找了一段时间,这次又让我遇到,同样的又是各种尝试,最后找到了一个快速的解决方法,亲测效果棒棒的,分享给大家。
解决问题最好的方法是找出问题所在。那么,首先我们要知道是什么造成了这个原因,造成PS文件虚胖的真正原因是因为PS在操作过程当中,对当前文档进行了过多的操作,就造成文档保存了历史图像多余的操作数据,也就是所谓的元数据,我们可以在「 文件」——「 文件简介」——「原始数据 」当中,查看该文档是否有过多没必要的信息。当然在正在卡顿当中的计算机是不推荐查看的,正常的元数据和异常元数据显示对比如下图所示
正常的元数据异常的元数据怎样才能把多余的元数据删除呢?第一次尝试解决,务必做好备份。附件有JSX文件,也可以私信我。
方法:1.在电脑桌面右击新建一个文本文档
2.鼠标双击打开文本文档,在文本文档中粘贴如下代码保存。
function deleteDocumentAncestorsMetadata() { whatApp = String(app.name);//String version of the app name if(whatApp.search("Photoshop") > 0) { //Check for photoshop specifically, or this will cause errors //Function Scrubs Document Ancestors from Files if(!documents.length) { alert("There are no open documents. Please open a file to run this script.") return; } if (ExternalObject.AdobeXMPScript == undefined) ExternalObject.AdobeXMPScript = new ExternalObject("lib:AdobeXMPScript"); var xmp = new XMPMeta( activeDocument.xmpMetadata.rawData); // Begone foul Document Ancestors! xmp.deleteProperty(XMPConst.NS_PHOTOSHOP, "DocumentAncestors"); app.activeDocument.xmpMetadata.rawData = xmp.serialize(); } } //Now run the function to remove the document ancestors deleteDocumentAncestorsMetadata();
3.将文件名(包含后缀名txt)改为"PS保存文件过大的问题解决方法.Jsx"
4.在Photoshop里打开异常的那个文件,然后点击菜单「 文件」——「 脚本」——「浏览(B) 」,载入"PS保存文件过大的问题解决方法.Jsx"文件。
5.点击运行。完成后你的文件就可以正常操作啦!
最后Phoenixtree2018给大家提个醒,以上方法仅解决元数据造成的文件过大和PS运行缓慢,如果文件本身尺寸或图层造成的问题,请参考以下情况对症解决:
1、适当裁切整个文件,把文件边界以外的图层去掉2、相似的图层,在不影响编辑的情况下,可以合并的尽量合并,养成管理每个图层的习惯3、不要使用过多的智能对象和图层层叠,尽量让图层少一点4、注意分辨率,小尺寸的图,分辨率可以大一点。大尺寸的图,应该小一点,以下参数仅供参考:名片600-800dpi、宣传单、画册 300dpi、海报印刷260dpi、喷绘精喷140DPI、喷布或超大尺寸23.5-72dpi假设,喷布建了一块10米×5米的图,分辨率一般30-45即可,如果建到了300,什么电脑都不行的实践是检验知识的第一真理,欢迎同行们指出不足之处。
- ?
LabVIEW中文本文件的存储与读取方法
破灭
展开
背景
在软件开发中,数据文件的存储与读取操作一般是必不可少的环节。存取数据的文件格式大致可分为两大类,分别是文本格式和二进制格式,其中,文本格式(或叫ASCII码文件)通用性强、直观,但占用空间比较大,存取速度比较慢,而二进制文件存取速度快、占用空间小,但通用性差,用户需要知道存储数据的数据类型,才可以准确还原文件内容。
这次通过例子说下在LabVIEW平台中关于文本文件的读写操作方法。
例1:最简单的一个例子
例子要求:将字符串“我爱LabVIEW!”以文本文件的格式存储到计算机的D盘上,文件名称为“a.txt”,存储完成后,立即读出该文件内容,并显示到前面板的字符串控件上。
程序运行后界面如下图所示:
实现代码如下:
代码中先后使用了“打开/创建/替换文件”、“写入文本文件”、“设置文件位置”、“读取文本文件”和“关闭文件”等函数,可以看出,LabVIEW中文本文件操作的编程方式同其它如C/C++语言类似,遵循着下面的三个步骤:
打开文件读写文件关闭文件
需要说明的是,在上面代码中,“写入文本文件”与“读取文本文件”两个函数之间使用“设置文件位置”函数,其原因是,将内容写入文本文件这步操作执行完毕后,当前文件的指针位于文件的末尾,若此时直接读取文件内容,将从文件的末尾读取,读取的内容当然为空了,所以此时在不执行“关闭文件”的操作下,必须手动使用“设置文件位置”函数将文件当前指针移动到文件的开始位置。
例2:实用的一个例子
该例子模拟一个实际的数据采集与存取场景。在例子中产生一个正弦波形数据,然后将波形数据以文本文件的格式存储到计算机的D盘上,文件名称为“b.txt”,波形数据点数为500点,采样频率为1000Hz,正弦信号频率10Hz,幅值为5,文件中不仅包含了每个采样点的数据值,也包含了采样间隔信息。同样,在存储完成后,立即读出该文件内容,将波形数据显示到前面板的波形图控件上。
先看下程序运行后的界面:
存储的文件内容如下:
实现代码如下:
整体操作步骤同前例相同,依照着打开文件、读写文件、关闭文件的顺序执行。
在波形数据存储方面,代码中使用“正弦函数”输出一个正弦波形数据,在波形数据中抽取出采样间隔dt和采样数据Y,然后将采样数据Y使用“数组至电子表格字符串转换”函数将其转换为字符串,接着使用“格式化写入字符串”函数将所有内容转换为字符串,最后使用“写入文本文件”函数即可将采样间隔和采样数据写入文本文件中。
在波形数据读取方面,首先将文件指针移动到文件开始位置,使用“读取文本文件”函数将文件所有内容读出为一个字符串,然后在字符串中使用“扫描字符串”函数先将采样间隔dt抽取出来,然后使用“电子表格字符串至数组转换”函数将剩下的内容读出为二维的double型数组,索引第0列即为采样数据Y的值,最后将dt和Y组合成一个波形数据输出到波形图控件上进行显示即可。
结论
文本文件的读写操作,在图形化的编程语言LabVIEW平台上实现,相对于其它高级编程语言如C/C++来讲,由于LabVIEW中对文件操作类的函数进行了高度封装,因此,在编程难度上要低很多,具有较高的开发效率。
欢迎加关注,共同交流。
- ?
保存文件不再是难题,示波器的各种文件存储方式与分析
凉音
展开
很多人似懂非懂,却无从下手。
如何使用示波器设置或数据的存储功能,对所测的数据进行二次分析存储,由此上演了犹抱琵琶半遮面的经典桥段。
接下来让我们揭开它神秘的面纱,让你从此保存文件不再是难题。
示波器的存储字面上理解也就是将所需的波形信息以不同的格式存储下来便于我们做更深入的分析,存储有以下几个方面的内容:
存储的类型:有设置文件、二进制数据、CSV数据、图像格式(BMP图像、JPG图像、PNG图像、灰度图像);
存储方式:【Print Screen】(一键存储)、【Save/Recall】(存储)、PC联机截图、以及ScopeReport TM;
存储路径:本地闪存和外部存储器(将U盘接入示波器USB口即可)。
下面将以存储方式为索引进行讲解。
一、【Print Screen】(一键存储)
【Print Screen】一键存储功能,隶属于示波器7种一键快捷操作,蓝色操作键易于识别,操作方便,只需要一键即可将当前屏幕显示的内容以“*.png”图像的格式保存下来,保存路径可以事先进行设置,可保存在本地闪存或者外部存储器U盘中。一键存储的内容将会在保存路径中自动命名保存,一般以dso开头。工程师可同时保存多个文件到U盘中,再在PC机中进行查看分析。
图1 一键存储
二、【Save/Recall】(存储)
通过菜单界面上的【Save/Recall】(存储)按钮可进入存储界面进行存储信息设置,如图1。
图2 存储菜单
ZDS2000系列示波器支持的存储格式包括:
设置文件:保存示波器的设置信息,方便工程师下一次的使用,避免重新设置的麻烦;它以“*.stp”格式存到本地闪存和外部存储器U盘中,可导入/导出任意示波器设置。
二进制数据:当工程师需要对波形的数据进行深度分析时可保存为二进制文件,它会选中通道的二进制一维原始数据,以“*.wfm”格式存到本地闪存和外部存储器U盘中,不支持导入,可进行大数据存储。其中二进制文件可转换为CSV文件后,可用Excel、Access或者文本文件打开,转换软件可进入网页http://zlg/OSC/,点击【固件与工具】进行下载。
CSV数据:数据文件保存的第二种方式,它会保存屏幕显示或指定通道的波形数据,以“*.csv”格式存到本地闪存和外部存储器U盘中,是一种逗号分隔值文件格式,其文件以纯文本形式存储表格数据,它会将需要的二进制数据转换成ASCII码,以ASCII码数据进行保存,可用Excel、Access或者文本文件打开。
ZDS2000系列示波器的CSV数据文件里,包含设备信息、水平档位、水平偏移等信息,如图2所示。
图像格式:屏幕图像,可以以不同的图像格式保存,如BMP图像、JPG图像、PNG图像、灰度图像。
图3 CSV文件打开信息
在存储路径下可删除原有文件或者复制已有文件。其中二进制文件与CSV文件在【存储设置】中的【数据长度】可选【内存】或【屏幕】选项,在自动存储深度设置下,【屏幕】波形数据与【内存】波形数据是相同的。
注:所有的文件均可通过复制、粘贴功能将文件复制粘贴到本地或者外部存储U盘中。
三、PC联机截图
PC联机截图是一种快捷的保存截图的方式,无需U盘即可直接将图像文件保存在PC机中,即以“*.bmp”格式存至PC机的相应安装文件路径中,这种方式只需要通过USB线(LAN或者串口线)与PC机相连,即可使用。
四、ScopeReport TM
ScopeReport TM功能可以对所有的协议解码和FFT的频谱分析结果进行“打包”处理,自动生成html或者csv文件格式的报告,保存在本地闪存和外部存储器U盘中,用户可以以报表的形式进行查看;
以FFT分析为例,当分析结果出来后在【Stop】状态下,点击FFT菜单下的【导出报表】,即可导出,如下图3所示。
图4 FFT报表导出
通过对ZDS2000系列示波器的存储方式的总结与归纳,相信大家对存储有了更详细的了解,在使用过程中可以根据自己的需求与习惯选择相应的存储方式,更有效率的进行数据分析。
- ?
推荐三款网盘之外的免费文件存储云空间,可在线存储及分发文件
三分爱
展开
在互联网发达的今天,很多互联网产品起初就靠提供免费资源供用户尝鲜,比如互联网网盘就是典型靠免费推广走向大众视野,慢慢培养用户使用习惯,再通过提升特定特权来培养用户付费习惯,从而慢慢走上良性发展道路。
如今在网络存储方面,除目前的百度网盘等大型网盘之外,还有各自大大小小的网赚盘提供用户存储空间,它们对免费用户往往要么存储空间不大,要么没有赋予大量会员特权,要么拥有烦人的大量广告或糟糕的下载速度,用户使用网络存储的体验不佳。
某网盘特权对比今天推荐给大家的是另一种网络存储空间,就是各自云存储服务商提供的免费体验使用存储空间,相当网盘来说存储空间不大只有10~50G大小,但存储文件上传、下载速度还可以,关键是没有什么广告,特别是作为站长存储网站附件资料或需要在线存储文件或分发文件的用户。
(1)网易云免费存储空间。新用户可以免费获取以下体验额度: 50GB免费存储空间,每月100万次免费读请求,每月20GB免费下行流量,每月10万次免费写请求。超过免费使用量之外的部分,按阶梯价计费。该免费存储空间支持图片、视频和音频存储处理,对一般网站存储空间需求基本足够了。
网易云对象存储额度(2)腾讯云免费存储空间。新用户每月可以免费获取以下体验额度: 50GB免费存储空间,外网10GB免费下行流量,CDN回源10G流量,100万次免费读请求,100万次免费写请求。超过免费使用量之外的部分,按计费。
腾讯云对象存储额度(3)七牛云免费存储空间。新用户每月可以免费获取以下体验额度: 10GB免费存储空间,免费上传流量无上限,外网10GB免费CDN下行流量,100万次免费读请求,10万次免费写请求,750小时/月免费自定义数据处理服务。超过免费使用量之外的部分,按计费。
七牛云对象存储额度除上述三款免费对象存储空间没有使用期限之外,其他云存储服务商也推出了额度不一的免费对象存储空间,但普遍有1个月至12月的使用期间限制,这里就不一 一提及了,大家有兴趣的可以去看看是否满足您的存储要求,也欢迎大家反馈使用感受!