- ?
Linux基础之——硬盘管理、文件系统及链接
安戾
展开
本节所讲内容:
硬盘结构
文件系统结构
硬链接和软链接
ext4 和 ext3 性能对比
加密磁盘
磁盘结构:
扇区:硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存 512 字节(相当于0.5KB)。
以前的老式硬盘结构:CHS 结构体系的磁盘
1CHS 结构体系
比较古老的 CHS (Cylinder/Head/Sector)结构体系. 因为很久以前,在硬盘的容量还非常小的时候,人们采用与软盘类似的结构生产硬盘。也就是硬盘盘片的每一条磁道都具有相同的扇区数,由此产生了所谓的 3D 参数(Disk Geometry),即是磁头数(Heads)、柱面数(Cylinders)、扇区数(Sectors)以及相应的 3D 寻址方式。
缺点:以前老式的磁盘,每个磁道的扇区都一样,这样外磁道整个弧长要大于内部的扇区弧长,因而其磁记录密度就要比内部磁道的密度要小。最终,导致了外部磁道的空间浪费。
注意: Linux 系统中是没有簇这个概念的,只有 windows 系统中才会有簇,簇类似于 Linux系统中的 block
例:在 windows 系统中新建一个文本文件“新建文本文档.txt”中有只有 aa 两个字符。右击属性查看大小: 说明我的 NTFS 文件系统中默认的簇大小为 4KB
2 现在硬盘技术 ZBR
现在硬盘都采用这种技术:ZBR(Zoned Bit Recording)区位记录 (Zoned zōnd )Zoned-bit recording(ZBR 区位记录)是一种物理优化硬盘存储空间的方法,此方法通过将更多的扇区放到磁盘的外部磁道而获取更多存储空间。
ZBR 磁盘扇区结构示意图
特点:
读外圈的数据快,读内圈的数据慢:测试硬盘经常看到以下读取速度曲线图就很正常了。
注意:操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。 "块"的大小,最常见的是 1KB,即连 2 个 sector 组成一个 block。4K=8 扇区
文件系统结构
1 文件系统的简单操作
tune2fs :查看系统块大小
[root@xuegod63 ~]# tune2fs -l /dev/sda1 | grep –color size
【例】
[root@xuegod63 ~]#ll -dh /boot/test/ /test/
2 文件系统的结构
Linux 文件系统由三部分组成 :文件名,inode,block(真正存数据),
1.)inode
主要记录文件的属性。文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做 inode,中文译名为"索引节点"。
2.)block
实际记录文件的内容,若文件太大时,会占用多个 block
3.)inode 的内容
inode 包含文件的元信息,具体来说有以下内容:
* 文件的字节数
* 文件拥有者的 User ID
* 文件的 Group ID
* 文件的读、写、执行权限
* 文件的时间戳,共有三个:ctime 指 inode 上一次变动的时间,mtime 指文件内容上一次变动的时间,atime 指文件上一次打开的时间。
* 链接数,即有多少文件名指向这个 inode
* 文件数据 block 的位置
4.)查看文件 inode 信息
使用 stat 命令
【例】
[root@xuegod63 ~]#stat /etc/passwd
[root@xuegod63 ~]#ll /etc/passwd
inode 的大小
inode 也会消耗硬盘空间,所以硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是 inode 区(inode table),存放 inode 所包含的信息。
5.)查看每个硬盘分区 inode 信息
查看每个硬盘分区的 inode 总数和已经使用的数量,可以使用 df 命令。
df :列出文件系统的整体磁盘使用量
-a:列出所有文件系统,包括系统特有的/proc 等文件系统
-k:以 KB 的容量显示各文件系统
-m:以 MB 的容量显示各文件系统
-h:以人们较方便阅读的 GB,MB,KB 等格式自行显示
-T:连同该分区的文件系统名称(例如 ext3)也列出
-i:不用硬盘容量,而已 indoe 的数量来显示
例:[root@xuegod63 ~]#df -i
注意:1.每个文件最少有一个 inode 号。 操作系统用 inode 号码来识别不同文件。
2.如果你的磁盘空间还没用完但是却不能创建文件或文件夹,这是因为inode 用完了。
使用 ls -i 命令,可以看到文件名对应的 inode 号码:
【例】
使用 ls –id 可以查看目录的 inode 号:
【例】
[root@xuegod63 ~]# ls -id /test/
6.)扩展
linux 中 ctime,mtime,atime 的区别
ctime:“改变时间(change time)”
mtime :“修改时间(modification time)”
改变和修改之间的区别在于是改文件的属性还是更改它的内容。
chmod a-w myfile,那么这是一个改变;
echo foo >>myfile,那么这是一个修改。
改变是文件的索引节点发生了改变;修改是文本本身的内容发生了变化。
atime :“访问时间(access time)”
访问时间是文件最后一次被读取的时间。因此阅读一个文件会更新它的访问时间。但是它的
改变时间和修 改时间并没有变。
ls -lc filename #列出文件的 ctime
ls -lu filename #列出文件的 atime
ls -l filename #列出文件的 mtime
链接接文件
1 hard link (硬连接或者实际连接)
hard link 只是在某个目录下新建一条文件名连到某 indoe 号的关联记录而已例如:系统有个/root/crontab,它是/etc/crontan 的硬连接,也就是说着两个文件名连接到同一个 indoe,自然这两个文件名所有的相关信息都会一模一样(除了文件名之外),
ln:可以创建硬链接(实际连接的命令):
语法:ln 【源文件】 【硬连接文件】
[root@xuegod63 tmp]# touch text1
[root@xuegod63 tmp]# echo aaa > text 1
[root@xuegod63 tmp]#ln text1 text3
[root@xuegod63 tmp]# echo bbb >> text 1
如果删除上面的 text1,那么 text2 是会继续存在的,并且数据也会保留
测试:
硬连接总结:
(1)硬链接的 inode 相同
(2)只能对文件创建,不能应用于目录
(3)不能跨分区
2 软链接
相当于windows中的快捷方式,由于软连接所创建的文件为一个独立的新的文件,所以会占用掉 indoe 与 block系统有个 /root/crontab , 它是/etc/crontab 的软连接 , 如果删掉源文件/root/crontab,那么/etc/crontab 这个文件的数据也不能查看了,就好像 windows 里面的桌面快捷方式,源文件被删除了,快捷方式也失效了。
ln -s 【源文件或目录】 【软件链名字】
【例】
[root@xuegod63 Desktop]# ln -s a2.txt as.txt
[root@xuegod63 Desktop]# ll as.txt
如果我删除源文件,那么软连接文件也将无法查看里面的数据,并且查看软连接的时候,它会一直闪。
软连接总结:
(1)可以应用于目录
(2)可以跨文件系统
(3)不会增加被链接文件的链接次数
(4)大小为指定的绝对路径所包含的字符总数
(5)有自己的 inode 号
(6)权限无关紧要
结论:可以看到上面的连接数在变化,新建一个目录连接数是 2,在这个目录下在创建一个目录的时候就会变成 3
【例】web 服务器中小文件很多,导致硬盘有空间,但无法创建文件
inode 数被用光了。
[root@xuegod63 test]#df -i
block 设置小:效率低,利用率高。
一般系统默认就行。
ext4 文件系统比 ext3 文件系统性能对比
1 ext4 与 Ext3 兼容
2 更大的文件系统和更大的文件
较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件,Ext4 分别支持1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的文件系统,以及 16TB 的文件。
3 无限数量的子目录
Ext3 目前只支持 32,000 个子目录,而 Ext4 支持无限数量的子目录。
4“无日志”(No Journaling)模式
日志总归有一些开销,Ext4 允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
磁盘加密
LUKS(Linux Unified Key Setup)为 Linux 硬盘加密提供了一种标准
cryptsetup 是 linux 下得一个分区加密工具,是在经过加密的块设备上再创建文件系统,然后再进行挂载使用,可以达到最底层的加密。
1 首先对硬盘进行分区
fdisk /dev/sdb
fdisk #分出一个 sdb1
fdisk –l
2 下面开始对分区进行加密
(1)安装包:
[root@xuegod63 Desktop]# rpm -qf `which cryptsetup `
cryptsetup-luks-1.2.0-6.el6.x86_64
下面开始对分区进行加密
(2)cryptsetup luksFormat /dev/sdb1 #设置为加密分区
出现要输入 yes 的地方一定要输入 YES
(3)cryptsetup luksOpen /dev/sdb1 disk1 # 将分区映射成 disk1,则这个设置就在/dev/mapper 中
(4) mkfs.ext4 /dev/mapper/disk1 #格式化加密分区
(5)mount /dev/mapper/disk1 /opt #挂载加密分区
(6) df 查看分区挂载情况
3 关闭加密分区:
(1)umount /dev/mapper/disk1 #卸载分区
cryptsetup luksClose /dev/mapper/disk1 #关闭加密分区
(2)生成加密分区的密码文件,实现开机自动挂载加密分区(最好不要生成加密文件)
vi /etc/crypttab 写入:
disk1 /dev/sdb1 /root/key
#(如果这里写 none 的话,当系统启动时在读取分区时候,会一直停在那,等待输入密码)
echo -n "123" > /root/key 生成密码文件
chmod 700 /root/key 修改权限
cryptsetup luksAddKey /dev/sdb1 /root/key 添加口令到/dev/sdb1 中
cat /etc/crypttab
disk1 /dev/sdb1 /root/key
4 设置开机自动挂载
vi /etc/fstab 自动挂载文件
/dev/mapper/disk1 /opt ext4 defaults 0 0
mount –a 重新挂载/etc/fstab 里的内容,如果报错的话就需要重启系统
- ?
Mac OS 10.13 APFS 文件系统终于来了
Isabel
展开
去年在WWDC2016上,苹果公布了APFS文件系统,iPhone率先更新到这项更新,而在刚刚结束的WWDC2017,APFS文件系统终于来到了Mac上。在Mac OS 10.13中,APFS文件系统将替换原来的HFS文件系统,效率将提升明显。
官方演示中,HFS文件系统需要很长时间复制一些文件,然而APFS能够瞬间完成。
Mac OS 10.13 APFS 文件系统终于来了
APFS文件系统终于来到了Mac上
APFS是Apple File System的简称,是苹果公司发布的新的文件格式,替代目前所使用的HFS+格式。这一全新文件系统专门针对闪存/SSD进行优化(但依然可用于传统机械硬盘),提供了更强大的加密、写入时复制元数据、空间分享、文件和目录克隆、快照、目录大小快速调整、原子级安全存储基元,以及改进的文件系统底层技术。
- ?
IPFS+Filecoin+More?迅雷发布区块链文件系统TCFS
嵇书芹
展开
雷锋网AI金融评论消息 7月6日,在“迅雷全球区块链应用开发大赛”决赛现场,迅雷CEO陈磊发布迅雷链文件系统TCFS( Thunder Chain File System)。
该系统为一款专为区块链应用开发打造的数据云存储与授权分发的文件系统,具备相应的信任机制、权益保护和授予机制和激励机制,开发者在其基础之上可使自己产品具备文件数据分布式存储与信息上链等特性。
信任+权益保护和授予+激励机制
据陈磊现场介绍,TCFS是一条专为区块链而生的文件系统,其具备三个关键属性。
其一,信任机制。TCFS基于 Merkle DAG结构独创了文件管理技术,能保留文件的全部变更历史,公开透明、可查询、可追溯。数据使用安全加密哈希索引,修改后即为新文件,新文件对应新哈希,从而确保数据无法被篡改。数据使用FEC(前向纠删码)编码后,冗余存储在各个共享计算节点上,在系统级别采用文件自动修复机制,再通过智能合约来实现存储激励,确保参与节点稳定,使文件存储具有更高的可靠性。其二,权益保护和授予机制。TCFS采用安全切片的方式存储数据,通过公私钥签名技术验证用户和文件的持有关系。另具备独创的令牌授权机制,只有经过授权的用户才能访问数据。在上述权益授予过程中可写入智能合约,从而实现高效的、去中心化的授权管理。其三,激励机制。据迅雷方面表示,开发者可选择现成的、经过实际应用场景打磨的链克作为激励,也可自行建立新的激励机制。此外,文件数据分布存储在共享计算节点上,存储空间高达数百PB(注:1PB=1024 TB;1TB=1024GB)。
整合IPFS和Filecoin
如雷锋网AI金融评论此前报道,目前区块链领域将目标瞄准在数据的计算和存储的团队并不少,比如业界呼声较高的IPFS(星际文件系统),还有Filecoin、Storj等。业内普遍认为IPFS是一种永久的、去中心化保存和共享文件的方法,甚至在未来有可能取代HTTP协议。但在陈磊看来,IPFS还处于设计和研发初期,在实际应用场景中还不足够完善。
「IPFS只解决热点文件的长期存储问题,在该体系下,只有一个文件不断得到访问,才能保持它的有效存储性。」陈磊认为,IPFS在存储一些冷门但具有价值的文件时,可能会遭遇丢失的情况,如个人照片等私人访问资源。而Filecoin通过区块链激励机制,可让用户永久性的保存冷门文件。「因此,IPFS需要搭载Filecoin激励层,才能激励各节点存储数据,避免冷门文件丢失。」
事实上,关于IPFS文件系统的优劣问题,DxChain创始人张亮也向雷锋网AI金融评论表达过相似的看法。其认为,「IPFS只是一个文件系统,内部未设立激励机制,所以不存在链的概念。」
因此,TCFS整合了「IPFS热门文件永不丢失」和「Filecoin避免冷门文件丢失」的两大技术特性,自带激励机制,以实现存储效果的最大化。
此外,TCFS基于冗余编码进行切片存储,加入文件自愈机制,从而保证存储效率。同时,依据迅雷在下载和CDN相关技术的积累,TCFS在文件下载和传输上具备一定的性能优势。
根据迅雷方面介绍,鉴于其他区块链文件系统基于DHT网络,容易出现非法或不合规内容,TCFS在此做了考量,通过自研技术降低监管风险。
防伪溯源、分布式数据存储成区块链技术落地两大应用
日前,普华永道发布《2018年中国区块链(非金融)应用市场调查报告》。报告显示,防伪溯源、分布式数据存储、身份认证、供应链管理和共享类数据应用成为区块链技术落地的五大应用市场。其中,防伪溯源应用占比高至50%,分布式数据存储、身份认证和供应链管理则分别占比26.7%、23.3%和20%。
陈磊现场表示,迅雷在实践过程中发现,现阶段区块链技术的应用情况与上述报告存在相似和吻合的地方。因此,该公司即将针对商品溯源、数据分享、版权分发、知识经济、社会公益和征信这六大领域推出相关解决方案,帮助开发者从0到1快速搭建区块链应用,提高效率,降低技术门槛。「我们做的也不是应用,而是做系统设计框架和智能合约组建的基础模块,帮助(开发者)在迅雷链上开发这些应用。」陈磊进一步解释道。
值得注意的是,在本次大会上,迅雷还发布了迅雷链的三个TRC标准:
通证资产标准:通过该协议,可在迅雷链上支持你所需要发行的通证。唯一性资产标准:在区块链上,通证的所有权是唯一性的。可授权的唯一性资产标准:在该协议下,只有被授权的用户才能够享用这一可授权的唯一性资产。
目前,迅雷链已与国内数十家企业、机关单位和政府部门达成合作,以提供相关区块链解决方案。「每一个踏踏实实做区块链的区块链人,都不能被辜负。」陈磊最后表示。
- ?
教你用IPFS安全地分享区块链上的文件
普里西拉
展开
区块链兄弟社区,区块链技术专业问答先行者,中国区块链技术爱好者聚集地
作者:铃铃
文章来源:币乎
原文链接:https://bihu/article/138549
著权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
本文约4000字+,阅读(观看)需要24分钟
最近,越来越多的人开始对区块链产生兴趣。虽然大多数关注点被放在加密货币与各种ICO上面,但区块链技术本身也同样令人兴奋。区块链构建了一种民主化的信任与验证协议,已经颠覆了传统银行模式,并且正在对医疗,理财,社交应用等领域产生影响。
然后,从技术上看,区块链也并非没有缺点。目前的PoW(Proof of work)共识机制, 使得交易处理速度十分缓慢,以至于在某些情况下变得几乎没用。风靡一时的加密猫也一度让整个以太坊网络陷入瘫痪。
从区块链的现状来看,在链上存储大量的数据不是一个好的选择。既然区块链只能处理少量字符与文本,记录收付款情况,那我们怎么能在链上直接存储一些较大的文件或者图片之类的数据呢?难道区块链真的只能局限于记录这种小微数据量的应用?
引入IPFS
IPFS全称为Interplanet File System,中文可以叫做星际文件系统,由Protocol Labs主导开发。它是目前最有希望能被用于解决这个问题的方案。IPFS是一种点对点的传输协议,每个节点都存储一系列通过hash索引的文件。当某个客户端需要访问这些文件的时候,只需要通过一个巧妙封装过的抽象层,传入文件的hash值。IPFS会通过这个hash值,从活跃的节点当中找到对应的文件,并返回文件内容给客户端。
你可以把IPFS想象成类似我们熟悉的BT下载协议。它是一种去中心化的文件存储与索引方式,通过hash索引,你可以更自如地管理与访问文件,同时提供更加强大的可编程性。
下图简单的表述了IPFS的工作流程:
John打算上传一份PDF文档到IPFS他首先把PDF文件放到电脑工作区然后,使用IPFS相关命令添加这个文件,并且得到了文件的hash值。(IPFS的hash值总是以Qm开头,比较好认)上面动作结束后,这个PDF文件就可以在IPFS上面被访问了。
现在,John打算把这个PDF通过IPFS分享给他的同事Mary。他只需要将第3步得到的hash值告诉Mary,然后Mary就能按图索骥,从IPFS上面下载这份文件。整个过程还挺酷的!
安全漏洞
实际上,这里有一个安全漏洞。任何得到这份PDF hash值的人,都可以轻松从IPFS上下载它。对于带有敏感信息的文件并不适合这样直接分享。因此,当我们需要在IPFS上共享一些敏感文件时,就需要预先对这些文件做一些处理。
引入不对称加密
幸运的是,我们有现成的工具能够很好的配合IPFS来安全的共享文件。不对称加密技术能够让我们用文件接收方的公钥加密文件,之后接收方从IPFS下载文件之后,再用私钥解密即可。作恶方就算从IPFS上取得这个文件,也不能做任何事情,因为无法解密其内容。在这个教程中,我们将采用GPG不对称加密算法。
让我们重新设一下前面的工作流程,这次引入加密和解密的过程:
John打算上传一份PDF到IPFS,但只打算给Mary一个人看。他将PDF放入电脑的工作区,然后用Mary的公钥对其进行加密。然后,使用IPFS相关命令添加这个加密后的文件,并且得到了加密文件的hash值。上面动作结束后,这个加密过的文件就可以在IPFS上面被访问了。Mary得知hash值之后,可以从IPFS上下载,并用她的秘钥解密得到原PDF文件。任何企图作恶的一方,由于没有Mary的密钥,所以他们无法解密这个文件,从而保证了文件在IPFS上面的安全共享。
区块链
下面这张图很重要:
注意到每个区块中BPM字段,这样的简单字段才是区块链目前能够应付的。这也是为什么加密货币能够很好的在区块链上运作。因为,只要需要记录付款地址,收款地址,转账的比特币(以太坊等)数量,这样简单的字段。由于区块链的链式结构,假如我们把大量文件和数据存放在链上,进行完整性验证的时候,将会是一场十分恐怖的噩梦。
然而,当我们把IPFS和区块链结合在一起的时候,它们就变得十分强大。实际上,我们只在区块链上存储文件的hash值,就像BPM字段那样!这是一个不错的想法。我们在保证区块链上数据简单性的同时,又利用到了IPFS去中心化的文件存储!充分利用了区块链和IPFS的优势。然后,再加上不对称加密技术(GPG),我们现在有了一套在区块链上优雅地存储,共享大量数据和文件的方法。
在实际应用中,每个区块里存储的可能是健康数据或者实验室数据的hash值。当我们得到一个新的实验结果,我们可以将加密后的实验结果上传到IPFS,在新建的区块内存储相应的hash值即可。
说了这么多,看看具体怎么做吧!
本教程包含的内容:
配置GPG搭建IPFS用公钥加密文件上传加密文件至IPFS从IPFS下载加密文件,然后确认只有私钥拥有者才能解密内容
需要做的准备
一台备用电脑或者虚拟机也行。这台备用电脑就是你的文件接收方。一个测试文件。这个可以自己随意定,PDF文档,txt文件都行。
好了,下面开始!
配置GPG
在两台电脑上都安装GPG,下载链接。如果是Mac的话,直接用brew install gnupg命令安装。
用下面的命令,在两台电脑上分别生成key:
gpg --gen-key
之后按照提示,输入name, email 然后是密码,确保记住这个密码。
在第二台电脑上导出公钥:
gpg --export --armor email >pubkey.asc
把上面命令中的email替换成你配置GPG时填入的email地址,运行即可。拷贝pubkey.asc文件到你的第一台电脑上。最好用U盘,而不要用电子邮件这样的常规网络传输方式。
拷贝成功后,在你第一台电脑上运行:
gpg --import pubkey.asc
这样就导入了第二台电脑的公钥。可以用下面的命令检查是否导入成功:
gpg --list-keys
在命令输出结果中,你应该能看到第二台电脑的name 和 email。
都做好之后,GPG的配置就完成了,继续看看IPFS。
搭建IPFS
根据IPFS官方教程,在两台电脑上都下载安装。
安装成功之后,执行:
ipfs init
初始化结束之后,再运行:
ipfs daemon
启动ipfs进程。
都成功之后,IPFS搭建就结束了。
用公钥加密文件
这里我的测试文件是一个名为 myriad.pdf 的文档,我们用第二台电脑的公钥对其进行加密:
gpg --encrypt --recipient "Cory Health" myriad.pdf
需要注意的是,文件名需要根据你实际的测试文件名做更改,“Cory Health”替换为你第二台电脑公钥的名称。
加密成功之后,同目录下生成一个后缀名为.gpg的文件,只有在你第二台电脑上才能解密并查看这个文件,你可以尝试将它发送给你的朋友,测试是否能打开,就算他们把文件名改回myriad.pdf,也无法查看pdf的内容。
现在有了这个加密的文件,我们可以把它上传到IPFS!
上传加密文件至IPFS
在我们第一台电脑上运行:
ipfs add myriad.pdf.gpg
命令成功之后,会返回一个 Qm开头的hash值,你可以将这个hash值分享给你的朋友,或是任何人,他们就能通过IPFS下载到对应的文件。
为了确保我们上传成功了,我们可以运行:
ipfs pin ls
返回结果里面,应该包含刚才的hash值。
从IPFS下载加密文件
记住,我们现在是用第二台电脑代表一个接收方,你甚至可以叫你的朋友操作第二台电脑! 在第二台电脑上运行:
ipfs get hashValue
把hashValue替换成上一步得到的以Qm开头的hash值,运行并等待下载。
运行结束之后,加密文件就被下载到了你第二台电脑上了。
解密文件
在第二台电脑运行:
gpg --decrypt encryptFile >myriad.pdf
这个myriad.pdf就是解密后的文件,可以直接查看其内容,验证是否解密成功。
哇喔!到这里我已经成功通过IPFS下载,并解密了我们的文件。用这个方式,我们就可以防止其他人查看我们放在IPFS上的文件内容了!
总结与展望
现在可以放松庆祝一下了!我们刚才掌握了一个十分强大的方法,它能够解决目前区块链技术的一些关键问题。
回顾一下我们都学到些什么:
认识到区块链在数据和文件存储方面的短板IPFS的配置和使用利用GPG加密敏感数据,并存储在IPFS理解了IPFS的去中心化文件系统,并且知道如何结合区块链去管理这些hash值。同时发挥了区块链和IPFS系统的优点。
之后,你可以根据自己的实际情况去使用你在这里学到的东西。值得注意的是,如果你的文件在IPFS节点上不是很受欢迎的话,那么你停掉自己的节点之后,很可能没有其他的节点去保管你的文件。从而,你的文件可能会从IPFS上消失。解决的办法就是,你可以利用云服务搭建一个IPFS节点,来保管你的文件,直到你确定你的文件足够受欢迎。
【本文译自:Learn to securely share files on the blockchain with IPFS! 】
文章发布只为分享区块链技术内容,版权归原作者所有,观点仅代表作者本人,绝不代表区块链兄弟赞同其观点或证实其描述。
- ?
HDFS 透明加密 -- Apache Hadoop 2.9.1
管映冬
展开
Apache Hadoop 2.9.1
请查看原文:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html
(如果转发,请标明出处)
概述
HDFS实现透明的,端到端(transparent, end-to-end)的加密。配置以后,从特殊HDFS目录读取和写入的数据将透明地加密和解密,而不需要更改用户应用程序代码。这种加密也是端到端的,这意味着数据只能由客户端来进行加密和解密。HDFS从不存储或访问未加密数据或未加密数据加密密钥,这满足了加密的两个典型要求:静态加密(at-rest encryption)(指永久介质(如磁盘)上的数据)和传输中的加密(in-transit encryption)(如数据通过网络传输时)。
背景
加密可以在传统数据管理软件/硬件堆栈中的不同层上进行,可以根据不同的优点和缺点选择在给定层进行加密。
① Application-level encryption(应用程序层加密) 。这是最安全最灵活的方法。应用程序对加密内容具有最终控制能力,能够准确反映用户的需求。然而,编写应用程序来做到这一点非常困难,特别对于不支持加密的现有应用程序的客户来说,这不是一个可行选项。
② Database-level encryption(数据库层加密)。属性类似于应用程序层机密。大多数数据库供应商都提供了某种形式的加密,但是,可能存在性能问题。一个反例是索引不能进行加密。
③ Filesystem-level encryption.(文件系统层加密)。此选项提供高性能、应用程序透明性,并且通常易于部署。但是,它无法对某些应用程序级策略进行建模。例如:多租户应用程序可能希望基于最终用户进行加密;数据库可能需要为存储在单个文件中的每个列设置不同的加密设置。
④ Disk-level encryption(硬盘层加密)。易于部署及高性能,但是不灵活,只有真正防止物理盗窃。
HDFS层加密适用于此堆栈中的数据库层和文件系统层加密。这有很多积极的影响。HDFS加密能够提供良好的性能,现有的Hadoop应用程序能够对加密数据透明运行。HDFS在决策时也比传统的文件系统有更多的上下文。
HDFS层加密还可以防止文件系统层和以下层的攻击(所谓的“操作系统层攻击”)。操作系统和磁盘仅与加密字节交互,因为数据已由HDFS加密。
Use Cases
许多不同的政府、金融和监管实体都需要数据加密。例如,医疗保健行业有HIPAA法规,卡支付行业有PCI DSS法规,美国政府有FISMA法规。在HDFS中内置透明加密使组织更容易遵守这些法规。
加密也可以在应用程序层执行,但是通过将它集成到HDFS中,现有的应用程序可以对加密的数据进行操作,而无需更改。这种集成架构意味着更强的加密文件语义和与其他HDFS功能的更好协调。
架构
概述
为了实现透明加密,HDFS引入了一个新的抽象概念:加密区(the encryption zone)。一个加密区就是一个特殊目录,它的内容在写入时透明加密,在读取时透明解密。每个加密区都与创建该区时指定的单个加密区密钥相关联。加密区的每个文件都有自己唯一的加密秘钥(DEK)。DEK不是直接由HDFS处理,相反,HDFS只处理加密数据加密秘钥(encrypted data encryption key EDEK)。客户端解密EDEK,然后使用后续DEK读取和写入数据。HDFS datanode只能看到一个加密字节流。
加密的一个非常重要的用例是“打开它”,并确保整个文件系统中的所有文件都被加密。为了支持这种强有力的保证,同时又不失在文件系统的不同部分使用不同加密区密钥的灵活性,HDFS允许嵌套加密区。当一个加密区被创建后(例如根目录/),用户可以用不同的密钥在其后代目录(例如/home/alice)上创建更多的加密区。文件的EDEK将会使用祖先加密区的加密区密钥生成。
一个新的集群服务是提供密钥管理:the Hadoop Key Management Server (KMS). 在HDFS加密方面,KMS执行三项基本职责:
① 提供对存储的加密区密钥的访问
② 生成新的加密数据加密密钥以存储在NameNode上
③ 为HDFS客户端提供解密使用的加密数据加密密钥
下面将会详细介绍KMS。
访问加密区内的数据
当在一个加密区创建了一个新文件,NameNode 会要求KMS根据加密区密钥来加密生成一个新的EDEK,EDEK随后会作为文件元数据的一部分永久存储在NameNode上。
当从加密区读取一个文件时,NameNode 会向客户端提供文件的EDEK和用于加密EDEK的加密区密钥版本,客户端接着访问KMS来解密EDEK,这包括检查客户端是否具有访问加密区密钥版本的权限。假设KMS解密成功,客户端将使用DEK解密文件中的内容。
读写路径的所有上述步骤都是通过DFSClient、NameNode和KMS之间的交互自动进行的。
对加密文件数据和元数据的访问由正常HDFS文件系统权限控制。这意味着,如果HDFS受到危害(例如,通过获得对HDFS超级用户帐户的未授权访问),恶意用户只能获得对密文和加密密钥的访问。但是,由于对加密区域密钥的访问由KMS和密钥存储上的单独权限集控制,因此不会构成安全威胁。
Key Management Server, KeyProvider, EDEKs
KMS是一个代理,代表HDFS后端程序和客户端与备份密钥存储接口。密钥存储和KMS都实现了Hadoop KeyProvider API。有关详细信息,请参阅KMS文档。
在KeyProvider API中,每个加密密钥都有一个唯一的密钥名称。因为密钥可以滚动,所以密钥可以有多个密钥版本,其中每个密钥版本都有自己的密钥材料(加密和解密期间使用的实际秘密字节)。加密密钥可以通过其密钥名称(返回密钥的最新版本)或特定密钥版本来获取。
KMS实现了额外的功能,可以创建和解密加密密钥EEKs ( encrypted encryption keys 缩写为EEKs )。EEKs的创建和解密完全在KMS上进行。重要的是,请求创建或解密EEK的客户端从不处理EEK的加密密钥。要创建新的EEK,KMS将生成一个新的随机密钥,使用指定的密钥对其进行加密,并将EEK返回给客户端。要解密EEK,KMS检查用户是否有权访问加密密钥,使用它来解密EEK,并返回解密的加密密钥。
在HDFS加密的上下文中,EEKs是加密数据加密密钥( EDEKs ),其中数据加密密钥( DEK )是用于加密和解密文件数据的密钥。通常,密钥存储被配置为仅允许最终用户访问用于加密DEKs的密钥。这意味着EDEKs可以由HDFS安全存储和处理,因为HDFS用户将无法访问未加密的加密密钥。
配置
一个必要的先决条件是KMS的实例以及KMS的备份密钥存储。有关详细信息,请参阅KMS文档。一旦KMS被设置,NameNode和HDFS客户端被正确配置,管理员就可以使用haddoop key和hdfs crypto命令行工具来创建加密密钥和设置新的加密区域。通过使用distcp等工具将现有数据复制到新的加密区,可以对其进行加密。
配置 cluster KeyProvider
① hadoop.security.key.provider.path
读取和写入加密区时,如果需要与使用的加密密钥交互,就需要用到KeyProvider 。HDFS客户端将使用(通过getServerDefaults从Namenode返回的)提供的路径。如果NameNode不支持返回密钥提供程序uri,则将使用客户端的conf。
选择加密算法和codec
① hadoop.security.crypto.codec.classes.EXAMPLECIPHERSUITE
The prefix for a given crypto codec, contains a comma-separated list of implementation classes for a given crypto codec (eg EXAMPLECIPHERSUITE). The first implementation will be used if available, others are fallbacks.
② hadoop.security.crypto.codec.classes.aes.ctr.nopadding
Default: org.apache.hadoop.crypto.OpensslAesCtrCryptoCodec, org.apache.hadoop.crypto.JceAesCtrCryptoCodec
Comma-separated list of crypto codec implementations for AES/CTR/NoPadding. The first implementation will be used if available, others are fallbacks.
③ hadoop.security.crypto.cipher.suite
Default: AES/CTR/NoPadding
Cipher suite for crypto codec.
④ hadoop.security.crypto.jce.provider
Default: None
The JCE provider name used in CryptoCodec.
⑤ hadoop.security.crypto.buffer.size
Default: 8192
The buffer size used by CryptoInputStream and CryptoOutputStream.
Namenode configuration
① dfs.namenode.list.encryption.zones.num.responses
Default: 100
列出加密区域时,批处理中返回的最大区域数。成批递增获取列表可提高NameNode性能。
crypto 命令行接口
createZone
Usage: [-createZone -keyName-path]
创建一个新的加密区.
path
The path of the encryption zone to create. It must be an empty directory. A trash directory is provisioned under this path.
keyName
Name of the key to use for the encryption zone. Uppercase key names are unsupported.
listZones
Usage: [-listZones]
列出所有加密区,需要超级用户权限.
provisionTrash
Usage: [-provisionTrash -path]
Provision a trash directory for an encryption zone.
path
The path to the root of the encryption zone.
getFileEncryptionInfo
Usage: [-getFileEncryptionInfo -path]
Get encryption information from a file. This can be used to find out whether a file is being encrypted, and the key name / key version used to encrypt it.
path
The path of the file to get encryption information.
使用范例
这些说明假定您是以正常用户或HDFS超级用户身份运行(如果适用)。根据您的环境需要使用sudo。
hadoop key create mykey
# As the super user, create a new empty directory and make it an encryption zone
hadoop fs -mkdir /zone
hdfs crypto -createZone -keyName mykey -path /zone
# chown it to the normal user
hadoop fs -chown myuser:myuser /zone
# As the normal user, put a file in, read it out
hadoop fs -put helloWorld /zone
hadoop fs -cat /zone/helloWorld
# As the normal user, get encryption information from the file
hdfs crypto -getFileEncryptionInfo -path /zone/helloWorld
# console output: {cipherSuite: {name: AES/CTR/NoPadding, algorithmBlockSize: 16}, cryptoProtocolVersion: CryptoProtocolVersion{description='Encryption zones', version=1, unknownValue=null}, edek: 2010d301afbd43b58f10737ce4e93b39, iv: ade2293db2bab1a2e337f91361304cb3, keyName: mykey, ezKeyVersionName: mykey@0}
Distcp considerations
使用超级用户运行
distcp的一个常见用途是为了备份和故障恢复在集群之间复制数据。这通常由HDFS超级用户集群管理员执行。
为了在使用HDFS加密时启用相同的工作流,我们引入了新的虚拟路径前缀,/.reserved/raw/,它允许超级用户直接访问文件系统中的底层块数据。这允许超级用户在不需要访问加密密钥的情况下对数据进行distcp,也避免了对数据进行解密和重新加密的开销。这也意味着源数据和目标数据将是逐字节相同的,如果数据是用新的EDEK重新加密的那就可能不是逐字节相同了。
使用 /.reserved/raw来distcp加密数据,使用- px flag来保留扩展属性是非常重要的。这是因为加密文件属性(如EDEK )是通过/.reserved/raw中的扩展属性公开的,必须保留才能解密文件。这意味着,如果distcp是在加密区根处或之上启动的,那么如果加密区不存在,它将在目标处自动创建加密区。但是,仍建议管理员首先在目标集群上创建相同的加密区,以避免任何潜在的灾难。
复制到加密位置
默认情况下,distcp会比较文件系统提供的校验和,以验证数据是否已成功复制到目标。当从未加密或加密位置的数据复制到加密位置时,文件系统校验和将不匹配,因为基础块数据不同,也因为新的EDEK将用于在目的地进行加密。在这种情况下,请指定- skipccheck和- update distcp标志,以避免验证校验和。
重命名和删除注意事项(Rename and Trash considerations)
HDFS限制跨加密区边界重命名文件和目录。这包括将加密文件/目录重命名为未加密目录(例如,hdfs dfs mv /zone/ encryptedFile /home /bob ),将未加密文件或目录重命名为加密区(例如,hdfs dfs mv /home/bob/unEncryptedFile /zone ),以及在两个不同的加密区进行重命名(例如, hdfs dfs mv /home/alice/zone1/foo /home/alice/zone2)。在这些示例中,/zone、/home/alice/zone 1和/home/alice/zone 2是加密区,/home/bob是非加密区。仅当源路径和目标路径位于同一加密区中,或者两个路径都未加密(不在任何加密区中)时,才允许重命名。
这种限制大大提高了安全性,并简化了系统管理。加密区域下的所有文件EDEKs都使用加密区域密钥加密。因此,如果加密区域密钥受损,识别所有易受攻击的文件并重新加密它们是很重要的。如果最初在加密区中创建的文件可以重命名为文件系统中的任意位置,这从根本上说是困难的。
为了符合上述规则,每个加密区在“zone directory”都有自己的 .Trash目录。例如,执行hdfs dfs rm /zone/encryptedFile之后,encryptedFile将会被移动到 /zone/.Trash,而不是移动到用户home目录下的 .Trash 目录。当整个的加密区删除后,“zone directory” 将会移动到用户home目录下的 .Trash 目录。
如果加密区是根目录(例如/),则root目录的垃圾路径是 /.Trash,而不是每个用户home目录下的.Trash 目录。重命名根目录中的子目录或子文件的行为将与本节顶部提到的一般加密区(如/ zone )中的行为保持一致。
Hadoop 2.8.0 之前的版本crypto命令没有自动提供.Trash 目录。如果加密区是在Hadoop 2.8.0 版本之前创建的,并且集群需要升级到Hadoop 2.8.0 后者更高版本,则需要使用-provisionTrash来创建trash目录(例如hdfs crypto -provisionTrash -path /zone)。
攻击向量
硬件访问漏洞
这些漏洞假设攻击者已从集群机器(即datanodes and namenodes)获得对硬盘的物理访问。
(1) 访问包含数据å...
- ?
设置访问密码保护电脑文件安全的有效解决办法
小蕊
展开
如何加密文件呢?怎么对文件设置密码保护防止泄密呢?有时我们需要对电脑中的机密或私密文件进行加密保护,以防止被恶意查看或泄密。接下来就与大家分享一下有关电脑文件加密及防止泄密的具体方法。
方法一:利用Windows提供的加密文件功能来实现。
右击想要进行加密的文件,从其“属性”窗口中点击“高级”按钮,并在弹出的“高级设置”界面中,勾选“加密内容以保护数据”项,点击“确定”按钮返回。
当点击“属性”窗口中的“确定”按钮时,会弹出如图所示的“加密警告”窗口,在此只勾选“只加密文件”项,点击‘确定”按钮。
此时就可以在任务栏显示“加密文件”图标,双击即可打开如图所示的“加密文件系统”界面,点击“现在备份”按钮。
接下来在“证书导出向导”界面中,按照提示进行操作,设置相应的访问密码以及想要导出的其它相关信息,即可完成当前文件的加密操作。
通过以上方法可以实现文件的加密功能,但是只能针对不同的用户才能实现保护功能,当别人通过此电脑中的同一账户访问文件时,其保护功能则完成无效。为了解决这一难题,我们可以借助专门用于对计算机文件及文件夹进行加密的工具来实现。通过百度搜索下载“大势至电脑文件加密系统”即可实现更强大的文件保护功能。
方法二:打开“大势至电脑文件加密系统”后,在其程序主界面中,直接点击“加密文件”按钮,待完成相关加密文件的选择操作后,在弹出的如图所示的界面中输入加密密码和加密方式即可完成加密操作。
当然,利用此款加密工具,还可以对当前所加密的文件的访问权限进行更多控制,如图所示,勾选“高级加密”选项后,即可在“高级加密-设置权限”界面中,设置更多访问权限。
对于当前电脑中加密的文件或文件夹可以直接进行查看,也可以进行“解密”、“查看权限”以及”修改权限“操作。如图所示:
当对应的文件被成功加密后,尝试对其进行越权访问操作时,将提示“文件访问被拒绝”。如图所示,利用此方法可以保护文件的安全。
- ?
更新就能增大容量——APFS文件系统
贺念寒
展开
APFS是什么?
APFS的英文全称为Apple File System,这也就很简单地直译为“苹果文件系统”,为64位文件系统,单个分区支持9百亿亿文件,为取代苹果延用了30多年之久的HFS+文件系统而生,加入了很多现代文件系统应有的新功能特性。
作为新一代文件系统,苹果在去年的WWDC 2016开发者大会上表示,APFS通用于iOS、macOS、watchOS和tvOS这四个苹果主要的操作系统上,由于目前苹果大部分设备都采用闪存或SSD,所以APFS完全为这类存储作了优化设计(这点与F2FS文件系统的特性一样),并把加密性作为新文件系统最主要的功能改进。
APFS对苹果有多重要?
现有的HFS+实在太落后了
APFS文件系统对苹果有多重要,这就要提到苹果现有的文件系统HFS+。HFS+文件系统由苹果从HFS文件改进而来, 早在1998年就开始在苹果设备上使用(HFS在1984年),推出之时市面上仍以软盘和HDD作为主要存储设备,所以HFS+基本没有为现在流行的闪存和SSD作优化。HFS+在应付现代硬件和软件都已经力不从心,HFS+文件系统存在元数据以大字节序保存、单线程访问、不支持稀疏文件、写时复制等等一大堆缺点。
苹果现有设备的文件系统不统一
尽管苹果几乎所有设备和系统都是基于HFS文件系统,但实际上每个设备由于需要的特性不同(这其实也归咎于HFS的落后),导致采用的 文件系统却有多种,比如macOS上有HFS、HFS+和HFS+J,而iPhone、Apple Watch有用到HFS+和HFS+ Per-File Crypto,存储管理又有Fusion Drive和CoreStorage等等,相当混乱,所以苹果希望功能更先进、更齐全的APFS能改变这个现状,成为苹果设备中统一的文件系统。
苹果现在的文件系统太混乱
APFS功能特性?
APFS在基本的文件系统设计上就远比HFS+先进,HFS+为32位文件ID,而APFS支持64位索引节点,时间戳间距从HFS+的1秒降低至1纳秒,适应回现代处理器和SSD远低于1秒的文件操作时间,具备低延迟的特性,APFS还原生支持SSD的FTL和Trim,所以性能理论上会更强、空间利用率更高,另外与HFS+固定形式的文件系统结构不同,APFS是个具有扩展性的文件系统,可以在未来增加更多新特性、API。
APFS与HFS+对比
APFS文件系统上新增的Clone、Snapshot、Crash Protection等多个功能,这得益于Copy-On-Write(写时复制、简称COW),该技术主要作用为文件在进行修改操作时, 会先复制一份新文件,用户修改的实际是在这份新文件上,原来文件不会作修改,而等修改完成后新文件再替换掉原文件,这能充分发挥存储的读写性能和保持文件的完整性 ,而在修改过程中就算出现意外,也能保证原文件不掉失。
Clone(克隆)
Clone指的是APFS在执行复制文件操作时,实际只是创建了一个类似快捷方式的副本,文件本身并没有增加多一份出来、占多一份空间,而当文件作了修改后,也只会保存修改的部分,这对于苹果系统采取的沙盒运行APP机制相当有用,可以节省APP的占用空间。
Clone演示
Snapshot(快照)
在APFS文件系统中作了分区快照后,无论原分区内的文件作了增加还是删除操作,快照分区内的文件都不会发生变化,这提高了文件备份效率,还可以实现撤销操作,这有利iTunes、Time Machine等备份功能。
Snapshot演示
Space Sharing(空间共享)
Space Sharing为解决在单个磁盘上分区固定位置、固定大小的限制,允许在不用重新分区的情况下,动态调整分区的大小,APFS格式的磁盘实际为单个容器(container),多个分区共享容器的空余容量。
支持动态调整容量
比如在一个100GB的APFS格式磁盘上,有一个10GB的A分区和一个20GB的B分区,那么A和B分区都可以任意用到剩下的70GB,这样在A分区中,即使存储一个超过10GB的文件也没问题,最大可以去到80GB。
Encryption(加密)
APFS可同时支持无加密、单密钥(Single-key)到多密钥(Multi-key)三种加密方式,单密钥即为普遍采用的全盘加密,而多密钥加密为APFS独有的加密方式,文件数据采用单个文件级别加密,而元数据采用独立密匙,这使得就算用户的硬件加密被破解,也无法在系统中获取用户的文件。
Crash Protection(防崩溃)
由于Copy-on-write的加入,现在APFS不再需要两次写入的日志式文件保护来确保元文件数据不会崩溃。
Sparse Files(稀疏文件)
稀疏文件为一种文件存储方式,在创建文件时就预留连续存储信息,但未实际占用存储空间,而到只有真正写入数据时,才会分配空间,现在APFS文件系统也加入支持。
Fast Directory(快速目录大小统计)
在以往的HFS+文件系统计一个目录的总大小需要花费较长的时间,但在APFS中,目录的大小信息文件为分开保存,并用原子操作(Atomic Operation)来更新这个信息文件,这部分额外占用的文件为小增量增长。
Atomic Safe-Save(原子级安全保存)
在一个集群或目录类文件中进行重命名等原子级文件操作时,如果无法完全完成,原文件数据不会被替换或删除,这也体现了APFS的绝对一致性,要求文件只有一定能够修改成功的情况下,文件才会被保存,否则不会进行操作。
HFS compatibility(向下兼容)
APFS依然向下兼容HFS、HFS+文件系统,包括原来大部分的开发特性。
- ?
EFS加密文件的最新解密办法
华碧玉
展开
EFS(Encrypting File System,加密文件系统)是Windows系统特有的一个实用功能,对于NTFS卷上的文件和数据,都可以直接被操作系统加密保存,在很大程度上提高了数据的安全性。但是,如果不小心重装系统或损坏硬盘等将导致EFS加密文件无法打开,无法复制,但可以删除。EFS加密解密都是透明完成,如果用户加密了一些数据,那么其对这些数据的访问将是完全允许的,并不会受到任何限制,因此,文件被EFS加密后并不会被察觉,只有重装系统后才发现,但为时已晚。值得注意的是,如果把未加密的文件复制到具有加密属性的文件夹中,这些文件将会被自动加密。
判断是不是EFS加密最简单的办法就是看文件的颜色,如果文件名为绿色,肯定是EFS加密。如果颜色正常,也可以在文件上点击鼠标右键,选择“属性”,打开属性对话框,然后在常规选项卡上点击“高级”按钮,打开高级属性对话框,如果“加密内容以便保护数据”这个选项被选中,肯定是EFS加密。
EFS是一种公钥加密,在使用EFS加密一个文件或文件夹时,系统首先会生成一个由伪随机数组成的FEK (File Encryption Key,文件加密钥匙),然后利用FEK和数据扩展标准X算法创建加密后的文件,并把它存储到硬盘上,同时删除未加密的原始文件。随后系统利用你的公钥加密FEK,并把加密后的FEK存储在同一个加密文件中。而在访问被加密的文件时,系统首先利用当前用户的私钥解密FEK,然后利用FEK解密出文件。
在首次使用EFS时,如果用户还没有公钥/私钥对(统称为密钥),则会首先生成密钥,然后加密数据。文件的加密和解密都需要密钥的参与,而密钥分为公钥和私钥两种。加密文件的时候使用公钥,解密文件的时候则使用相对应的私钥。
解密EFS加密文件有两种情况:
1)备份了之前系统的相关文件
如果你在重装系统前备份了"C:\Documents and Settings\<用户名>\Application Data\Microsoft\"这个文件夹的话(<用户名>指的是你之前系统的用户名),恭喜你,你的EFS文件有救了!否则请看另一种情况。
2)之前的系统文件没备份
如果你在重装系统前没有备份任何文件,也不要放弃,只要你的数据还在硬盘,就一定能找回,只不过是时间的问题(通常需要几十分钟,分区越大时间越久),这个时候一定要记住:不要再对硬盘进行任何操作,不要再次重装系统,不要开机,不要拷贝文件,等待专业人员,否则你很可能覆盖掉有用的数据,造成EFS密钥丢失,永远都不可能解密了。找回密钥文件后,恭喜你,你的EFS文件可以解密了!
常见问题解答:
1.为什么打开加密过的文件时没有需要我输入密码?
这正是EFS加密的一个特性,同时也是EFS加密和操作系统紧密结合的最佳证明。因为跟一般的加密软件不同,EFS加密不是靠双击文件,然后弹出一个对话框,然后输入正确的密码来确认的用户的;EFS加密的用户确认工作在登录到Windows时就已经进行了。一旦你用适当的账户登录,那你就能打开相应的任何加密文件,并不需要提供什么额外的密码。
2.我的加密文件已经打不开了,我能够把NTFS分区转换成FAT32分区来挽救我的文件吗?
这当然是不可能的了。很多人尝试过各种方法,例如把NTFS分区转换成FAT32分区;用NTFS DOS之类的软件到DOS下去把文件复制到FAT32分区等,不过这些尝试都以失败告终。毕竟EFS是一种加密,而不是一般的什么权限之类的东西,这些方法对付EFS加密都是无济于事。而如果你的密钥丢失或者没有做好备份,那么一旦发生事故所有加密过的数据就都没救了。
3.我加密数据后重装了操作系统,现在加密数据不能打开了。如果我使用跟前一个系统相同的用户名和密码总应该就可以了吧?
这当然也是不行的,我们在前面已经了解到,跟EFS加密系统密切相关的密钥是根据每个用户的SID得来的。尽管你在新的系统中使用了相同的用户名和密码,但是这个用户的SID已经变了。这个可以理解为两个同名同姓的人,虽然他们的名字相同,不过指纹绝不可能相同,那么这种想法对于只认指纹不认人名的EFS加密系统当然是无效的。
4.被EFS加密过的数据是不是就绝对安全了呢?
当然不是,安全永远都是相对的。以被EFS加密过的文件为例,如果没有合适的密钥,虽然无法打开加密文件,不过仍然可以删除(有些小人确实会这样想:你竟然敢加密了不让我看!那好,我就删除了它,咱们都别看)。
5.我只是用Ghost恢复了一下系统,用户账户和相应的SID都没有变,怎么以前的加密文件也打不开了?
这也是正常的,因为EFS加密所用到的密钥并不是在创建用户的时候生成,而是在你第一次用EFS加密文件的时候。如果你用Ghost创建系统的镜像前还没有加密过任何文件,那你的系统中就没有密钥,而这样的系统制作的镜像当然也就不包括密钥。一旦你加密了文件,并用Ghost恢复系统到创建镜像的状态,解密文件所用的密钥就丢失了。因此这个问题一定需要注意!
想看到更多这类内容?去APP商店搜IT之家,天天都有小欢喜。
- ?
Linux 文件系统的安全,值得收藏
支世倌
展开
一、概述
Linux 支持的文件系统种类繁多,他们为用户的数据存储和管理提供了良好的操作和使用界面。在文件系统中,存在着文件 / 目录访问权限管理和控制、加密文件系统等的安全机制和问题需要考虑,本章节将详细介绍保证 Linux 文件系统安全的技术和方法。
随着 Linux 的不断发展,其所能支持的文件格式系统也在迅速扩充。特别是 Linux2.6 内核正式推出后,出现了大量新的文件系统,其中包括日志文件系统 Ext4、Ext3、ReiserFS、XFS、JFS 和其他文件系统。Linux 系统核心可以支持十多种文件系统类型:JFS、ReiserFS、Ext、Ext2、Ext3、ISO9660、XFS、Minx、MSDOS、UMSDOS、VFAT、NTFS、HPFS、NFS、SMB、SysV、PROC 等。
1、文件系统安全性对比
从自动修复损坏的文件系统来看,ext2、ext3 都能自动修复损坏的文件系统,也都是在开机时进行。ext2 和 ext3 文件系统在默认的情况下是“每间隔 21 次挂载文件系统或每 180 天,就要自动检测一次。通过实践来看 ext2 和 ext3 在自动检测上是存在风险,有时文件系统开机后就进入单用户模式,并且把整个系统“扔”进 lost+found 目录,如果要恢复系统,就得用 fsck 来进行修复;当然 fsck 也同样存在风险;所以对 ext2 和 ext3 文件系统的使用,对新手来说的确需要心里准备;毕竟修复已经损坏的 ext2 和 ext3 文件系统是有困难的;另外 ext2 和 ext3 文件系统对于意外关机和断电,也可能导致文件系统损坏,所以我们在使用过程中,必须是合法关机;比如执行 poweroff 指令来关掉机器。
从文件系统的反删除来看,ext2 支持反删除,对于一般使用者来说应该是安全的,但对于保密单位来说可能意味着不安全。从反删除角度来说明文件系统的安全性,也是有两方面。如果用户的工作是从事比较机密的,用 ext3 比较好,因为 ext3 一旦删除文件,是不可恢复的,因为反删除能恢复相应的绝秘资料的泄秘,所以 ext3 可能更适合从事机密工作的用户。
2、新型的 Ext4 文件系统
Ext4 是 Linux 内核版本 2.6.28 的重要部分。它是 Linux 文件系统的一次革命。在很多方面,Ext4 相对于 Ext3 的进步要远超过 Ext3 相对于 Ext2 的进步。Ext3 相对于 Ext2 的改进主要在于日志方面,但是 Ext4 相对于 Ext3 的的改进是更深层次的,是文件系统数据结构方面的优化。一个高效的、优秀的、可靠的和极具特点的文件系统就此诞生。目前,该文件系统并未在所有的 Linux 发行套件中完全普及使用,还处于初期的测试阶段。
二、安全设定文件 / 目录访问权限
1、基本命令设定和基本知识
查看Linux文件的权限:ls -l 文件名称
查看linux文件夹的权限:ls -ld 文件夹名称(所在目录)
例如
drwxr-xr-x 2 root root 40962009-01-1417:34 bin
第一个字符代表文件类型。[d]–目录、[-]–文件、[l]–链接、[b]–可储存周边设备、[c]–序列设备、[s]-套接字。例子中是d,代表是一个目录。
接下来每三个字符为一组权限,分为三组,依次代表所有者权限,同组用户权限,其它用户权限。
每组权限的三个字符依次代表是否可读,是否可写,是否可执行,[r]–可读、[w]–可写、[x]–可执行、[-]-相应的权限还没有被授予。其中,rwx也可以用数字来代替,[r]=4,[w]=2,[x]=1,[-]=0。
第一组rwx :表示拥有人(user)所有者的权限 (这里rwx:代表拥有人有可读,可写,可执行的权限)
第二组r-x:表示同组群(group)使用者权限(这里r-x代表同组群使用者有可读,可执行权限)
第三组r-x:表示其他(other)使用者权限(这里r-x代表其他使用者有可读,可执行权限)
修改文件及文件夹权限:
sudo chmod -(代表类型)×××(所有者)×××(组用户)×××(其他用户)
常用修改权限的命令:
sudo chmod 600×××(只有所有者有读和写的权限[-rw-------])sudo chmod 644×××(所有者有读和写的权限,组用户只有读的权限[-rw-r--r--])sudo chmod 666×××(每个人都有读和写的权限[-rw-rw-rw-])sudo chmod 700×××(只有所有者有读和写以及执行的权限[-rwx-----])sudo chmod 777×××(每个人都有读和写以及执行的权限[-rwxrwxrwx])sudo chmod o+w xxx.xxx (表示给其他人授予写xxx.xxx这个文件的权限)sudo chmod go-rw xxx.xxx (表示删除xxx.xxx中组群和其他人的读和写的权限)
Linux 系统中的每个文件和目录都有访问许可权限,通过其确定谁可以通过何种方式对文件和目录进行访问和操作。下面将对文件 / 目录访问的方法和命令进行介绍。
文件或目录的访问权限分为只读,只写和可执行三种。以文件为例,只读权限表示只允许读其内容,而禁止对其做任何的更改操作;只写权限允许对文件进行任何的修改操作;可执行权限表示允许将该文件作为一个程序执行。文件被创建时,文件所有者自动拥有对该文件的读、写和可执行权限,以便于对文件的阅读和修改。用户也可根据需要把访问权限设置为需要的任何组合。
有三种不同类型的用户可对文件或目录进行访问:文件所有者,同组用户、其他用户。所有者一般是文件的创建者。它可以允许同组用户有权访问文件,还可以将文件的访问权限赋予系统中的其他用户。在这种情况下,系统中的每一位用户都能访问该用户拥有的文件或目录。
每一个文件或目录的访问权限都有三组,每组用三位表示,分别为文件属主的读、写和执行权限;与属主同组的用户的读、写和执行权限;系统中其他用户的读、写和执行权限(如图 1 所示)。当用 ls -l 命令显示文件或目录的详细信息时,最左边的一列为文件的访问权限。例如:
#ls -l sobsrc.tgz -rw-r--r--1 root root 483997Ju1 l5 17:3l sobsrc.tgz
横线代表空许可(即表示不具有该权限)。r 代表只读,w 代表写,x 代表可执行。注意:这里共有 10 个位置。第 1 个字符指定了文件类型。在通常意义上,一个目录也是一个文件。如果第 1 个字符是横线,表示是一个非目录的文件。如果是 d,表示是一个目录。后面的 9 个字符每三个构成一组,依次表示文件主、组用户、其他用户对该文件的访问权限。
例如:
-rw-r--r-- sobsrc.tgz
表示文件 sobsrc.tgz 的访问权限,说明 sobsrc.tgz 是一个普通文件;sobsrc.tgz 的属主有读写权限;与 sobsrc.tgz 属主同组的用户只有读权限;其他用户也只有读权限。
确定了一个文件的访问权限后,用户可以利用 Linux 系统提供的 chmod 命令来重新设定不同的访问权限。也可以利用 chown 命令来更改某个文件或目录的所有者。
图 1. 文件 / 目录访问权限示意图
2、改变文件 / 目录的访问权限
chmod 命令用于改变文件或目录的访问权限,它是一条非常重要的系统命令。用户可用其控制文件或目录的访问权限。
该命令有两种用法。一种是包含字母和操作符表达式的文字设定法;另一种是包含数字的数字设定法。
文字设定法
文字设定法的一般使用形式为:chmod [who] [+ | - | =] [mode] 文件名。其中,操作对像 who 可以是下述字母中的任一个或者为各字母的组合:
u 表示“用户(user)”,即文件或目录的所有者。
g 表示“同组(group)用户”,即与文件属主有相同组 ID 的所有用户。
o 表示“其他(others)用户”。
a 表示“所有(all)用户”。其为系统默认值。
操作符号可以是:
+ 添加某个权限。
取消某个权限。
= 赋予给定权限并取消其他所有权限(如果有的话)。
设置 mode 所表示的权限可用下述字母的任意组合:
r:可读。
w:可写。
x:可执行。只有目标文件对某些用户是可执行的或该目标文件是目录时才追加 x 属性。
s:在文件执行时把进程的属主或组 ID 置为该文件的文件属主。方式“u+s”设置文件的用户 ID 位,“g + s”设置组 ID 位。
t:将程序的文本保存到交换设备上。
u:与文件属主拥有一样的权限。
g:与和文件属主同组的用户拥有一样的权限。
o:与其他用户拥有一样的权限。
如果在一个命令行中可给出多个权限方式,其间用逗号隔开。图 2 给出了使用该设定法的例子:
图 2. chmod 命令文字设定法使用示例
首先,设定文件 test1 的属性为:文件属主(u)增加执行权限 ; 与文件属主同组用户(g)增加执行权限;其他用户(o)增加执行权限,其命令为:
#chmod a+x test1
接着,设定文件 test2 的属性为:文件属主(u)增加写权限 ; 与文件属主同组用户(g)增加写权限;其他用户(o)删除执行权限,其命令为:
#chmod ug+w,o-x test2
最后,对可执行文件 test3 添加 s 权限,使得执行该文件的用户暂时具有该文件拥有者的权限:
#chmod u+s test3
在上述例子中,当其他用户执行 test3 这个程序时,他的身份将由于这个程序而暂时变成该 test3 程序的拥有者(由于 chmod 命令中使用了 s 选项),所以他就能够读取 test3.c 文件(虽然这个文件被设定为其他人不具备任何权限),这就是 s 的功能。在整个系统中特别是 root 本身,最好不要过多地设置这种类型的文件(除非必要),这样可以保障系统的安全,避免因为某些程序的 bug 而使系统遭到入侵。
数字设定法
数字设定法是与文字设定法功能等价的设定方法,只不过比文字设定法更加简便。数字表示的属性的含义为:0 表示没有权限,1 表示可执行权限,2 表示可写权限,4 表示可读权限,然后将其相加。所以数字属性的格式应为 3 个从 0 到 7 的八进制数,其顺序是(u)、(g)、(o)。其他的与文字设定法基本一致。
如果想让某个文件的属主有“读 / 写”二种权限,须要把 4(可读)+2(可写)=6(读 / 写)。
数字设定法的一般形式为:chmod [mode] 文件名。图 3 给出使用该数字设定法的例子:
图 3. chmod 命令数字设定法示意
可以看到,图 3 中设定文件 test1 的属性为:文件属主(u)拥有读、写权限 ; 与文件属主同组人用户(g)拥有读权限;其他人(o)拥有读权限,而设定 test2 这个文件的属性为:文件主本人(u)具有可读 / 可写 / 可执行权限;与文件主同组人(g)可读 / 可执行权;其他人(o)没有任何权限。
3、chmod 命令详解
chmod 用于改变文件或目录以及所有子目录的访问权限。该命令有两种用法。一种是包含字母和操作符表达式的文字设定法;另一种是包含数字的数字设定法。
1. 文字设定法
chmod [who][+|-|=][mode]文件名
2. 数字设定法
chmod[mode]文件名
改变一个文件的权限:
chmod mode file|dir
改变所有子目录的权限(注意后面加了个-R参数):
chmod mode dir -R
参数就是权限模式,数字属性的格式应为3个从0到7的八进制数,其顺序是(u)(g)(o),mode=777 or 752 or 666,mode的三个数字,分别表示owner,group,others所具有的权限。1=x执行,2=w写,4=r读,比如owner具有所有权限,1+2+4=7, 又比如group 具有读 和执行权限 1+4=5。
命令中各选项的含义如下:
1)、操作对象who可是下述字母中的任一个或者它们的组合:
u 表示”用户(user),也就是所有者”,即文件或目录的所有者。g 表示”同组(group)用户,也就是所有者所在的组群”,即与文件属主有相同组ID的所有用户。o 表示”其他(others)用户,但不是u和g”。a 表示”所有(all)用户,也就是包括u,g和o”。它是系统默认值。
2)、设置mode所表示的权限可用下述字母的任意组合:
- 没有权限,即相应的权限还没有被授予,对应数字0。r 可读,对应数字4。w 可写,对应数字2。x 可执行,对应数字1。t 保存程序的文本到交换设备上。X 只有目标文件对某些用户是可执行的或该目标文件是目录时才追加x 属性。s 在文件执行时把进程的属主或组ID置为该文件的文件属主。方式”u+s”设置文件的用户ID位,”g+s”设置组ID位。
行动:
+ 表示添加某个权限- 表示删除某个权限= 表示使之成为唯一的权限,即赋予给定权限并取消其他所有权限(如果有的话)
文件名:
以空格分开的要改变权限的文件列表,支持通配符。
例如:把目录/his及其下的所有文件和子目录的属主改成wang,属组改成users:
chown -R wang.users /his
chmod 改变文件的权限,改变是对三种权限的累加,例如,r=4,w=2,x=1
own 4+2+1=7
group 4+2+1=7
other 4+2+1=7
命令为:
chmod 777文件名字
使用符号改变文件权限,chmod a+w 名字,chomod a-w 文件名,chomod u=rw,go=rw等用法,例如: -rw-r–r–
普通文件,文件主组用户其他用户是文件sobsrc.tgz 的访问权限,表示sobsrc.tgz是一个普通文件;sobsrc.tgz的属主有读写权限;与sobsrc.tgz属主同组的用户只有读权限;其他用户也只有读权限。
确定了一个文件的访问权限后,用户可以利用Linux系统提供的chmod命令来重新设定不同的访问权限。也可以利用chown命令来更改某个文件或目录的所有者。利用chgrp命令来更改某个文件或目录的用户组。
在一个命令行中可给出多个权限方式,其间用逗号隔开。例如:chmod g+r,o+r 使同组和其他用户对...
- ?
在树莓派加密根文件系统
喻败
展开
加密您的根文件系统在树莓Pi @Raspberry_Pi #PiDay #RaspberryPi
来自Scott_of_Zymbit的便捷教程在Zymbit社区页面上。
加密Raspberry Pi上的根文件系统有许多原因,从保持WiFi凭据不可变到保留专有软件和敏感数据不被克隆。对于许多Raspberry Pi配置,只有两个分区存在:
/ boot on / dev / mmcblk0p1
/ on / dev / mmcblk0p2
因此,加密根分区是一种加密一切的方式是有意义的。
在Pi上存储加密密钥
越来越多的Raspberry Pi家族真棒,我们喜欢它!它是便宜的,对于嵌入式设备具有令人难以置信的计算能力,并具有非常强大的软件开发生态系统。
然而,Raspberry Pi有一个致命的脚跟:SD卡是主要的软件部署媒体,它可以非常容易地删除并因此被操纵。自然的倾向是使用dm-crypt上的LUKS来加密文件系统,但是为了在许多部署单元中进行无人值守的使用,明显的问题是:LUKS密钥存储在哪里?当然这是文件系统。即使你尝试通过各种程序性手段来模糊它,关键还是很容易受到攻击。
Zymkey Raspberry Pi安全模块
zymkey-2i-blue-arrow-white-bg-web.png1000x668 131 KB
添加Zymkey 32安全模块有助于将LUKS密钥锁定在基于安全硬件的密钥库中。当Zymkey向特定主机Raspberry Pi进行身份验证时,密钥已激活(但未释放)。主机的身份验证是针对唯一和测量的ID,类似于具有一些附加材料的设备指纹。
zymbit安全模块20170516.png838x842 37.2 KB
Zymkey LUKS钥匙锁
术语“锁定”是指Zymkey提供一些明文数据块被加密和签名的通用服务。在这种情况下,当创建文件系统时,将LUKS密钥发送到Zymkey进行锁定(加密和签名)。当系统引导并需要解密根文件系统时,锁定的LUKS密钥是“解锁的”(签名验证和内容解密)并呈现给dm-crypt。如果密钥已成功解锁,引导过程继续正常。以下是LUKS / dm-crypt文件系统的启动顺序,其中的密钥由Zymkey保护:
内核初始化initramfs
initramfs向Zymkey显示锁定的LUKS密钥
Zymkey验证签名并解密密钥*
解密的密钥被呈现给LUKS,然后根文件系统被解密
*要求Zymkey的运行状态为“安全”或“dev_secure”
在外部磁盘或SD卡上加密RFS?
加密的根文件系统可以迁移到外部USB闪存,硬盘或SSD。现有的根文件系统可以转换为加密卷,但转换更复杂。将现有根文件系统迁移到外部设备如下所示:
创建LUKS密钥
锁定LUKS键
在外部USB设备上创建LUKS卷
在LUKS卷上创建一个ext4分区
将现有根文件系统移动到外部设备上的LUKS卷
引导到新的根文件系统并擦除以前的根卷
转换SD卡上的现有根文件系统仍然需要一个至少比现有根文件系统大一点的外部设备(如USB闪存驱动器),以便存储旧的文件系统。我们临时引导到外部设备上的根文件系统,以提供更容易的方式来转换和复制原始内容。这个过程看起来像这样:
制作原始根文件系统的tarball并将其存储在外部设备上
将原始根文件系统文件复制到外部设备,形成临时文件系统
启动到临时文件系统。一旦启动,临时文件系统将:
a。创建LUKS密钥
b。用zymkey
c 锁定LUKS键。在原始根分区上创建一个LUKS卷
d。在原始根分区
e 上的LUKS卷上创建一个ext4分区。将根文件系统的tarball解压到转换后的分区中
利弊
迁移到外部存储设备
优点:
1.外部设备可以容纳更多的数据。
2.迁移比SD卡转换方法更简单快捷。
一些外部设备的数据访问速度比SD卡要快得多。
一些外部设备(例如HDD)可以容纳比SD卡更多的写入周期。
缺点:
1.对于HDD和SSD以及非紧凑型USB闪存设备,还有额外的电源要求。
2.除了紧凑的USB闪存设备,物理空间要求也会增加。这对于Raspberry Pi Zero家族来说可能尤为重要。
转换为现有SD卡
1.物理空间要求较少。
2.需要更少的功率。
1.转换比迁移到外部驱动器更复杂和耗时。
2.数据空间限制。
3.写周期约束。
访问速度限制。
建立您的系统
先决条件
确保您的Zymkey软件套件已经运行和运行,并确保您的Zymkey被绑定。说明这里10。
外部存储设备迁移
要将根文件系统迁移到外部USB设备,可以运行以下脚本:
curl -G https://s3.amazonaws/zk-sw-repo/mk_encr_ext_rfs.sh | sudo bash
这个脚本是参数化的,所以如果你有特殊要求,你可以调用以下方式:
curl -G https://s3.amazonaws/zk-sw-repo/mk_encr_ext_rfs.sh | sudo bash -s -- -x
-p -m 在没有参数的上述调用中,默认值为:
1.位于/ dev / mmcblk0p2上的原始根文件系统
2.位于/ dev / sda1上的
新根文件系统3.新的根文件系统占用整个新设备
请注意,新的根文件系统的大小应至少比原始根分区大一点
在Pi Model 3上运行此脚本,其大小为16GB(SanDisk Ultra Class 10)的根分区,其中包含基本的Jessie安装以及Zymkey软件套件(1GB)到32GB SanDisk Cruzer Fit 1大约需要30-40分钟。Zymkey的LED快速闪烁,直到过程完成。
SD卡转换
要将根文件系统转换为LUKS / dm-crypt,请运行以下脚本:
curl -G https://https://s3.amazonaws/zk-sw-repo/mk_encr_sd_rfs.sh | sudo bash
此脚本是参数化的,因此如果您有特殊要求(例如,根文件系统生活在/ dev / mmcblk0p4上),则可以按以下方式调用该脚本:
curl -G https://s3.amazonaws/zk-sw-repo/mk_encr_sd_rfs.sh | sudo bash -s -- -x
-m 2.位于/ dev / sda上的原始根tarball的临时根文件系统/存储
3.临时根文件系统占用全新的设备
此外,临时根文件系统应至少是原始根文件系统大小的2倍。
需要注意的是,如果外部存储设备具有带原始根文件系统分区(例如/ dev / mmcblk0p2)的ext4格式化分区,则该脚本将使用外部存储设备上已经存在的分区来转换SD卡。这减少了转换大量Pi根文件系统的时间,并允许脚本在批量生产部署中使用。
购买预先配置的系统
我们将在4月17日提供预配置的系统,整合以下内容:
树莓Pi(3型或零W)
Zymkey,绑定和锁定
外部设备(USB闪存,HDD或SSD)或具有加密根文件系统的SD卡。