分布式存储系统

xddistcomcourse @ 163.com

块存储系统

如硬盘般存储数据，对外提供block driver接口

对象存储系统

存储key-value，对外提供GET，DEL等key-value database风格的接口

文件存储系统

对外如文件系统一样，提供POSIX风格的接口，并对VFS有一定支持

hadoop

客户端读取HDFS系统中指定文件指定偏移量处的数据时，工作流程是什么

• clinet要求NameNode提供DataNode list
• 联系DataNode，请求需要传输的块，首先尝试最近的副本，读取失败则依次读下一个副本
• 在块中读指定偏移量的data

客户端向HDFS系统中指定文件追加写入数据的工作流程是什么

• 要求NameNode选择几个DataNode托管第一个文件块的副本
• client组织node to node 流水线，传输数据
• 第一个块填入后，客户端要求DataNodes托管下一个块的副本
• 组织新的流水线

新增数据块时，如何选择物理节点

• 优先选取和client所在相同的DataNode，如果client所在容器中无DataNode，则任选一个DataNode