最初咱们应该更具体的贯串这样一个景色又大又粗又爽免费视频A片，为什么流行的时代框架会被淘汰。谈到淘汰，常见两种情况：

第一：应用口头被淘汰了，举例：BB机，功能机，最终被智能机淘汰，菲林被数码相机淘汰，即便诺基亚的功能机做得再完美，也会被淘汰。软件方面举例：末端的字处理，邮件收发等应用软件被视窗应用软件淘汰。

第二：时代升级，新时代弥补了老时代的颓势，况兼引入了更多有上风的功能。举例：Springframework的横空出世，配合Hibernate，在具有相通功效的情况下，处置了EJB的部署复杂，身形肥胖，诡计效果低，用纯真性，面向门径员的友好性，淘汰了也曾企业级经典的EJB。

那么关于Hadoop散布式文献系统（HDFS），咱们要盘问它的淘汰可能性，淘汰时代，最初咱们就要看它为什么要被淘汰的成分。从口头上，散布式文献系统是大数据存储时代极为垂危的一个领域，咱们还看不到散布式文献系统有被淘汰的任何情理，那么我就再看时代升级是否有淘汰它的可能性。

谈时代升级，最初要看HDFS的弱点，然后再看这种弱点的处置办法，是否会带来新的时代框架，然后让HDFS埋进历史的垃圾堆。

HDFS的弱点，咱们在经营和使用经由中，主要发现存三个问题：

01 部署复杂

HDFS为汇聚式合作架构，namenode要是单节点，部署并不复杂，关联词namenode当作单节点无法可靠的动手在坐褥环境，必须对namenode美满双机HA，那么部署复杂度就变得极高，这时候需要在namenode，datanode的基础上再引入namenode active，namenode standby的见地，需要引入QJM的元数据分享存储并基于Paxos做一致性合作，另外需要引入ZKFC和ZooKeeper，处置主备选举，健康探伤，主备切换等操作。

复杂的HDFS HA架构

因此HDFS的部署复杂度齐全是因为namenode HA导致的。这是汇聚式经管的散布式架构一个原生问题，如果在这个方位进行优化的话，那么就是简化QJM，ZKFC，ZooKeeper的多组职业，用一组职业来代替，关联词namenode和datanode的散布式数据块的读写，复制，复原机制，当今看荒谬锻炼，高效，这是中枢问题，并不是弱点，不需要更具颠覆性的优化。

02 元数据的内存瓶颈

由于namenode在内存中纪录了所稀有据块（block 默许128M）的信息，索引了数据块与datanode的关连，况兼构建了文献系统树，因此显而易见namenode的元数据内存区是无数占用内存，这是莫得上限的。关于较大型数据存储容貌，举例上百个datanode节点和上千万个数据块的容量来说，元数据在namenode的内存鄙俚能戒指在32G以内，这是还没问题的，关联词关于构建海量数据中心的超大型容貌，这个问题就好像达摩克斯之剑，最初堆内存朝上临界范围导致的内存寻址性能问题不说，一朝namenode内存超限到单机内存可承载的物理上最大承受范围，通盘hdfs数据平台将面对住手职业。

这个问题的骨子照旧Google设想GFS时候摄取马虎的实用办法，先把元数据都交给主节点在内存中节制，超大问题以后再处置。当今Google的GFS2设想上，仍是将元数据在内存中移动至了BigTable上，那么问题就来了：“BigTable基于GFS，而GFS2的元数据基于BigTable”？有点鸡生蛋照旧蛋生鸡的针锋相对。是的，看似矛盾实质上是架构的嵌套复用，不错这样去解读：GFS2是基于<基于GFS的BigTable的元数据存储>的下一代GFS架构。用BigTable的k-v存储模子放GFS2的元数据，诚然莫得内存高效，关联词够用，而且不错无穷存储，用BigTable特意存储元数据变成的k-v纪录最终保存成GFS数据块，因此在GFS的元数据内存中只需一丝的内存占用，就能守旧天量的真实应用于数据块存储的GFS2元数据。

基于GFS2的设想思惟，我驯顺下一代HDFS应该亦然这样的有蓄意去处置元数据的内存瓶颈问题，也就是基于<基于HDFS的HBase的元数据存储>的下一代HDFS架构。那么HDFS的元数据瓶颈问题将被透彻处置，很出丑到比这更具上风的替代性时代框架了。

如下图所示：

GFS V2遐想图

03 默许副本数占用空间

副本数默许为3最大的问题就是占空间，这真实是悉数传统散布式文献系统（DFS）的通病。因此HDFS集群的默许空间运用率唯有33.3%，这样低的运用率彰着不合适一些场景，举例遥远的冷数据备份，那么有莫得更好的神态呢？是有的，当今比拟锻炼的有蓄意就是纠删码时代，雷同raid5，raid6，HDFS 3.0版块以后扶直这种口头，叫做Erasure Coding(EC)有蓄意。

HDFS是奈何通过EC有蓄意处置磁盘运用率的问题呢？咱们先聊点比拟硬的旨趣，说说EC有蓄意之一的条形布局：

最初数据文献写的时候会向N个节点的块(Block)按序写入，N个Block会被切成多组条(stripe 1... stripe n)，如果散布式环境有五个存储节点(DataNode)，那么就把stripe切成3个单位(cell)，然后再凭据这3个cell诡计出2个校验cell，然后这5个cell（3个data+2个parity）差别写入5个Block中。数据条就这样按序轮巡的神态，将校验块的位置瓜代存储在不同Block上，直至写满，这样校验块的散布不错更均匀。

HDFS EC Striping Layout

其次再说取数据，取数据每次只从3个DataNode中各取出1个cell，如果这3个cell都是数据cell，那么就告捷拿到一组数据条stripe，如果有一个cell是校验cell，那么就能通过校验cell和另外2个数据cell诡计出第3个数据cell，完成数据条stripe的组合。这种情况下，即等于5个datanode节点有2个datanode宕机了，另外3个datanode也能通过校验码诡计完成剩余2个节点的数据，这就是运用纠删码时代美满数据冗余的旨趣。

锂电池的能量密度，将从2022年的200-280Wh/kg，增长到2030年的500-600Wh/kg，几乎翻倍。并且，2030年后锂电池还将朝着，无稀有金属电池和锂空气电池技术迈进。

通过这种神态，咱们就比传统2副本50%，3副本33.3%的多副本口头要省空间，EC中2+1不错达到66.7%的磁盘运用率，例子是3+2不错达到60%的磁盘运用率

关联词其问题是荒谬耗尽CPU诡计，上头那种读取情况，五分之三的读取数据条时代都要进行校验码诡计。因此不错运用Intel CPU推出的ISA-L底层函数库特意用于扶植校纠删码算法的编解码性能。庸碌情况下，纠删码用于冷数据的冗余，也就是不庸碌拜谒又大又粗又爽免费视频A片，但又必须联机存储以备查询的数据。除了磁盘运用率，多副本神态用空间换效果的神态确定是最佳，没什么问题。