-
6.1.3 复制与一致性
6.1.3 复制与一致性 6.1.3 复制与一致性 Bigtable系统保证强一致性，同一个时刻同一个子表只能被一台Tablet Server服务，也就是说，Master将子表分配给某个Tablet Server服务时需要确保没有其他的Tablet Server正在服务这个子表。这是通过Chubby的互斥锁机制保证的，Tablet Server启动时需... -
3.3.3 负载均衡
3.3.3 负载均衡 3.3.3 负载均衡 分布式存储系统的每个集群中一般有一个总控节点，其他节点为工作节点，由总控节点根据全局负载信息进行整体调度。工作节点刚上线时，总控节点需要将数据迁移到该节点，另外，系统运行过程中也需要不断地执行迁移任务，将数据从负载较高的工作节点迁移到负载较低的工作节点。 工作节点通过心跳包（Heartbeat，定时发送）将... -
3.1.3 衡量指标
3.1.3 衡量指标 3.1.3 衡量指标 评价分布式存储系统有一些常用的指标，下面分别介绍。 （1）性能 常见的性能指标有：系统的吞吐能力以及系统的响应时间。其中，系统的吞吐能力指系统在某一段时间可以处理的请求总数，通常用每秒处理的读操作数（QPS,Query Per Second）或者写操作数（TPS,Transaction Per Secon... -
3.1.2 一致性
3.1.2 一致性 3.1.2 一致性 由于异常的存在，分布式存储系统设计时往往会将数据冗余存储多份，每一份称为一个副本（replica/copy）。这样，当某一个节点出现故障时，可以从其他副本上读到数据。可以这么认为，副本是分布式存储系统容错技术的唯一手段。由于多个副本的存在，如何保证副本之间的一致性是整个分布式系统的理论核心。 可以从两个角度理解... -
7.3 Google Spanner
7.3 Google Spanner 7.3.1 数据模型" level="4"> 7.3.1 数据模型 7.3 Google Spanner Google Spanner是Google的全球级分布式数据库（Globally-Distributed Database）。Spanner的扩展性达到了全球级，可以扩展到数百个数据中心，数百万台机器，上万亿... -
13.4 流式计算
13.4 流式计算 13.4.1 原理" level="4"> 13.4.1 原理 13.4 流式计算 MapReduce及其扩展解决了离线批处理问题，但是无法保证实时性。对于实时性要求高的场景，可以采用流式计算或者实时分析系统进行处理。 流式计算（Stream Processing）解决在线聚合（Online Aggregation）、在线过滤（... -
6.3 Windows Azure Storage
6.3 Windows Azure Storage 6.3.1 整体架构" level="4"> 6.3.1 整体架构 6.3 Windows Azure Storage Windows Azure Storage（WAS）是微软开发的云存储系统，包括三种数据存储服务：Windows Azure Blob、Windows Azure Table、Wi... -
2.1.2 IO总线
2.1.2 IO总线 2.1.2 IO总线 存储系统的性能瓶颈一般在于IO，因此，有必要对IO子系统的架构有一个大致的了解。以Intel x48主板为例，它是典型的南、北桥架构，如图2-3所示。北桥芯片通过前端总线（Front Side Bus,FSB）与CPU相连，内存模块以及PCI-E设备（如高端的SSD设备Fusion-IO）挂接在北桥上。北桥与... -
3.5.3 故障恢复
3.5.3 故障恢复 3.5.3 故障恢复 当总控机检测到工作机发生故障时，需要将服务迁移到其他工作机节点。常见的分布式存储系统分为两种结构：单层结构和双层结构。大部分系统为单层结构，在系统中对每个数据分片维护多个副本；只有类Bigtable系统为双层结构，将存储和服务分为两层，存储层对每个数据分片维护多个副本，服务层只有一个副本提供服务。单层结构和双...