-
7.3 Google Spanner
7.3 Google Spanner 7.3.1 数据模型" level="4"> 7.3.1 数据模型 7.3 Google Spanner Google Spanner是Google的全球级分布式数据库（Globally-Distributed Database）。Spanner的扩展性达到了全球级，可以扩展到数百个数据中心，数百万台机器，上万亿... -
3.4.2 一致性与可用性
3.4.2 一致性与可用性 3.4.2 一致性与可用性 来自Berkerly的Eric Brewer教授提出了一个著名的CAP理论：一致性（Consistency），可用性（Availability）以及分区可容忍性（Tolerance of network Partition）三者不能同时满足。笔者认为没有必要纠结CAP理论最初的定义，在工程实践中，... -
3.5.3 故障恢复
3.5.3 故障恢复 3.5.3 故障恢复 当总控机检测到工作机发生故障时，需要将服务迁移到其他工作机节点。常见的分布式存储系统分为两种结构：单层结构和双层结构。大部分系统为单层结构，在系统中对每个数据分片维护多个副本；只有类Bigtable系统为双层结构，将存储和服务分为两层，存储层对每个数据分片维护多个副本，服务层只有一个副本提供服务。单层结构和双... -
4.2.2 讨论
4.2.2 讨论 4.2.2 讨论 图片应用中有几个问题，第一个问题是图片去重，第二个问题是图片更新与删除。 由于用户可能上传大量相同的图片，因此，图片上传到TFS前，需要去重。一般在外部维护一套文件级别的去重系统（Dedup），采用MD5或者SHA1等Hash算法为图片文件计算指纹（FingerPrint）。图片写入TFS之前首先到去重系统中查找是... -
2.5.2 重做日志
2.5.2 重做日志 2.5.2 重做日志 存储系统如果采用REDO日志，其写操作流程如下： 1）将REDO日志以追加写的方式写入磁盘的日志文件。 2）将REDO日志的修改操作应用到内存中。 3）返回操作成功或者失败。 REDO日志的约束规则为：在修改内存中的元素X之前，要确保与这一修改相关的操作日志必须先刷入到磁盘中。顾名思义，用REDO日志... -
7.2.6 多租户
7.2.6 多租户 7.2.6 多租户 云存储系统中多个用户的操作相互干扰，因此需要限制每个SQL Azure逻辑实例使用的系统资源： 1）操作系统资源限制，比如CPU、内存、写入速度，等等。如果超过限制，将在10秒内拒绝相应的用户请求； 2）SQL Azure逻辑数据库容量限制。每个逻辑数据库都预先设置了最大的容量，超过限制时拒绝更新请求，但允许... -
8.4.7 数据正确性
8.4.7 数据正确性 8.4.7 数据正确性 数据丢失或者数据错误对于存储系统来说是一种灾难。前面8.4.1节中已经提到，OceanBase设计为强一致性系统，设计方案上保证不丢数据。然而，TCP协议传输、磁盘读写都可能出现数据错误，程序Bug则更为常见。为了防止各种因素导致的数据损毁，OceanBase采取了以下数据校验措施： ●数据存储校验。每...