-
11.4.4 系统实现
11.4.4 系统实现 11.4.4 系统实现 分布式存储系统实现的关键在于可控性，包括代码复杂度、服务器资源、代码质量等。开发基础系统时，一个优秀工程师发挥的作用会超过10个平庸的工程师，常见的团队组建方式是有经验的优秀工程师加上有潜质的工程师，这些有潜质的工程师往往是优秀的应届生，能够在开发过程中迅速成长起来。 1.重视服务器代码资源管理 内存... -
6.2 Google Megastore
6.2 Google Megastore 6.2.1 系统架构" level="4"> 6.2.1 系统架构 6.2 Google Megastore Google Bigtable架构把可扩展性基本做到了极致，Megastore则是在Bigtable系统之上提供友好的数据库功能支持，增强易用性。Megastore是介于传统的关系型数据库和NoSQL... -
3.3.2 顺序分布
3.3.2 顺序分布 3.3.2 顺序分布 哈希散列破坏了数据的有序性，只支持随机读取操作，不能够支持顺序扫描。某些系统可以在应用层做折衷，比如互联网应用经常按照用户来进行数据拆分，并通过哈希方法进行数据分布，同一个用户的数据分布到相同的存储节点，允许对同一个用户的数据执行顺序扫描，由应用层解决跨多个用户的操作问题。另外，这种方式可能出现某些用户的数据... -
3.4 复制
3.4 复制 3.4.1 复制的概述" level="4"> 3.4.1 复制的概述 3.4 复制 为了保证分布式存储系统的高可靠和高可用，数据在系统中一般存储多个副本。当某个副本所在的存储节点出现故障时，分布式存储系统能够自动将服务切换到其他的副本，从而实现自动容错。分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性... -
4.4.2 讨论
4.4.2 讨论 4.4.2 讨论 由于Blob存储系统读访问量大，更新和删除很少，特别适合通过CDN技术分发到离用户最近的节点。CDN也是一种缓存，需要考虑与源服务器之间的一致性。源服务器更新或者删除了Blob数据，需要能够比较实时地推送到CDN缓存节点，否则只能等到缓存中的对象被淘汰，而对象的有效期一般很长，热门对象很难被淘汰。 另外，淘宝在研发... -
8.4 架构剖析
8.4 架构剖析 8.4.1 一致性选择" level="4"> 8.4.1 一致性选择 8.4 架构剖析 8.4.1 一致性选择" class="reference-link"> 8.4.1 一致性选择 Eric Brewer教授的CAP理论指出，在满足分区可容忍性的前提下，一致性和可用性不可兼得。 虽然目前大量的互联网项目选择了弱一致性，但我... -
7.3.4 TrueTime
7.3.4 TrueTime 7.3.4 TrueTime 为了实现并发控制，数据库需要给每个事务分配全局唯一的事务id。然而，在分布式系统中，很难生成全局唯一id。一种方式是采用Google Percolator（Google Caffeine的底层存储系统）中的做法，即专门部署一套Oracle数据库用于生成全局唯一id。虽然Oracle逻辑上是一个... -
4.3 Facebook Haystack
4.3 Facebook Haystack 4.3.1 系统架构" level="4"> 4.3.1 系统架构 4.3 Facebook Haystack Facebook目前存储了2600亿张照片，总大小为20PB，通过计算可以得出每张照片的平均大小为20PB/260GB，约为80KB。用户每周新增照片数为10亿（总大小为60TB），平均每秒新增的... -
4.2 Taobao File System
4.2 Taobao File System 4.2.1 系统架构" level="4"> 4.2.1 系统架构 4.2 Taobao File System 互联网应用经常需要存储用户上传的文档、图片、视频等，比如Facebook相册、淘宝图片、Dropbox文档等。文档、图片、视频一般称为Blob数据，存储Blob数据的文件系统也相应地称为Blo... -
3.5 容错
3.5 容错 3.5.1 常见故障" level="4"> 3.5.1 常见故障 3.5 容错 随着集群规模变得越来越大，故障发生的概率也越来越大，大规模集群每天都有故障发生。容错是分布式存储系统设计的重要目标，只有实现了自动化容错，才能减少人工运维成本，实现分布式存储的规模效应。 单台服务器故障的概率是不高的，然而，只要集群的规模足够大，每天都可...