-
第6章 分布式文件系统的实现
第6章 分布式文件系统的实现 第6章 分布式文件系统的实现 本章讲述如何使用FTTP去实现一个分布式文件系统，包括FTTP的架构原理和远程文件各种方式的访问和操作，以及整型数据处理等，包含了每一步的具体操作，可帮助入门的读者快速上手。 在FTTP中通过FttpAdapter和FileAdapter实现文件IO的支持。其中，FttpAdapter提供对... -
2.3.4 SQL与NoSQL
2.3.4 SQL与NoSQL 2.3.4 SQL与NoSQL 随着互联网的飞速发展，数据规模越来越大，并发量越来越高，传统的关系数据库有时显得力不从心，非关系型数据库（NoSQL,Not Only SQL）应运而生。NoSQL系统带来了很多新的理念，比如良好的可扩展性，弱化数据库的设计范式，弱化一致性要求，在一定程度上解决了海量数据和高并发的问题，以... -
3.2 性能分析
3.2 性能分析 3.2 性能分析 给定一个问题，往往会有多种设计方案，而方案评估的一个重要指标就是性能，如何在系统设计之初估算存储系统的性能是存储工程师的必备技能。性能分析用来判断设计方案是否存在瓶颈点，权衡多种设计方案，另外，性能分析也可作为后续性能优化的依据。性能分析与性能优化是相对的，系统设计之初通过性能分析确定设计目标，防止出现重大的设计失误... -
11.1.2 QA测试
11.1.2 QA测试 部署一个OceanBase集群 连接到其中一台MergeServer(ms0) 执行DDL(建表)以及DML语句(insert/update/delete) 读取表格内容 获取原有的主UpdateServer的地址并记录为$a 关闭主UpdateServer并等待30秒 获取新的主UpdateServer的地址记录为$b... -
12.3 云存储技术
12.3 云存储技术 12.3 云存储技术 云存储包含两个部分：云端+终端。云端指统一的云存储服务端，终端指多样化的PC机、手机、移动多媒体设备等终端设备。云存储的发展需要云端和终端里面的多种技术的支持。 （1）摩尔定律 摩尔定律一直推动着整个硬件产业的发展，芯片、内存和磁盘等硬件设备在性能和容量方面也得到了极大的提升。最明显的例子莫过于CPU，最... -
2.1.5 存储层次架构
2.1.5 存储层次架构 2.1.5 存储层次架构 从分布式系统的角度看，整个集群中所有服务器上的存储介质（内存、机械硬盘，SSD）构成一个整体，其他服务器上的存储介质与本机存储介质一样都是可访问的，区别仅仅在于需要额外的网络传输及网络协议栈等访问开销。 如图2-5所示，假设集群中有30个机架，每个机架接入40台服务器，同一个机架的服务器接入到同一个... -
9.3 UpdateServer实现机制
9.3 UpdateServer实现机制 9.3.1 存储引擎" level="4"> 9.3.1 存储引擎 9.3 UpdateServer实现机制 UpdateServer用于存储增量数据，它是一个单机存储系统，由如下几个部分组成： ●内存存储引擎，在内存中存储修改增量，支持冻结以及转储操作； ●任务处理模型，包括网络框架、任务队列、工作线程... -
7.3.7 讨论
7.3.7 讨论 7.3.7 讨论 Google的分布式存储系统一步步地从Bigtable到Megastore，再到Spanner，这也印证了分布式技术和传统关系数据库技术融合的必然性，即底层通过分布式技术实现可扩展性，上层通过关系数据库的模型和接口将系统的功能暴露给用户。 阿里巴巴的OceanBase系统在设计之初就考虑到这两种技术融合的必然性，因... -
第2章 单机存储系统
第2章 单机存储系统" level="2"> 第2章 单机存储系统 2.1 硬件基础" level="3"> 2.1 硬件基础 2.1.1 CPU架构" level="4"> 2.1.1 CPU架构 第2章 单机存储系统" class="reference-link"> 第2章 单机存储系统 单机存储引擎就是哈希表、B树等数据结构在机械磁盘、SSD... -
3.7 分布式协议
3.7 分布式协议 3.7.1 两阶段提交协议" level="4"> 3.7.1 两阶段提交协议 3.7 分布式协议 分布式系统涉及的协议很多，例如租约，复制协议，一致性协议，其中以两阶段提交协议和Paxos协议最具有代表性。两阶段提交协议用于保证跨多个节点操作的原子性，也就是说，跨多个节点的操作要么在所有节点上全部执行成功，要么全部失败。Paxo...