-
24.7 Compose应用案例二：大数据Spark集群
24.7 Compose应用案例二：大数据Spark集群 24.7 Compose应用案例二：大数据Spark集群 1.简介 Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存从而提高某些需要迭代的计算场景的效率，目前受到广泛关注。 熟悉Hadoop的读者会比较轻松，Spark很多设计理念和... -
2.3 数据模型
2.3 数据模型 2.3.1 文件模型" level="4"> 2.3.1 文件模型 2.3 数据模型 如果说存储引擎相当于存储系统的发动机，那么，数据模型就是存储系统的外壳。存储系统的数据模型主要包括三类：文件、关系以及随着NoSQL技术流行起来的键值模型。传统的文件系统和关系数据库系统分别采用文件和关系模型。关系模型描述能力强，产业链完整，是存储... -
8.6 小结
8.6 小结 8.6 小结 本章我们实现了一个（稍微）深层的 CNN，并在手写数字识别上获得了超过 99% 的高识别精度。此外，还讲解了加深网络的动机，指出了深度学习在朝更深的方向前进。之后，又介绍了深度学习的趋势和应用案例，以及对高速化的研究和代表深度学习未来的研究案例。 深度学习领域还有很多尚未揭晓的东西，新的研究正一个接一个地出现。今后，全世界... -
3.1.2 一致性
3.1.2 一致性 3.1.2 一致性 由于异常的存在，分布式存储系统设计时往往会将数据冗余存储多份，每一份称为一个副本（replica/copy）。这样，当某一个节点出现故障时，可以从其他副本上读到数据。可以这么认为，副本是分布式存储系统容错技术的唯一手段。由于多个副本的存在，如何保证副本之间的一致性是整个分布式系统的理论核心。 可以从两个角度理解... -
3.1.3 衡量指标
3.1.3 衡量指标 3.1.3 衡量指标 评价分布式存储系统有一些常用的指标，下面分别介绍。 （1）性能 常见的性能指标有：系统的吞吐能力以及系统的响应时间。其中，系统的吞吐能力指系统在某一段时间可以处理的请求总数，通常用每秒处理的读操作数（QPS,Query Per Second）或者写操作数（TPS,Transaction Per Secon... -
3.3.3 负载均衡
3.3.3 负载均衡 3.3.3 负载均衡 分布式存储系统的每个集群中一般有一个总控节点，其他节点为工作节点，由总控节点根据全局负载信息进行整体调度。工作节点刚上线时，总控节点需要将数据迁移到该节点，另外，系统运行过程中也需要不断地执行迁移任务，将数据从负载较高的工作节点迁移到负载较低的工作节点。 工作节点通过心跳包（Heartbeat，定时发送）将... -
3.6 可扩展性
3.6 可扩展性 3.6.1 总控节点" level="4"> 3.6.1 总控节点 3.6 可扩展性 通过数据分布，复制以及容错等机制，能够将分布式存储系统部署到成千上万台服务器。可扩展性的实现手段很多，如通过增加副本个数或者缓存提高读取能力，将数据分片使得每个分片可以被分配到不同的工作节点以实现分布式处理，把数据复制到多个数据中心，等等。 分布... -
2.5.5 分布式多机部署的示例
2.5.5 分布式多机部署的示例 2.5.5 分布式多机部署的示例 在前面的分布式计算上手demo，分布式计算sayhello，分布式计算完整demo中，对于工人（worker）、工头(ctor)，parkserver在多台计算机上的部署和配置： 每台计算机放置实现类：fourinone.jar、config.xml文件即可，parkserver的I... -
3.1 协调架构原理简介
3.1 协调架构原理简介 3.1 协调架构原理简介 Fourinone对分布式协调的实现，是通过建立一个domain/node两层结构的节点信息去完成，domain可以是分类或者包，node可以是具体属性，domain和node都是根据需求设计命名，比如可以将domain命名为“a.b.c…”表示一个树型类目。一个domain下可以有很多个node，每... -
3.6.2 如何实现分布式锁
3.6.2 如何实现分布式锁 3.6.2 如何实现分布式锁 分布式锁可以让多个分布式应用依照先后顺序保持一致性操作，因此在很多方面都有广泛的应用，比如我们在2.1.7计算中的故障处理也谈到2个工头通过竞争一个分布式锁去做任务调度。 LockDemo是利用Fourinone进行分布式锁的实现，设计思路如下： 1）可以启动多个LockDemo实例，每个...