MogileFS_系统_应用在EshangTu项目的可行性分析

分布式存储系统的可行性

MogileFS 系统应用在 EshangTu 项目的可行性分析[摘要] ................................................................................................................................................ 2 [关键词] ............................................................................................................................................ 2 [涉及的关键概念] ............................................................................................................................ 2 分布式文件系统....................................................................................................................... 2 MogileFs................................................................................................................................... 2 正文 .................................................................................................................................................. 3 选择 MogileFs 的理由 ........................................................................................................... 3 MogileFS 特性就介绍，官方介绍 ....................................................................................... 3 MogileFS 的结构 ................................................................................................................... 4 MogileFS 的三个大的部分 ................................................................................................... 5 MogileFS 的二个服务进程 ................................................................................................... 7 MogileFS 的其它 ................................................................................................................... 7 MogileFS 中的存储节点 ....................................................................................................... 7 MogileFS 内部的管理关系 ................................................................................................... 8 MogileFS 的安装与配置 详细参考文档 ....................................................................... 9MogileFS 的客户端和 API ................................................................................................... 9 MogileFs 应用到 eshangtu 项目的设想 .......................................................................... 14

分布式存储系统的可行性

[摘要] 描述了 MogileFS 系统涉及的计算机概念， 该系统能解决的问题， 运行结构， 原理。并讨论了当应用在 eshangtu 项目上时，要解决的几个问题，和初步的解决方案。 [关键词] MogileFS(tracker) 跟踪数据库 分布式文件系统 perl 存储节点(store node) 跟踪节点[涉及的关键概念]分布式文件系统分布式系统图示分布式+文件系统。它包含这两个方面的内涵，从文件系统的客户使用的角度来看，它 就是一个标准的文件系统，提供了一系列 API，由此进行文件或目录的创建、移动、删除， 以及对文件的读写等操作。 从内部实现来看， 分布式的系统则不再和普通文件系统一样负责 管理本地磁盘， 它的文件内容和目录结构都不是存储在本地磁盘上， 而是通过网络传输到远 端系统上。并且，同一个文件存储不只是在一台机器上，而是在一簇机器上分布式存储，协 同提供服务，正所谓分布式。因此，考量一个分布式文件系统的实现，其实不妨可以从这两 方面来分别剖析，而后合二为一。首先，看它如何去实现文件系统所需的基本增删改查的功 能。然后，看它如何考虑分布式系统的特点，提供更好的容错性，负载平衡，等等之类的。 这二者合二为一，就明白了一个分布式文件系统，整体的实现模式。MogileFsMogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal 旗 下 Danga Interactive 公 司 开 发 ， Danga 团 队 开 发 了 包 括 Memcached 、

分布式存储系统的可行性

MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务 器)。目前国内使用 MogileFS 的有图片托管网站 yupoo 等。 MogileFS 由 3 个部分组成： 第 1 个部分是 server 端，包括 mogilefsd 和 mogstored 两个程序。前者即是 mogilefsd 的 tracker，它将一些全局信息保存在数据库里，例如站点 domain,class,host 等。后者即是存储 节点(store node)，它其实是个 HTTP Daemon，默认侦听在 7500 端口，接受客户端的文件备 份请求。在安装完后，要运行 mogadm 工具将所有的 store node 注册到 mogilefsd 的数据库 里，mogilefsd 会对这些节点进行管理和监控。 第 2 个部分是 utils（工具集） ，主要是 MogileFS 的一些管理工具，例如 mogadm 等。 第 3 个部分是客户端 API， 用这个模块可以编写客户端程序， 实现文件的备份管理功能。正文选择 MogileFs 的理由MogileFS 系统的分布式存储可以解决 Web 服务器负载过大的问题。Eshangtu 项目中需 要存储大量的图片，并对用户提供存取服务，IO 吞吐量较大。为了减轻 Web 服务器压力， 考虑采用分布式文件系统，分流图片文件的读写操作。 图片是静态内容，有如下需求： 1， 需要集中存储，也就是对服务的需求者，只有一个统一的接口。 2， 图片需要的存储量比较大 3， 要稳定，文件不能丢失 根据上述要求我们可以采用如下模式：可以使用众多的网络协议来使用 File Server 上的文件，可以是 NFS 或是 CIFS，甚至可以是 SAN（当然，这东东比较贵的说） 。但是为了 满足上面提出的 3 个要求，我更倾向于用分布式文件来取代 File Serve …… 此处隐藏：10578字，全部文档内容请下载后查看。喜欢就下载吧 ……