「FastDFS」- 概念与架构

  CREATED BY JENKINSBOT

服务的组成部分

客户端(Client),跟踪器(Tracker),存储节点(Storage)

客户端(Client)

Client 访问 Tracker,进行文件管理操作。

跟踪器(Tracker)

主要做调度工作,负责管理Storage与Group,可以由单台或多台服务器构成,在访问上起负载均衡的作用。可随时增加或减少,并且不会影响业务。有服务器都是对等的,可以根据服务器的负载情况随时增加或减少。

每个storage在启动后会连接Tracker,告知自己所属的group等信息,并保持周期性的心跳,tracker根据storage的心跳信息,建立group==>[storage server list]的映射表,Tracker需要管理的元信息很少,会全部存储在内存中;另外tracker上的元信息都是由storage汇报的信息生成的,本身不需要持久化任何数据,这样使得tracker非常容易扩展,直接增加tracker机器即可扩展为tracker cluster来服务,Tracker cluster里每个tracker之间是完全对等的,所有的tracker都接受stroage的心跳信息,生成元数据信息来提供读写服务。

存储节点(Storage)

存储节点都可以由单台或多台服务器构成。存储节点均可动态增加或减少,并且不会影响业务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。

存储文件,完成文件管理的所有功能,就是这样的存储、同步和提供存取接口,FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key valuepair)方式表示,如:width=1024,其中的key为width,value为1024。文件metadata是文件属性列表,可以包含多个键值对。

为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。

Storage采用了分卷[Volume](或分组[group])的组织方式,存储系统由一个或多个组组成,组与组之间的文件是相互独立的,所有组的文件容量累加就是整个存储系统中的文件容量。一个卷[Volume](组[group])可以由一台或多台存储服务器组成,一个组中的存储服务器中的文件都是相同的,组中的多台存储服务器起到了冗余备份和负载均衡的作用,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。

参考文献

CSDN/FastDFS简介
分布式文件系统 FastDFS 5.0.5 & Linux CentOS 7 安装配置
分布式文件系统FastDFS设计原理
FastDFS一个高效的分布式文件系统
CentOS 7.2搭建FastDFS 分布式文件系统,实现高可用集群