FastDFS-fastdfs 下载 5.08 最新免费版

　　FastDFS是一个开源的分布式文件服务器系统，通过该软件，用户可以很好解决海量数据储存问题，非常适合小型文件为载体的在线服务，该软件由多个服务器组成，能够对不同的服务命令进行调节，起到减轻数据运行的问题，有效的帮助用户梳理服务器通道，对于相册网站、视频网站等非常有效，该软件具有自动添加卷的功能，当存储空间不足或即将耗尽时，可以动态添加卷，非常方便，需要的朋友赶快下载试试吧！

软件功能

　　FastDFS是一个开源的分布式文件系统，特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

　　FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

　　存储节点存储文件，完成文件管理的所有功能：

　　存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。

　　所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，

　　如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。

软件特色

　　FastDFS提供了设置/获取文件扩展属性的接口（setmeta/getmeta)，扩展属性以key-value对的方式存储在storage上的同名文件（拥有特殊的前缀或后缀），比如/group/M00/00/01/some_file为原始文件，则该文件的扩展属性存储在/group/M00/00/01/.some_file.meta文件（真实情况不一定是这样，但机制类似），这样根据文件名就能定位到存储扩展属性的文件。

　　以上两个接口作者不建议使用，额外的meta文件会进一步“放大”海量小文件存储问题，同时由于meta非常小，其存储空间利用率也不高，比如100bytes的meta文件也需要占用4K（block_size）的存储空间。

　　FastDFS还提供appender file的支持，通过upload_appender_file接口存储，appender file允许在创建后，对该文件进行append操作。实际上，appender file与普通文件的存储方式是相同的，不同的是，appender file不能被合并存储到trunk file。

软件优势

　　高性能

　　大容量

　　负载均衡

　　简单

注意事项

　　因为FastDFS默认自带的http服务器性能不好，所以一般建议用外置的apache或者nginx 来解决http下载，以应付大并发的情况注意nginx扩展模块只支持GET和HEAD模式获取文件，需要开发那边配合修改程序

　　获取nginx和FastDFS的nginx扩展插件

　　wget https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/

　　wget http://nginx.org/

　　解压并编译安装

　　备注：如果之前机器上安装了nginx，可以单独安装fastdfs-nginx-module模块

模块介绍

　　tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。

　　storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。

　　client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

使用说明

　　1, 下载安装libfastcommon，添加fastDFS运行用户

　　yum install -y zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip

　　useradd -s /sbin/nologin fastdfs

　　2,创建数据存储目录

　　mkdir -p /export/fastdfs/{storage,tracker}

　　[root@localhost src]# ll /export/fastdfs

　　total 0

　　drwxr-xr-x 2 root root 6 Dec 10 15:18 storage #Storage目录保存运行日志及其data数据

　　drwxr-xr-x 2 root root 6 Dec 10 15:17 tracker #tracker目录保存运行日志

　　3，安装libfastcommon

　　下载最新版本： libfastcommon

　　wget https://github.com/happyfish100/libfastcommon/archive/master.zip

　　unzip master.zip

　　cd libfastcommon-master/

　　./make.sh

　　./make.sh install

　　4, 安装Fastdfs

　　wget http://sourceforge.net/projects/fastdfs/files/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.05/FastDFS_v5.05.tar.gz/download

　　tar zxf FastDFS_v5.05.tar.gz && cd FastDFS

　　./make.sh

　　./make.sh install

　　cp pa conf/*.conf /etc/fdfs/

　　cd /etc/fdfs/

　　rm -rf *.sample

　　chown -R fastdfs: /export/fastdfs

　　5, 配置tracker 和 storage 配置文件, 对应修改

　　vi storage.conf

　　group_name=group1

　　base_path=/export/fastdfs/storage

　　store_path0=/export/fastdfs/storage

　　tracker_server=192.168.0.205:22122

　　tracker_server=192.168.0.206:22122

　　http.server_port=80

　　vi tracker.conf

　　base_path=/export/fastdfs/tracker

　　vi mod_fastdfs.conf

　　group_name=group1

　　base_path=/export/fastdfs/storage

　　store_path0=/export/fastdfs/storage

　　tracker_server=192.168.0.205:22122

　　tracker_server=192.168.0.206:22122

　　url_have_group_name = true #是true 不是ture

　　vi client.conf

　　tracker_server=192.168.0.205:22122

　　tracker_server=192.168.0.206:22122

　　6，安装nginx和fastdfs-nginx-module模块

　　wget http://nginx.org/download/nginx-1.8.0.tar.gz

　　http://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz/download

　　tar zxf fastdfs-nginx-module_v1.16.tar.gz && tar zxf nginx-1.8.0.tar.gz

　　#修改模块中对应的路径，要不然模块不能正确安装加载

　　cd fastdfs-nginx-module/src

　　vi conf #更改如下，去掉local，并指定lib64（64系统）

　　CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

　　CORE_LIBS="$CORE_LIBS -L/usr/lib64 -lfastcommon -lfdfsclient"

　　ulimit -SHn 102400

　　useradd -s /sbin/nologin www

　　cd nginx-1.8.0

　　/configure --user=www --group=www --add-module=../fastdfs-nginx-module/src/ --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module

　　make

　　make install

　　7，配置nginx

　　server {

　　listen 80;

　　server_name 192.168.0.205;

　　root /webdata/fastdfs.com;

　　index index.html index.htm;

　　location / {

　　if (!-e $request_filename) {

　　rewrite ^(.*)$ /index.html last;

　　}

　　location /group1/M00 {

　　root /export/fastdfs/storage/data/;

　　ngx_fastdfs_module;

　　}

　　location ~ .*.(gif|jpg|jpeg|png|bmp|swf|js)$ {

　　# fastcgi_cache cache_one; #nginx.conf 开启cache才行，要不然启动报错

　　fastcgi_cache_valid 200 10m;

　　fastcgi_cache_valid 304 3m;

　　fastcgi_cache_valid 301 302 1h;

　　fastcgi_cache_valid any 1m;

　　fastcgi_cache_min_uses 1;

　　fastcgi_cache_use_stale error timeout invalid_header http_500;

　　fastcgi_cache_key $host$request_uri;

　　access_log off;

　　}

　　access_log off;

　　}

　　8， 206 的配置一样， nginx对应的ip为206，启动nginx和fastdfs

　　[root@test-1 vhost]# /etc/init.d/fdfs_storaged start

　　Starting FastDFS storage server:

　　[root@test-1 vhost]# /etc/init.d/fdfs_trackerd start

　　Starting FastDFS tracker server:

　　[root@test-1 vhost]#

　　[root@test-1 vhost]# /etc/init.d/nginx -t

　　ngx_http_fastdfs_set pid=8985

　　nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok

　　nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

　　[root@test-1 vhost]# /etc/init.d/nginx -s reload

　　ngx_http_fastdfs_set pid=8986

　　root@test-1 vhost]# netstat -npl |grep -E "nginx|fdfs"

　　tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 8972/fdfs_trackerd

　　tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 7561/nginx

　　tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 8679/fdfs_storaged

　　9，测试

　　[root@test-1 ~]# fdfs_test /etc/fdfs/client.conf upload test.html

　　This is FastDFS client test program v5.05

　　FastDFS may be copied only under the terms of the GNU General

　　Public License V3, which may be found in the FastDFS source kit.

　　Please visit the FastDFS Home Page http://www.csource.org/

　　for more detail.

　　[2015-06-14 02:46:06] DEBUG - base_path=/tmp, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

　　tracker_query_storage_store_list_without_group:

　　server 1. group_name=, ip_addr=192.168.0.205, port=23000

　　server 2. group_name=, ip_addr=192.168.0.206, port=23000

　　group_name=group1, ip_addr=192.168.0.206, port=23000

　　storage_upload_by_filename

　　group_name=group1, remote_filename=M00/00/00/wKgAzlV8em6Af8qBAAAADxtaRO466.html

　　source ip address: 192.168.0.206

　　file timestamp=2015-06-14 02:46:06

　　file size=15

　　file crc32=458900718

　　example file url: http://192.168.0.206/group1/M00/00/00/wKgAzlV8em6Af8qBAAAADxtaRO466.html

　　storage_upload_slave_by_filename