135-1821-9792

Nginx&&FastDFS实现分布式文件服务器

nginx && FastDFS实现分布式文件服务器

作者：微笑面对生活 2019-01-28 11:03:03

服务器

分布式 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。

 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

1. 下载安装 libfastcommon

libfastcommon是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库，基础环境，安装即可 。

1.1 下载：

  
 
 
 
    
   
  
  
  
  1. wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz 
    2.

1.2 解压：

  
 
 
 
    
   
  
  
  
  1. tar -zxvf V1.0.7.tar.gz 
    2.

1.3 安装：

  
 
 
 
    
   
  
  
  
  1. cd libfastcommon-1.0.7 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. ./make.sh 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. ./make.sh install 
    6.

1.4 复制文件：

解决FastDFS中lib配置文件路径问题。

  
 
 
 
    
   
  
  
  
  1. cp/usr/lib64/libfastcommon.so/usr/local/lib/libfastcommon.so  
    2.    
  
  
  
  2. cp/usr/lib64/libfastcommon.so/usr/lib/libfastcommon.so 
    3.

2. 下载安装FastDFS

2.1 下载：

  
 
 
 
    
   
  
  
  
  1. wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz 
    2.

2.2 解压：

  
 
 
 
    
   
  
  
  
  1. tar -zxvf V5.05.tar.gz 
    2.

2.3 安装：

  
 
 
 
    
   
  
  
  
  1. cd fastdfs-5.05 
    2.    
  
  
  
  2. ./make.sh   
    3.    
  
  
  
  3. ./make.sh install 
    4.

安装完成后，默认配置文件目录为： /etc/fdfs/，默认命令放在 /usr/bin/中，以 fdfs_开头。

3. 配置FastDFS

首先将配置文件复制到 /etc/fdfs目录下。

  
 
 
 
    
   
  
  
  
  1. cd/home/fantj/download/fastdfs-5.05/conf 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. cp*/etc/fdfs/ 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. 如下： 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. [root@s168 conf]#cd/etc/fdfs/ 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. [root@s168 fdfs]#ls 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11. anti-steal.jpg  client.conf.sample  mime.types    storage.conf.sample  tracker.conf 
    12.    
  
  
  
  12.  
    13.    
  
  
  
  13. client.conf     http.conf           storage.conf  storage_ids.conf     tracker.conf.sample 
    14.

3.1. 配置tracker.conf

FastDFS跟踪器

修改如下配置：

  
 
 
 
    
   
  
  
  
  1. #Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)  
    2.    
  
  
  
  2. base_path=/fastdfs/tracker  
    3.    
  
  
  
  3. port=22122 
    4.

3.1.1 创建该目录：

mkdir-p/fastdfs/tracker3.1.2 启动/关闭：

fdfs_trackerd/etc/fdfs/tracker.conf start/stop默认使用 /etc/fdfs下的配置文件，如有指定配置可在后面追加参数。如有防火墙，开放防火墙规则。

3.1.3 设置开机启动：

  
 
 
 
    
   
  
  
  
  1. # systemctl enable fdfs_trackerd 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3.  
    4.    
  
  
  
  4. 或者： 
    5.    
  
  
  
  5.  
    6.    
  
  
  
  6. # vim /etc/rc.d/rc.local 
    7.    
  
  
  
  7.  
    8.    
  
  
  
  8. 加入配置： 
    9.    
  
  
  
  9.  
    10.    
  
  
  
  10. /etc/init.d/fdfs_trackerd start 
    11.

3.1.4 tracker server 目录及文件结构 :

Tracker服务启动成功后，会在base_path下创建data、logs两个目录。目录结构如下：

  
 
 
 
    
   
  
  
  
  1. ${base_path} 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3.  |__data 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5.  | |__storage_groups.dat：存储分组信息 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7.  | |__storage_servers.dat：存储服务器列表 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9.  |__logs 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11.  | |__trackerd.log：tracker server日志文件 
    12.

3.2. 配置storage

下面只是基本配置，如有更细微的需要，则请查看所有配置。

  
 
 
 
    
   
  
  
  
  1. group_name=fantj    #组名 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. base_path=/fastdfs/storage  #日志目录 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. store_path0=/fastdfs/storage    #存储目录 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. tracker_server=192.168.27.168:22122   #tracker节点 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. http.server_port=8888   #端口 
    10.

3.2.1 启动

  
 
 
 
    
   
  
  
  
  1. 可以用这种方式启动 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. fdfs_storaged/etc/fdfs/storage.conf start 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. 也可以用这种方式，后面都用这种 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. # service fdfs_storaged start 
    8.

3.2.2 检查进程

netstat-unltp|grep fdfs3.2.3 Storage 开机启动

  
 
 
 
    
   
  
  
  
  1. # systemctl enable fdfs_storaged  
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. 或者： 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. # vim /etc/rc.d/rc.local 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. 加入配置： 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. /etc/init.d/fdfs_storaged start 
    10.

3.2.4 Storage 目录

Storage 启动成功后，在base_path 下创建了data、logs目录，记录着 Storage Server 的信息。

在 store_path0 目录下，创建了N*N个子目录：

  
 
 
 
    
   
  
  
  
  1. [root@s168 data]# pwd 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. /fastdfs/storage/data 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. [root@s168 data]# ls 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. 00  07  0E  15  1C  23  2A  31  38  3F  46  4D  54  5B  62  69  70  77  7E  85  8C  93  9A  A1  A8  AF  B6  BD  C4  CB  D2  D9  E0  E7  EE  F5  FC 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. 01  08  0F  16  1D  24  2B  32  39  40  47  4E  55  5C  63  6A  71  78  7F  86  8D  94  9B  A2  A9  B0  B7  BE  C5  CC  D3  DA  E1  E8  EF  F6  FD 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11. 02  09  10  17  1E  25  2C  33  3A  41  48  4F  56  5D  64  6B  72  79  80  87  8E  95  9C  A3  AA  B1  B8  BF  C6  CD  D4  DB  E2  E9  F0  F7  fdfs_storaged.pid 
    12.    
  
  
  
  12.  
    13.    
  
  
  
  13. 03  0A  11  18  1F  26  2D  34  3B  42  49  50  57  5E  65  6C  73  7A  81  88  8F  96  9D  A4  AB  B2  B9  C0  C7  CE  D5  DC  E3  EA  F1  F8  FE 
    14.    
  
  
  
  14.  
    15.    
  
  
  
  15. 04  0B  12  19  20  27  2E  35  3C  43  4A  51  58  5F  66  6D  74  7B  82  89  90  97  9E  A5  AC  B3  BA  C1  C8  CF  D6  DD  E4  EB  F2  F9  FF 
    16.    
  
  
  
  16.  
    17.    
  
  
  
  17. 05  0C  13  1A  21  28  2F  36  3D  44  4B  52  59  60  67  6E  75  7C  83  8A  91  98  9F  A6  AD  B4  BB  C2  C9  D0  D7  DE  E5  EC  F3  FA  storage_stat.dat 
    18.    
  
  
  
  18.  
    19.    
  
  
  
  19. 06  0D  14  1B  22  29  30  37  3E  45  4C  53  5A  61  68  6F  76  7D  84  8B  92  99  A0  A7  AE  B5  BC  C3  CA  D1  D8  DF  E6  ED  F4  FB  sync 
    20.

3.3. 配置client

  
 
 
 
    
   
  
  
  
  1. vim client.conf 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. tracker_server=192.168.27.168:22122 #tracker节点 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. base_path=/fastdfs/client  #日志路径 
    6.

3.4. 本地图片上传测试

  
 
 
 
    
   
  
  
  
  1. [root@s168 fdfs]#fdfs_upload_file/etc/fdfs/client.conf/home/test.png 
    2.    
  
  
  
  2. fantj/M00/00/00/wKgbqFu7T7iAJh7lAABDYbhAMC4812.png 
    3.    
  
  
  
  3. 或者： 
    4.    
  
  
  
  4. [root@s168 fdfs]#fdfs_test/etc/fdfs/client.conf/home/test.png 
    5.    
  
  
  
  5.  
    6.    
  
  
  
  6. ThisisFastDFSclient test program v5.05 
    7.    
  
  
  
  7. Copyright(C)2008,HappyFish/YuQing 
    8.    
  
  
  
  8. FastDFSmay be copied only under the terms of the GNUGeneral 
    9.    
  
  
  
  9.  
    10.    
  
  
  
  10. PublicLicenseV3,which may be foundintheFastDFSsource kit. 
    11.    
  
  
  
  11.  
    12.    
  
  
  
  12. Pleasevisit theFastDFSHomePagehttp://www.csource.org/ 
    13.    
  
  
  
  13.  
    14.    
  
  
  
  14. formore detail. 
    15.    
  
  
  
  15.  
    16.    
  
  
  
  16. [2018-5-0820:41:15]DEBUG-base_path=/fastdfs/client,connect_timeout=30,network_timeout=60,tracker_server_count=1,anti_steal_token=0,anti_steal_secret_key length=0,use_connection_pool=0,g_connection_pool_max_idle_time=3600s,use_storage_id=0,storage server id count:0 
    17.    
  
  
  
  17. invalid operation:/home/test.png 
    18.

4. 安装nginx

之前有写过nginx的安装文章，在这里不重复。没有安装过的请点击：

点击查看我的文章：nginx安装

5. FastDFS 配置 Nginx 模块

fastdfs-nginx-module 可以重定向文件链接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。

5.1 下载安装

  
 
 
 
    
   
  
  
  
  1. wget https://github.com/happyfish100/fastdfs-nginx-module/archive/5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. unzip5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1/fastdfs-nginx-module 
    6.

5.2 配置Nginx

  
 
 
 
    
   
  
  
  
  1. ngix-s stop 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. cd nginx-1.12.1 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. #添加模块 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. ./configure--add-module=../fastdfs-nginx-module/src 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. (如果你是yum安装的nginx，我暂时还没找到解决办法，目前的方法是nginx-V查看nginx版本，然后下载一个同版本的nginx， 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11. 然后将/etc/nginx下数据整体备份，make&&make install完成后再做恢复) 
    12.    
  
  
  
  12.  
    13.    
  
  
  
  13. #重新编译和安装 
    14.    
  
  
  
  14.  
    15.    
  
  
  
  15. make 
    16.    
  
  
  
  16.  
    17.    
  
  
  
  17. make install 
    18.    
  
  
  
  18.  
    19.    
  
  
  
  19. #拷贝配置文件 
    20.    
  
  
  
  20.  
    21.    
  
  
  
  21. [root@s168 src]#pwd 
    22.    
  
  
  
  22.  
    23.    
  
  
  
  23. /home/fantj/download/fastdfs-nginx-module/src 
    24.    
  
  
  
  24.  
    25.    
  
  
  
  25. [root@s168 src]#cp mod_fastdfs.conf/etc/fdfs/ 
    26.

配置 /etc/fdfs/mod_fastdfs.conf文件

  
 
 
 
    
   
  
  
  
  1. #配置 /etc/fdfs/mod_fastdfs.conf文件 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. base_path=/fastdfs/tmp  #日志目录 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. store_path0=/fastdfs/storage 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. tracker_server=192.168.27.168:22122 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. # the group name of the local storage server 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11. group_name=fantj  #和storage的groupname一一对应 
    12.    
  
  
  
  12.  
    13.    
  
  
  
  13. url_have_group_name=true #开启url中附带group_name 
    14.

配置nginx

  
 
 
 
    
   
  
  
  
  1. # 配置nginx 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. [root@s168 fdfs]#cd/usr/local/nginx/conf/ 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. [root@s168 conf]#vim nginx.conf 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. #添加如下配置 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. server{ 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11.    listen88; 
    12.    
  
  
  
  12.  
    13.    
  
  
  
  13.    server_name192.168.27.168; 
    14.    
  
  
  
  14.  
    15.    
  
  
  
  15.    location/fantj/M00{ 
    16.    
  
  
  
  16.  
    17.    
  
  
  
  17.            ngx_fastdfs_module; 
    18.    
  
  
  
  18.  
    19.    
  
  
  
  19.    } 
    20.    
  
  
  
  20.  
    21.    
  
  
  
  21. } 
    22.    
  
  
  
  22.  
    23.    
  
  
  
  23.  
    24.    
  
  
  
  24. # 进入/usr/local/nginx/sbin目录执行配置检测 
    25.    
  
  
  
  25.  
    26.    
  
  
  
  26. [root@s168 sbin]#./nginx  -t 
    27.    
  
  
  
  27.  
    28.    
  
  
  
  28. ngx_http_fastdfs_set pid=6431 
    29.    
  
  
  
  29.  
    30.    
  
  
  
  30. nginx:the configuration file/usr/local/nginx/conf/nginx.conf syntaxisok 
    31.    
  
  
  
  31.  
    32.    
  
  
  
  32. nginx:configuration file/usr/local/nginx/conf/nginx.conf testissuccessful 
    33.    
  
  
  
  33.  
    34.    
  
  
  
  34. # 启动nginx 
    35.    
  
  
  
  35.  
    36.    
  
  
  
  36. [root@s168 sbin]#./nginx 
    37.    
  
  
  
  37.  
    38.    
  
  
  
  38. ngx_http_fastdfs_set pid=6436 
    39.

服务重启并测试

  
 
 
 
    
   
  
  
  
  1. [root@s168 fdfs]#fdfs_trackerd tracker.conf restart 
    2.    
  
  
  
  2.  
    3.    
  
  
  
  3. waitingforpid[1202]exit... 
    4.    
  
  
  
  4.  
    5.    
  
  
  
  5. starting... 
    6.    
  
  
  
  6.  
    7.    
  
  
  
  7. [root@s168 fdfs]#fdfs_storaged storage.conf restart 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9. waitingforpid[1211]exit... 
    10.    
  
  
  
  10.  
    11.    
  
  
  
  11. starting... 
    12.    
  
  
  
  12.  
    13.    
  
  
  
  13. [root@s168 fdfs]#/usr/local/nginx/sbin/nginx-s reload 
    14.    
  
  
  
  14.  
    15.    
  
  
  
  15. ngx_http_fastdfs_set pid=6463 
    16.

6. 配置成功测试

 

 


当前名称：Nginx&&FastDFS实现分布式文件服务器
本文链接：http://wtcwzsj.com/article/cdsjgjo.html

其他资讯


关于我们
我们的服务
网站建设案例
新闻动态
联系我们

135-1821-9792

公司服务热线
友情链接： scdkjj.com   网络营销推广   营山母婴护理   乐至网站建设   手机APP开发   seo网络营销推广   网站方案   重庆发电机组销售   南充静音发电机组   成都灯箱   

Copyright © 2009-2022 www.wtcwzsj.com 青羊区广皓图文设计工作室（个体工商户） 版权所有　蜀ICP备19037934号