JuiceFS-开源分布式文件系统入门（一篇就够了）
文章目录 2.2 不同的使用场景举例 03 技术架构 04 实战 05 总结 06 文末
01 引言
是一款开源的分布式文件系统，它为云环境设计，兼容 POSIX、HDFS 和 S3 协议的分布式文件系统。
02 为何物？
是一款面向云原生设计的高性能共享文件系统，在 2.0 开源协议下发布。
2.1 的特点 2.1.1 兼容性
提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。
2.1.2 丰富的API
提供了丰富的 API，适用于各种形式数据的管理、分析、归档、备份，可以在不修改代码的前提下无缝对接大数据、机器学习、人工智能等应用平台，为其提供海量、弹性、低价的高性能存储。
2.1.3 特性总结 特性描述
POSIX 兼容
本地文件系统一样使用，无缝对接已有应用，无业务侵入性
HDFS 兼容
完整兼容 HDFS API，提供更强的元数据性能
S3 兼容
提供 S3 网关实现 S3 协议兼容的访问接口
云原生
通过 CSI驱动 轻松地在 中使用
分布式设计
同一文件系统可在上千台服务器同时挂载，高性能并发读写，共享数据
强一致性
确认的文件修改会在所有服务器上立即可见，保证强一致性
强悍性能
毫秒级延迟，近乎无限的吞吐量（取决于对象存储规模）
数据安全
支持传输中加密（ in ）和静态加密（ at rest）
文件锁
支持 BSD 锁（flock）和 POSIX 锁（fcntl）
数据压缩
支持 LZ4 和 压缩算法，节省存储空间
2.2 不同的使用场景举例
场景一：像本地磁盘一样使用
# 格式化JuiceFS文件系统
> juicefs format redis://your-redis-host:6379/1 myjfs# 挂载JuiceFS文件系统
> juicefs mount -d redis://your-redis-host:6379/1 /mnt/juicefs# 检查挂载点状态
> df -h /mnt/juicefs
Filesystem Size Used Avail Capacity iused ifree %iused Mounted on
JuiceFS:myjfs 1.0Pi 0Bi 1.0Pi 0% 0 10485760 0% /mnt/juicefs# 从home目录挂载数据集到JuiceFS
> cp -r ~/dataset /mnt/juicefs/
场景二：应用开发简单，无需SDK
# Python 例子
path = '/mnt/juicefs/dataset/days.txt'
days_file = open(path, 'r')
days = days_file.read()new_path = '/mnt/juicefs/new_days.txt'
new_days = open(new_path, 'w')title = 'Days of the Week\n'
new_days.write(title)
print(title)new_days.write(days)
print(days)days_file.close()
new_days.close()
场景三：最简单，最适合K8S PV
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: web-pvc
spec:accessModes:- ReadWriteManyresources:requests:storage: 10PistorageClassName: juicefs-sc
---
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-run
spec:selector:matchLabels:app: nginxtemplate:metadata:labels:app: nginxspec:containers:- name: nginximage: linuxserver/nginxports:- containerPort: 80volumeMounts:- mountPath: /configname: web-datavolumes:- name: web-datapersistentVolumeClaim:claimName: web-pvc
> kubectl get sc
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
juicefs-sc csi.juicefs.com Retain Immediate false 88m
场景四：完全兼容 HDFS，使用方法也一样
# Shell
> hadoop fs -ls jfs://myjfs# Hive
CREATE TABLE IF NOT EXISTS person
(name STRING,age INT
) LOCATION 'jfs://myjfs/tmp/person';
场景五：通过 S3 API 访问
# 为JuiceFS文件系统开启S3网关
> juicefs gateway redis://localhost:6379/1 localhost:9000# 通过AWS命令行连接访问JuiceFS文件系统
> aws --endpoint-url http://localhost:9000 s3 ls s3://myjfs
03 技术架构
首先贴出官网的技术架构图：
3.1 的三个技术层
从上图，我们可以看到分为了三层，从上往下依次为：
分类描述
（ 客户端）
协调对象存储和元数据存储引擎，以及 POSIX、、 CSI 、S3 等文件系统接口的实现
（元数据引擎）
存储数据对应的元数据（）包含文件名、文件大小、权限组、创建修改时间和目录结构，支持 Redis、MySQL、TiKV 等多种引擎；
Data （数据存储）
存储数据本身，支持本地磁盘、公有云或私有云对象存储、HDFS 等介质；
这里主要讲下在 客户端层面 的文件系统接口的技术实现：
3.2 如何存储文件
任何存入 的文件都会被拆分成固定大小的 “Chunk”（默认的容量上限是 64 MiB）
每个 Chunk 由一个或多个 “Slice” 组成，Slice 的长度不固定，取决于文件写入的方式；每个 Slice 又会被进一步拆分成固定大小的 “Block”（默认为 4 MiB）；最后，这些 Block 会被存储到对象存储；同时， 会将每个文件以及它的 、、 等元数据信息存储在元数据引擎中。
文件最终会被拆分成 、 和 存储在对象存储，存储桶中只有一个 目录和一堆数字编号的目录和文件，如下图：
04 实战 step1: 客户端安装
去下载最新的客户端：
注意版本与操作系统的对应关系如下：
版本系统
-x.x.x--amd64.tar.gz
面向 Intel 芯片的 macOS 系统
-x.x.x--arm64.tar.gz
面向 M1 系列芯片的 macOS 系统
-x.x.x-linux-amd64.tar.gz
面向 x86 架构 Linux 发行版
-x.x.x-linux-arm64.tar.gz
面向 ARM 架构的 Linux 发行版
-x.x.x--amd64.tar.gz
面向 x86 架构的 系统
--x.x.x-amd64.jar
面向 x86 架构的 Java SDK（同时支持 Linux、macOS 及 系统）
如果资源文件里面没有内容，加载不出来，可以通过来查询下载资源的地址：
当然也可以使用命令安装，会根据硬件架构自动下载安装最新版 客户端：
curl -sSL https://d.juicefs.com/install | sh -
下载完成后，解压，使用命令：
juicefs version
可以看到已经安装好了。
step2: 创建文件系统
创建名为 的文件系统，使用 Redis 的 1 号数据库存储元数据：
juicefs format \--storage minio \--bucket http://endpoint地址:端口/rtc \--access-key minio的access-key \--secret-key minio的secret-key \"redis://:redis密码@redis地址:redis端口/数据库编号" \miniofs
在Redis数据库，可以看到key为的内容如下：
同时登录MinIO，在buck1桶下，可以看到创建了一些目录：
step3: 挂载文件系统
我们可以挂载文件目录到本地的桌面的data目录（如果提示没有权限，建议命令前加上sudo）：
juicefs mount "redis://:redis密码@redis地址:redis端口/数据库编号" /桌面地址/data
可以看到报错了，提示：
[89168] : fuse: fuse: no FUSE mount found [.go:184]
这是由于系统没有安装FUSE 模块模块，所以需要下载安装，macOS系统下载地址：
安装好后，继续执行命令，也报错了，提示：
[92350] : The mount point is not ready in 10 , exit it [.go:56]
解决方式，打开安全性与隐私，解锁后，点击下图红框的运行。
继续执行命令，可以看到挂载成功了：
step4: 开始使用
详细使用参考：
当挂载好之后，我们可以正式的使用了，下面举个例子，使用同步命令，把MinIO里面的内容同步到本地的桌面的data目录，命令如下：
juicefs sync [command options] 源端地址 目的端地址
MinIO的地址格式为： minio://[:[:TOKEN]@]/[/]
示例如下：
我们打开指定的同步目录的上一级，可以看到产生了两个文件：
进去看（其中user是桶下面的根目录名称），可以看到数据下载下来了。
进入看看，可以看到元数据也同步下来了：
对应MinIO桶的根目录下也有两个文件夹：
05 总结 5.1 命令总结
详情参考：
上面举例的是只使用了的同步（sync）命令，如果想要知道更多的相关的命令，可以使用--help来搜索，整理如下：
用法： [全局可选参数] [命令选项] [命令参数...]
分类命令描述
全局可选参数
–, --debug, -v
允许 debug 日志 (默认: false)
–quiet, -q
仅展示告警和错误 (默认: false)
–trace
允许 trace 日志 (默认: false)
–no-agent
禁止 pprof (:6060) 和 gops (:6070)代理 (默认: false)
– value
地址
–no-color
禁止打印有颜色 (默认: false)
–help, -h
显示帮助 (默认: false)
–, -V
打印版本 (默认: false)
命令选项
格式化目录卷
修改目录卷配置
销毁已存在的目录卷
gc
数据存储中对象的垃圾收集器
fsck
检查卷的一致性
dump
将元数据转储到JSON文件中
load
从以前转储的JSON文件加载元数据
展示版本
显示卷状态
stats
显示的实时性能统计信息
显示在中完成的操作分析
info
显示路径或索引节点的内部信息
mount
挂载卷
卸载卷
启动一个兼容s3的网关
启动服务器
bench
在路径上运行基准测试
在对象存储上运行基准测试
为目标目录/文件构建缓存
rmr
递归删除目录
sync
两个对象存储之间的同步
5.2 常见错误总结
常见的错误，官网已经记录下来了，可以参考：
