
标签:
FastCFS分布式文件系统是一个基于块存储的高性能通用分布式文件系统,FastCFS可以作为数据库(MySQL、PostgresSQL、Oracle等)以及k8s和虚拟机(KVM等)的后端存储。
FastCFS分布式文件系统是一个可以跑数据库的高性能分布式文件系统。
支持的操作系统:
Linux: Kernel version >= 3.10 (完全支持)
MacOS or FreeBSD (仅支持服务端,不支持FUSE)
一键部署:
如果你打算快速体验一下FastCFS,可以一键搭建(包括部署和运行)单节点(需要root身份执行):
git clone https://gitee.com/fastdfs100/FastCFS.git; cd FastCFS/
./helloWorld.sh
# 注意:helloWorld.sh将更改FastCFS相关配置文件,请不要在多节点集群上执行!
上述操作完成后,执行命令:
df -h /opt/fastcfs/fuse | grep fuse
可以看到FastCFS挂载的文件目录,你可以当作本地文件系统访问该目录。
经过一个半月的紧张研发和测试,FastCFS V3.3如期发布了。V3.3是一个里程碑版本,正常重启和kill -9强杀,系统稳定性和数据一致性,均得到了充分测试和保障。V3.3主要改进为:
1、[fstore] 修复了服务器重启等情况下的数据一致性问题;
2、[fstore] 单盘数据恢复:单盘故障恢复后,可通过命令行参数恢复数据;
3、[fstore] master再平衡:机器故障或网络短暂故障恢复后,master重新均衡分布;
4、[fauth & fdir & fstore] 引入防脑裂机制:leader/master选举投票采用过半原则。
v3.6.2
更新内容历时3星期的研发,FastCFS v3.6发布了,文件读写性能提升明显,尤其顺序写相信会惊艳到大家,感兴趣的朋友可以用 dd或scp等工具体验一下飞一般的感觉。我们租用3台阿里云本地SSD ECS 和 1台普通ECS作为客户端进行压测,2个fio并发线程即可把3gb网络带宽打满(约351MB/s),而v2.2在4并发线程下只有126MB/s。
v3.6性能优化主要包括如下两方面:
1. fstore server优化
文件写引入选项write_to_cache,默认为true,表示异步写盘,以充分发挥磁盘写入能力。另外,通过内存池动态分配数据buffer,从网络上接收数据,然后把数据buffer直接传递给磁盘写入线程和数据同步线程,避免内存拷贝。
文件读引入配置项read_direct_io,表示是否采用direct io模式,默认不采用(即使用系统缓存)。对于SATA或SAS普通硬盘,建议使用系统缓存;而SSD硬盘可以根据实际需要采用 direct io模式。
2. fuse client优化
支持fuse选项writeback_cache,告诉Linux kernel是否启用合并写。开启这个选项,将迅猛提升连续写入小块数据(比如一次写入4KB)的性能。
fuse.conf增加配置项kernel_cache,表示是否使用Linux kernel的文件缓存。开启这个选项,相当于在fuse客户端启用了文件缓存,在某些情况下将大幅提升文件读取性能。对于多节点共享数据场景,最好不要启用kernel_cache。
使用这两个fuse选项,程序内部合理设置fuse相关参数,文件读写性能提升明显。
v3.6修复的bug列表:
[fstore] bugfixed: MUST call set_binlog_indexes to set start_index
[fuseclient] bugfixed: write_to_pid_file move before fcfs_api_start_ex
bugfixed: base_path support relative path
FastCFS v3.6的文件读写性能又上了一个台阶,欢迎大家测试和使用。
加载全部内容
Godot游戏引擎 官方版53.12MB174人下载 Godot是一个全新开发的开源跨平台游戏引擎,其功能集类似知名的跨平台游戏引擎Unity,可用于开发PC、主机、移动和Web游戏。
下载
右侧自动生成二维码和返回顶部代码 v1.091 KB121人下载网页自动生成可扫描二维码图,二维码内容为对应网页网址链接 支持所有静态和动态网页页面,生成二维码可用手机软件我查查、魔码、微信等软件利用手机摄像头扫描,即可实现手机
下载
jquery v1.12.1 121 KB113人下载jQuery 是一个javascript 库,它有助于简化 javascript 以及 Asynchronous javascript + xml (Ajax) 编程。与类似的 javascript 库不同,jQuery 具有独特的基本原理,可以简洁地表示常见的复杂代码。学习 jQuery 基本原理,探索其
下载开源向量数据库milvus 最新版18.22 MB112人下载开源向量数据库milvus 最新版是一款全球领先的开源向量数据库,赋能 AI 应用和向量相似度搜索,加速非结构化数据检索。用户在任何部署环境中均可获得始终如一的用户体验。这里下载站为您提供开源向量数据库milvus 最新版下载,欢迎您使用这里下载站安装体验!
下载
Scrapy Web爬虫框架 v1.3.0 1.19 MB111人下载Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。
下载
Ionicons开源图标集合 正式版1.53MB110人下载 Ionicons是一个完全开源的图标集,其中包含1100多个图标,这些图标是专为Web,iOS,Android和桌面应用程序而设计的。Ionicons是为Ionic Framework构建的,因此图标同时具有Material Design和iOS版本。
下载vxe-tablevue表格解决方案1.62MB110人下载vxe-table是一个基于vue的表格组件,支持增删改查、虚拟滚动、懒加载、快捷菜单、数据校验、树形结构、打印导出、表单渲染、数据分页、模态窗口、自定义模板、灵活的配置项、丰富的扩展插件等...设计理念:面向现代浏览器,高效的简洁 API 设计模块化表格、按需加载、插件化扩展为单行编辑表格而设计,支持增删改查及更多扩展,强大的功能的同时兼具性能功能:Basic table (基础表格)Grid
下载开源向量数据库milvus 官方版21.75 MB107人下载Milvus 是一款全球领先的开源向量数据库,赋能 AI 应用和向量相似度搜索,加速非结构化数据检索。用户在任何部署环境中均可获得始终如一的用户体验。
下载Vant移动端组件库22.08MB107人下载Vant 是一套轻量、可靠的开源移动端组件库。通过 Vant,可以快速搭建出风格统一的页面,提升开发效率。特性:1、60+ 高质量组件2、95% 单元测试覆盖率3、完善的中英文文档和示例4、支持按需引入5、支持主题定制6、支持国际化7、支持 TS8、支持 SSR建议搭配 webpack,babel 使用 Vant,这样可以使用 webpack 提供的丰富插件和个性化配置。Vant 支持了 babe
下载
JPress v0.2 bulid0706 6.13 MB107人下载JPress,一个wordpress的java代替版本,使用JFinal开发。支持类似wordpress的几乎所有功能,比如:模板,插件等。同时在模板上,JPress提出了模板即模型的概念,方便模板制作人灵活制作业务模型,移除了widget等繁杂功能,同时在模板和插件制作上比wordpress
下载