FASS全闪高性能文件网关解决方案

admin 2020-06-29 14:49 解决方案

方案背景

海量小文件难题

大数据、人工智能、物联网、智慧金融、电子商务、新媒体等应用产生了大量数据,其中小文件数量可以可轻松达到千万甚至十亿级别。如淘宝、京东等购物网站的海量产品图片;微博微信里用户上传的表情、图片;人工智能领域的人脸识别、安防监控的卡口图片、金融的影像数据等,这些文件在几KB至几百KB不等,数量可达上亿级,属于典型的海量小文件。

海量小文件简称LOSF(lots of small file),业内将大小在1MB以内的文件称为小文件,百万级数量及以上称为海量。LOSF读写性能低下一直是困扰存储界的难题,无论是传统磁盘阵列,还在风头正劲的分布式存储,都无法有效应对海量小文件的I/O压力。
海量小文件的文件尺寸小,因此多个文件在硬盘上的分布不连续,物理位置跨度较大;而文件系统的每次文件访问都会伴随一定的元数据操作,文件数量越多,元数据访问压力越大。因此海量小文件读写是并发随机访问,资源开销大,对存储系统的随机读写性能有极高的要求。而目前的文件系统包括本地文件系统、分布式文件系统等主要面向传统场景设计,在元数据管理、数据布局、缓存策略等方面都侧重于大文件,在海量小文件压力下性能极差,业务访问时常常出现目录无法打开、检索缓慢、响应迟钝、甚至发热宕机等情况。

 

大文件带宽压力

一方面,小文件的数量在疯狂增长,另一方面,大文件的尺寸在快速增加。如像素越来越高的手机照片、动辄几百GB甚至TB级的4K/8K视频、精密科研仪器产生的大尺寸素材数据。这些数据不仅仅需要海量的存储空间,更需要充足的带宽性能,满足大量数据在快速查看、编辑、处理、共享等多方面的需求。
以高清非编为例,它通过多个工作站对于高清视频素材的编辑与渲染,最终处理生成符合播放要求的视频文件。无损4K视频码率可超过300MB/s,压缩后仍有500Mb/s的码率,某些特殊场景因有更高的帧率,码率更可达到惊人的1.5GB/s。
在10个工作站规模、无损4K素材视频编辑时,假设每工作站平均编辑5层4K素材,需要的带宽性能为300MB/s×5×10=15000MB/s。这对于存储系统是一个巨大的性能挑战,SAN文件系统方案架构复杂,且需要很多套光纤阵列支撑;而传统分布式存储需要众多存储节点,且网络延时带来的抖动也很难满足视频渲染的稳定性要求。类似的大文件应用场景,需要更高带宽、更低延时、简单经济的解决方案。

 

方案说明

为满足海量小文件高效管理和大文件的高带宽性能需求,TaoCloud基于FASS分布式全闪存储系统,推出了FASS文件网关解决方案。该方案主要采用分布式全闪存储架构,通过在资源调度、元数据管理、数据组织、I/O 流程优化等多方面优化,可以有效释放全闪存介质的性能,实现海量小文件访问的快速响应;文件网关可以支持多种文件存储协议,实现便捷的数据共享和强大的带宽性能。

△FASS文件网关方案拓扑图

 

为保障文件网关的高性能表现,方案采用配备全闪存介质的FASS分布式全闪存储集群作为存储底座,FASS使用本地SSD资源创建多个LUN卷,并映射到不同的网关节点。FASS是面向IO密集型应用的高性能块存储系统。它采用高性能的全闪存硬件平台,针对NVMe闪存介质设计了高效的分布式存储软件栈,FASS可将多个节点的SSD资源通过高速以太网或Infiniband网络组成高性能、高可用、易扩展的块存储资源池,并通过iSCSI、iSER、NVMeoF存储接口对外提供超高性能的存储服务。随着业务性能需求的增长,FASS可以通过横向扩展,轻松提升容量与性能。
文件网关相当于IO节点,它们通过高速IP SAN网络访问FASS存储服务,使用iSER协议挂载其LUN资源。每个网关节点以多路径的形式挂载所有LUN卷,并使用其中某个卷作为自己的存储介质资源。各网关节点使用的LUN卷各不相同,可以单独导出文件服务,或将所有LUN创建存储资源池,并以CIFS/NFS/S3等协议对外导出,通过10/25/100Gb以太网为应用提供高性能、易共享、弹性扩展的存储服务。
网关节点本身即一套高可用集群,通过LUN多路径映射以及SAN高可用设计,任何一个网关节点故障后,它的LUN卷会由其他网关节点自动接管,最大允许N-1节点故障,而不影响文件存储服务的正常使用。
FASS文件网关包含IO链路、集群内部、业务访问几层,不同网络可单独配置,也可以复用简化。为保证方案整体性能,推荐配置10Gbps以上网络配置。
FASS文件网关可以提供远高于传统NAS的文件访问性能,满足新兴文件应用场景对于高IOPS和带宽的苛刻要求,参考性能:

方案优势

·优秀的性能表现

FASS网关方案采用share-nothing分布式集群架构,可以消除独立元数据性能瓶颈,支持百亿级别文件总数目和千万级单目录文件数目。FASS元数据服务基于内存K/V数据库实现,文件数据与元数据分别存储和管理,具备优秀的性能扩展能力。通过NVMe盘提供极致I/O性能,结合软件层的XPE引擎设计、微控制器技术、轻量元数据索引等机制,块存储端可达到三节点千万级IOPS、微秒级延迟;文件存储性能可达到数十万OPS、10GB/S级带宽。

 

·统一存储、便捷共享

FASS文件网关方案同时提供高性能块、文件、对象访问,如CIFS、NFS、FTP、S3、iSCSI、iSER,可以满足用户各类应用的存储访问需求。数据库可以使用iSER高性能块服务,满足关键业务的性能需求;海量小文件或大文件编辑,可以使用NAS协议或POSIX共享访问。方案采用透明共享机制,可以让文件协议和对象协议实现零拷贝数据共享,异构应用可以轻松共享彼此写入的数据,而无需任何拷贝或转换。。

 

·高可用、灵活扩展

FASS分布式全闪存储系统采用全活高可用架构,可以允许任意节点故障而不中断块存储服务;存储网关通过多路径映射加SAN高可用机制,可以允许N-1个网关节点故障。两者结合,具有极高的业务可用性。

 

随着业务的增长,方案可以按需配置相应的集群规模,以最小的投入满足业务性能需求。方案前后端相对独立,用户可以根据业务对块存储和文件/对象存储的不性能要求,对FASS存储底座与文件网关可以配置不同的网络、集群规模、硬件规格,以经济灵活的配置,满足业务的实际资源需求。随着集群规模的扩展,文件网关的整体性能呈线性增长。

 

典型业务场景

FASS文件网关解决方案主要面向海量小文件和高业务带宽需求场景,可以通过标准的NAS或CIFS协议,可以便捷的文件共享和高吞吐带宽性能。可广泛应用于AI海量小文件、4K/8K非编、HPC、基因测序、高速数据采集 (雷达、卫星等)等业务场景。

 

海量小文件

AI人脸识别、大型电商、交通卡口等场景,每天都会产生高级TB量级的小图片文件,这些数据要求保存一定的周期,到期后需要批量删除,集中操作往往给存储系统带来巨大的压力。大量的元数据操作导致传统存储系统对小文件的删除、检索效率极低,读写放大明显,HDD存储系统难以应对如此庞大的文件数据和随机访问压力,成为类似应用的最大性能瓶颈。

FASS网关方案采用分布式轻量级元数据设计,可以支持百亿级别文件总数目和千万级单目录文件数目。结合软件层的的多种优化,可以充分发挥NVMe盘的随机读写性能,应对海量小文件的同时删除或并发随机访问压力。

△FASS文件网关交通卡口海量图片管理

 

高清非编

4K/8K不仅给播放设备、网络带宽带来的新的挑战,给后端的存储设备更是带来了性能和容量上的巨大压力。视频后期制作通常需要同时编辑多层素材,导致存储带宽需求数倍增长;除了极高的带宽,还要求存储的访问延迟较低,不能存在明显的性能抖动,否则会导致画面卡顿、丢帧等情况,极大影响编辑人员的工作体验。随着业务的增长,视频素材的累积,工作站所需要的存储空间也越来越大,存储设备需要具备强大的扩展能力,以弹性满足业务发展的需要。 
FASS文件网关解决方案可以较低的成本提供非编所需的容量、带宽与共享特性,解决4K/8K视频编辑处理面临的性能难题。

△FASS文件网关4K/8K非编应用

 

高性能计算

随着HPC逐渐往大数据、AI等方向融合和演进,对存储容量、I/O性能、弹性扩展能力提出了更多的要求。多个HPC高工作需要便捷的数据共享,通过文件协议实现高带宽业务访问。也对数据提供出了全场景交叉共享,跨业务自由流动的要求。

 

FASS文件网关支持多种文件存储协议,高吞吐、可扩展的带宽表现,可以满足多个高性能计算节点的并行数据处理要求,并提供原生的数据共享;内置的冷数据归档功能,可以将重要的结果数据归档至蓝光或云端保存;软件定义方案,支持主流的服务器硬件平台,降低用户建设成本。

△FASS文件网关基因测序HPC应用

 

上一篇:裸金属云FASS高性能弹性块存储解决方案
下一篇:TaoCloud XDFS智能云归档解决方案

猜你喜欢

手机扫一扫添加微信

010-62958932 info@taocloudx.com