非结构化数据存储系统
非结构化数据存储系统ZDFS介绍
Introduction of unstructured data storage system ZDFS
一、非结构化数据的概念及趋势：
概念：非结构化数据是相对于结构化数据而言的。结构化数据，简单来说就是数据库，这也是传统IT概念中数据的主要体现形式。而非结构化数据，主要体现为图像、音频、视频、文档等形式，是网络化社会下各个企业（个体）活动、生产的载体。
趋势：根据 EMC2015年的最新数据报告显示，非结 构化数据呈指数级增长：当前大约有超过80%的数据是非结构化数据。而且，逐渐普 及的数字娱乐设备和飞速发展的互联网技术，导致数 字信息的总量增长迅速，5年内数据总量将增加10倍。其中，视频、音频、图像、文档等非结构化数据 的增速高达63%，它们已经占到当前数字信息总量的70%~85%。 对于政府、银行、通信等传统行业而言，伴随着电子信息建设步伐的加快、开放程度的加大、社交营销力度的加强，其在非结构化数据的储存方面也正在逐渐尽力着一场革命性的变化。
二、传统行业在非结构化数据存储方面的弊端：
业务特点：根据不同业务，规划不同的储存目录，所有文件存放在一个目录下，并依据上传日期等规则创建子目录。以最常见的电子档案系统为例，上传一张JPEG影像后，其存储路径可以表示为：/opt/edms/<2016>/<0420>/<uniqid>.jpg。该储存模式的最大特点就是简单，项目上线速度快！
不足缺陷：
1、需要额外的日常维护，定期备份，增加运维工作量；
2、扩展性极差，几乎不可能在线扩容，单目录情况下存在系统 文件最大容量上限问题；
3、存在单点故障隐患，负载均衡根本上无法实现；
4、在“小文件占比高”的储存模式下，受限于系统inode数目， 会出现磁盘有空间但却无法创建文件的困境；
5、性能瓶颈在储存数据量达到一定级别后将日益凸显（对于百 KB级别的碎片化文件，整体存储容量达到TB级别后文件的读 写效率将出现明显的下降）。
三、ZDFS系统概述及主要特点：
概述：占马非结构化数据存储系统（ZDFS）是一款专为海量文件存储设计的高效分布式存储系统，其通过丰富的多语言API接口实现文件的上传（支持断点上传）、下载、删除等功能，能有效解决大容量存储和负载均衡问题，特别适合以文件为载体的在线服务，如影像数据仓库、音视频网站等。
特点：
1、支持文件热备，备份同步自动进行，并可根据实际业务需 求弹性设置热备级别；
2、支持业务高可用，有效规避服务单点故障隐患；
3、支持访问负载均衡，有效应对高并发访问需求；
4、支持业务数据隔离，不同的业务数据可以根据需求设置 不同的存储服务组；
5、实施硬件要求不高，可充分利用现有硬件投资。
四、系统架构剖析之硬件部署架构示意：
User： ZDFS系统服务使用者，在实际环境中，其实就是各个有非结构化数据存储需求的业务。
Provider：服务节点。对外提供系统服务，对内与各个存储组保持沟通并持有其关键信息，如存储可用空间、各存储节点间的同步状态等。常规配置为主从HA配置，主从之间数据保持一致。
Storage：存储节点。组内不同节点冗余备份，同时起到均衡负载作用，支持在线扩容，支持相同文件保存一份。
ZDFS分布式存储系统的硬件部署架构示意图
五、系统架构剖析之业务逻辑层次图：
ZDFS分布式存储系统的业务逻辑层次图
六、ZDFS与传统存储模式的主要指标比较
