CESS构建存储新范式,实现大规模商用存储,支撑高频动态数据

Web3在各个领域的应用和发展成为讨论的焦点。尽管业界对Web3的定义不尽相同,但一个普遍的共识是,Web3赋予用户对自己数据的所有权和自主权。这一转变至关重要,因为我们的生活和工作越来越数字化,意味着人类的一切活动很快将以数据流的形式呈现,意味着我们的各种行为都将被记录为数据,形成一个庞大而复杂的数据生态系统,这将是Web3行业乃至全人类数字生活的底层形态。

如何有效地存储、管理、使用和共享数据资源,如何真正释放数据的价值并享受数据带来的红利,成为企业和个人共同面临的问题。Web3数据解决方案以所有权为核心,成为实现新型数据分配关系的手段。以CESS(Cumulus加密存储系统)为代表的Web3数据基础设施提供商创造了一个开放、去中心化、无需许可、用户自主掌握数据主权的数据经济新生态。

然而,Web3数据领域依然面临着数据丢失率高、存储空间利用率低、检索速度慢等数据使用受限、数据流通交换受限、数据隐私管理缺失等问题。其中,最关键的问题是Web3行业缺乏有效的大规模商业应用存储解决方案,这将从基础设施层面限制Web3时代大规模应用的实现,阻碍互联网下一个时代的全面到来。

本文将从以下几个角度介绍CESS创新的去中心化对象存储服务DeOSS,以及它如何解决数据存储领域面临的问题。

  • 去中心化对象存储服务DeOSS技术原理解析

  • “DeOSS”与“OSS”服务的性能、安全性、成本对比分析

  • DeOSS应用场景及产品使用指南

为什么我们需要去中心化对象存储服务?

随着大规模商用存储需求的不断增长,每个用户在数字生活中产生的海量非结构化数据,如图片、视频、日志文件等,已经成为企业和个人使用的主要数据类型,对象存储服务(OSS)应运而生。对象存储是一种专为非结构化数据而设计的存储和管理技术,提供大规模、可扩展、高性价比的存储服务,Amazon S3是业界知名的对象存储服务代表。然而,目前的OSS服务是中心化的,存在数据主权丧失、数据泄露、数字身份风险、数据被出售给第三方等问题。

同时,随着Web3.0应用的快速发展,尤其是依赖实时数据流的Dapps,需要对高频动态数据进行快速有效的处理和存储,以保证应用的响应能力和用户体验。此外,新一代互联网对数据存储的安全性、隐私性和数据所有权提出了更高的要求,促使存储行业探索更高效、安全和可扩展的解决方案。

针对以上存储问题和需求,CESS 首创了去中心化对象存储服务 DeOSS,旨在通过去中心化的技术和创新的存储协议,为非结构化数据、高频动态数据和大规模商业存储提供可靠的支持,不仅将促进 Web3 生态的健康发展,也将为用户提供更优质的服务,推动数据驱动发展的新时代。DeOSS 不仅可以满足企业级非结构化数据存储需求,还可以为企业提供高安全性、可扩展、隐私管理的高性能存储服务。

了解去中心化对象存储服务 (DeOSS)

去中心化对象存储服务(DeOSS)是一个基于去中心化对象的海量存储服务,为web3领域提供低成本、安全、可扩展的分布式数据存储服务。

个人和企业均可利用 OSS 安全地存储、管理和保护数据,例如 NFT 图片和视频、DAPP 用户数据、Defi 程序等。DeOSS 基于区块链技术,有效利用闲置的在线存储资源,构建庞大的分布式存储网络。

DeOSS 的目标是将数据自主权归还给真正的所有者,而不是一个中心化的权威机构。DeOSS 遵循 Apache2.0 开源协议,允许任何人在任何地方部署并同时访问存储在世界各地的文件。

产品介绍

产品原理

DeOSS将提供标准的存储方式,实现基本的存储功能,如创建钱包、接收Token、购买空间、通过区块链浏览器授权有访问限制的空间、上传、下载、删除、分享有访问限制的文件,以及用户操作限制等。

具体来说,用户数据存放在Bucket中。使用DeOSS存储数据的过程中,需要先创建存储容器,指定地域、访问权限、存储类型等属性。数据会以Object的形式上传到存储容器中,每个Object包含文件(Data)、元数据(Metadata)和文件名(Key)作为唯一标识。

DeOSS内部的存储空间是扁平的,没有文件目录层级,数据对象直接归属到对应的存储空间。企业可以选择自建网关对外访问,也可以使用已有的网关,这样当用户通过域名访问时,DeOSS网关会将用户的请求转发到对应的存储服务。

产品特性

  • 去中心化:DeOSS是CESS去中心化网络中的去中心化对象存储服务,支持在线数据传输的安全HTTPS加密,保证数据在传输和存储过程中的安全和隐私。

  • 高扩展性:每个账户最多可以管理1000个Bucket,且每个Bucket没有空间限制,提供海量存储容量。

  • 数据所有权:您可以控制您的数据及其所有权,可以选择私人存储、与特定个人共享或完全公开,并且能够在不受干扰的情况下删除数据。

  • 反审查:任何用户都可以根据协议控制自己的数据,避免其他实体的干扰。

  • 毫秒级数据检索:支持实时在线数据共享和灵活的文件管理。

DeOSS 存储什么?

DeOSS适用于存储网站和应用中的高清图片、音频、视频、备份文件等,以及各类DApp、云存储应用中的文件。

DeOSS 适合哪些人?

DApp、NFT、Web3应用开发者、SocialFi开发者、以及有大规模数据存储需求的用户。

  • 如果你是非开发者用户,可以通过访问CESS官网体验DeOSS。

  • 如果你是开发者,你可以通过HTTP请求来体验DeOSS。(加入链接:https://www.cess.cloud/deoss.html)

系统架构

不同于主流的分布式系统架构,DeOSS与CESS区块链实现了高度融合,形成了独特的开放、去中心化的分布式对象存储系统,在底层区别于主流的分布式系统架构。系统架构分为四层,如下图所示:应用层、服务接口层、区块链、存储服务。应用层为用户提供交互友好的数据管理服务。接口层作为应用层和区块链层之间的中间件,使得OSS可以为无数的自定义应用提供对象存储服务,实现服务功能的开放。

区块链层

区块链层是DeOSS架构的核心,连接调度器、存储矿工和用户应用程序,提供文件元数据管理、用户存储空间管理、调度以及存储矿工账户管理等基本功能。区块链层构建在CESS链之上,作为基础设施,采用自研的共识算法R²S(详细解读可参考《CESS机制详解(二):区块链层与R²S共识机制》一文)。DeOSS还具备灵活的存储扩展能力,所有符合条件的账户都可以申请成为调度节点或存储矿工,为DeOSS提供服务并获得奖励。

应用层服务

DeOSS服务接口层实现了常用代码库的模块化封装,应用层只需要实现少量接口即可提供完整的对象存储服务。DeOSS应用层的服务架构如下图所示。目前DeOSS提供两种应用模式:基于命令行的Go客户端模式,以及基于Gin框架的服务端模式。均可以通过简单的配置快速启动服务,用户也可以根据需求自行添加功能模块接口,而不必担心内部代码的复杂程度。

应用层

DeOSS应用服务具有三层架构。

  • 网络连接层为上层提供用户交互、数据对象传输、链上函数调用等基础服务。

  • 内部服务层处理来自交互层的用户数据文件,提供数据确认、文件分片与冗余、文件声明等预处理,并将处理后的内容提交给调度器进行调度;处理来自链和存储。

  • 矿工数据通过交互层展示给用户,形成完整的服务闭环。

它还提供数据加密和解密以及系统日志等额外的服务支持。

文件传输协议

DeOSS采用TCP协议作为底层可靠通讯协议,建立安全可靠的文件传输机制。文件传输协议如下所示。当应用程序服务层发起文件发送或接收请求时,首先与接收方/发送方建立TCP连接,再通过DeOSS文件传输协议的握手机制建立文件段字节流传输通道。

DeOSS 与 OSS

DeOSS 是基于 CESS 区块链实现的新型存储服务,除了具备市面上现有对象存储产品的优点(如高可靠、易扩展、低成本、高安全性等)外,还具备去中心化、归属用户等优势。目前传统的 OSS 产品,如亚马逊、阿里云的 OSS 等,都是中心化的存储,用户使用 OSS 存储服务时,是将自己的数据委托给第三方,存在监管和垄断的风险。用户通过 DeOSS 上传的数据,是基于 CESS 区块链技术实现去中心化存储,数据的所有权归用户所有。用户可以通过 DeOSS 授权某些应用使用,当然这些应用无法控制用户授权的数据。

以下是DeOSS与OSS的详细比较:

通过以上对比可以看出,DeOSS不仅具备目前对象存储(OSS)产品在存储性能、成本等方面的优势,还具备DeOSS去中心化的特性,打破了以往存储服务在安全性、数据权属、效率等方面的束缚,而这正是企业级大数据存储亟待解决的问题。

DeOSS 使用场景

在传统应用领域,类似DeOSS这样的去中心化对象云存储可以进入Amazon Cloud、Google Cloud等商业云的业务范围。通过DeOSS,企业和个人可以提供各类云存储服务,满足各种使用场景,包括但不限于:

分布式文件系统——分布式文件存储不仅可以用于个人用户备份和共享,还可以为企业提供大规模商业存储服务。

社交媒体——DeOSS具有高效、安全、可扩展、大规模存储的特性,满足了社交应用对安全存储、实时更新和用户数据主权的需求。

流媒体应用——DeOSS为高清图像、音频、视频等大文件的创建、存储和流式传输提供最佳解决方案。

数据交易市场——DeOSS支持数据价值的货币化和流通,为数据交易市场的建立提供基础。

区块链数据可用性层——DeOSS 可以为第 1 层的区块数据和状态数据以及第 2 层汇总解决方案中的交易数据提供低成本、无需信任且高度可用的存储。

创作者平台——DeOSS整合了去中心化的存储网络和内容分发网络,满足创作者平台对数据版权建立和追踪的需求。

数据湖——DeOSS适用于存储、处理和保护大量数据,帮助企业降低成本、管理数据和使用人工智能。

生物数据——DeOSS支持多类型数据的授权与追溯,提供海量存储、高效检索,解决生物数据面临的数据量巨大、增长迅速、来源广泛复杂、难以标准化、结构化等问题。

立即体验 DeOSS

在Web3.0革命性建设与创新过程中,新的数据基础设施架构与数据流通机制正在逐步形成,打造数据要素授权、流通、交易的经济体系,推动互联网商业模式与价值分配模式变革,加速数字经济发展与创新。

CESS提供的创新型去中心化对象存储服务DeOSS将成为推动这一进程的重要产品和服务之一。DeOSS产品不仅具备目前市场上对象存储产品的高可靠、可扩展、低成本、高安全性等优势,还具有去中心化、数据所有权属于用户、抗审查等优势。

亲爱的合作伙伴,我们诚挚邀请您体验并使用DeOSS产品!DeOSS功能只需编辑源代码并部署即可使用。初学者请参考以下链接:https://docs.cess.cloud/deoss/

最后,如果您在使用过程中遇到任何问题,欢迎随时与我们联系。我们热切期待与全球合作伙伴一起为下一代价值互联网的去中心化存储+CD²N建设贡献力量!

加入我们

CESS 网站 |  Twitter |  Telegram |  Discord |  Github |  Medium |  LinkedIn |  Instagram |  YouTube |  Facebook