网店 头条 产品 招聘 黄页
房产 家居 汽车 IT 文教 生活 健康 时尚 日用 服务 商务 工商 广告 工程 工业 农业
  •   在数字化转型的背景下,数据量正呈现出爆炸式增长的态势。而传统数据压缩架构存在计算资源需求高,CPU的负载率高,压缩任务吞吐量不足等问题,浪潮FPGA方案对GZip算法进行了专门的开发和优化,压缩率能够达到94.8%,压缩速度达到1.6GB/s,十倍于传统方法的计算效率。

    图片不存在

      浪潮FPGA方案,节省80%磁盘空间和网络流量

      举个现实的例子,我们每年最大的“剁手节”——双十一当天所产生的交易日志就达到了PB级别,而这仅仅是1天、1个网站搜索产生的数据。

      那这些数据对于数据中心而言意味着什么?1天内不仅多了至少1PB的数据需要存储,并且又有至少1PB网络流量被占用。按照1块盘8TB的容量来算,需要124块硬盘,按照1台服务器12块盘来算,需要至少12台服务器来存储这些日志。同时,在双十一后,这些数据仍需要被存储一段时间用于后续的大数据分析,这期间日志文件会被各个计算机群频繁的访问读取,不仅长期占用大量存储空间,也会加重数据中心内外部网络负担。

    图片不存在

      数据量爆发式增长

      那么有没有什么方法压缩这些数据?类似我们在电脑上用WinRAR或者其他压缩工具把文件压缩为zip、rar,数据中心的海量数据是否也能被压缩。

      数据压缩,用计算能力换取更多存储空间

      目前,业界常用的压缩算法有基于UNIX系统的文件压缩GZip、高储存密度的计算机文件压缩Zip、无损压缩软件BZIP2等,其中GZip由于具有较好的压缩比、压缩效率和平台通用性,因此被广泛的应用。

    图片不存在

      GZip文件压缩

      但传统的压缩程序基于CPU,会存在一些问题。比如,压缩任务所需要的计算资源较高,在进行大文件或者多文件压缩任务时,会导致CPU的负载率高,影响其他任务的正常运转。另外,如果压缩任务请求频繁,比如网站文件的GZip压缩,网站的同时访问人数就基本等同于压缩任务数,这时候CPU的单核性能高但并行能力弱的特性会导致压缩任务吞吐量不足。

      因此,针对数据中心海量数据压缩,用计算能力换取更多存储空间是必然趋势。比如数据文件中存在很多重复出现的字符串,如果用更短的符号代替,就能达到缩短字符串的目的。例如,有个文本中大量使用“整机柜服务器”这个词,我们用"整机柜"代替,就缩短了3个字符,如果用"整"代替,就缩短了5个字符。事实上,只要保证对应关系,可以用任意字符代替那些重复出现的字符串。并且这一过程是无损的、可逆的。

      基于FPGA的浪潮压缩方案,压缩率达94.8%

      为了解决传统压缩架构的弊端,浪潮基于FPGA来开发GZip压缩算法,通过充分利用板卡硬件流水设计和任务级并行,来提升压缩任务的吞吐量,并有效降低CPU的负载。

    图片不存在

      浪潮FPGA F10A

      由于FPGA采用与CPU迥异的运行模式,因此需要进行算法移植。目前,浪潮基于FPGA的GZip算法进行了专门的开发和优化,在样本压缩测试中,压缩率能够达到94.8%,极大降低数据文件所占用的存储空间。

      举个例子,在大型数据中心,各个业务部门之间的数据可能存在于不同的集群,因此当数据需要被大量的跨集群读取时,即使各个集群中有数百G的智能网络专线,但是传输的数据不能把带宽占满,因此可能导致任务的较大。而在这些传输的数据中,日志等字符重复率较高的文本文件的数量也是很大的,采用浪潮FPGA方案能够迅速将文件缩小90%以上,并且能够在传输完成后快速解压,有效降低带宽占用。

      1.6GB/s压缩效率,10倍于传统压缩方案

      数据的压缩虽然可以节省磁盘空间,但是却也需要更多的计算能力,如果使用原有的CPU来进行处理,压缩和解压的速度较慢,会影响整个集群的业务效率,这就得不偿失了。而浪潮FPGA方案在运行简单但重复性高的任务时,能省去取指和译码步骤,极大的提高了重复运行相同代码的效率。据实测数据显示,基于高性能的硬件平台和优化的算法,浪潮FPGA方案可以达到1.6GB/s的GZip压缩速度,而使用传统x86架构处理器的性能只能达到60-150MB/s。浪潮FPGA为业界带来至少十倍于传统方法的计算效率。

    图片不存在

      数据压缩解决方案GZip

      举个例子,由于GZip可以压缩[html]、Java[script]、Cascading Style Sheets等网络常用的文档,因此目前大部分的网站会启用GZip压缩来降低网站访问速度,通常经过GZip压缩的网站可以降低2/3以上的大小,因此从客户端来看,网站的打开速度可能提升3倍。但是对于极高并发量的大型网站来说,过高的瞬时流量可能导致服务器的高负载,而采用浪潮FPGA方案则能够支撑更高的并发量。

      由于GZip无损压缩主要针对有大量重复字符的文件,因此以文本为主的数据,比如日志文件、交易记录、编译报告、[html]文件等都能进行很好的压缩。但是对于已经被压缩过的文件,比如JPEG图片文件等,压缩率可能很低甚至为负。为此在GZip无损压缩之外,浪潮还开发出基于FPGA的WebP有损压缩方案,进一步提升图片等数据的压缩率和压缩效率。未来,浪潮还将推出更多FPGA方案,为更多应用提供更高效的计算平台支撑。


  • 发布:陈颖哲   点击:1490
  • 网店简介

    图腾机柜防伪

    一、镀铝锌板梯形截面安装梁

    图片不存在

                                      二、新款镀铝锌板方孔条

    图片不存在

                                     三、图腾新一代模块化风扇单元(已获得发明专利)

                                                两位风扇单元

    图片不存在

                                             从机柜内看风扇单元

    图片不存在

                                             从机柜顶看风扇单元

    图片不存在

    防止买到假货方法:一、识别是不是图腾授权经销商。1、图腾授权经销商有《图腾机柜经销商授权证书》

    2、《图腾机柜经销商授权证书》可发邮件到sales@toten.com.cn确认真假。3、图腾授权经销商只卖图腾机柜。同时在卖几个品牌机柜的不是图腾授权经销商。二、识别是不是图腾的工厂制造的1、号称"原厂指定供应商"、"100%正宗图腾"、"图腾授权生产"的是假货2、图腾机柜全部都在图腾自己的工厂制造。3、产地不是在深圳或昆山的是假货。三、产品上的防伪特征1、镀铝锌板梯形截面安装横梁(见图)2、新款镀铝锌板方孔条(见图)3、所配风扇部件为图腾拥有发明专利的"风扇单元"(见图)4、图腾会间隔一段时间公布新的特征,并且以新的特征来识别,以防造假者仿制这些特征。

    图腾机柜代理商哪家好?专卖热线024-83993967

    用优质冷轧钢板,表面作防锈磷化处理,静电喷塑,品质完全可以媲美进口机柜.024-83993967我公司实力雄厚,技术先进,库存量大.产品远销海外,深受广大用户好评.13998192570

    图腾系列网络机柜是我公司的标准产品,具有稳固可靠、装配灵活、外观高雅的特点,钢材全部选用优质冷轧钢板,表面作防锈磷化处理,静电喷塑,品质完全可以媲美进口机柜。

    主要覆盖销售城市为:辽宁图腾机柜、沈阳图腾机柜、大连图腾机柜、铁岭图腾机柜、朝阳图腾机柜、阜新图腾机柜、葫芦岛图腾机柜、锦州图腾机柜、辽阳图腾机柜、营口图腾机柜、鞍山图腾机柜、本溪图腾机柜、丹东图腾机柜、抚顺图腾机柜、盘锦图腾机柜。是一家专业销售图腾机柜的专业公司,系国内、业内最具规模的销售商之一。

    我们的主要产品有:

    工业控制机柜、控制箱、网络机柜、服务器机柜、挂墙机柜、

    开放式机架、配线架、工控机箱、电力柜、配电箱及其他产品。

    图腾机柜沈阳办事处大连图腾机柜辽宁图腾机柜

    电话:024-83992235

    手机:13840212370

    传真:024-83992851

    MSN: sylihl@hotmail.com

    邮箱:lihongli_yw@163.com

    联系人:李小姐

    联系地址:沈阳市三好街90甲5号百脑汇

    联系方式:

    联系:李小姐

    电话:024-83992235,024-83992851,13840212370,024-83992851

    地址:沈阳市三好街90甲5号百脑汇