当前位置: 首页 > >

大数据存储管理大趋势 isilon

发布时间:

大数据 存储管理大趋势

? Copyright 2011 EMC Corporation. All rights reserved.

1

The Digital Universe

1.2 ZETTABYTES 1,200,000,000,000,000,000,000
? Copyright 2011 EMC Corporation. All rights reserved. 2

2010年数据

2020年将达到

35 ZETTABYTES 35,000,000,000,000,000,000,000
? Copyright 2011 EMC Corporation. All rights reserved. 3

大数据正在改变企业存储
90 80 70 60 50 40 30 20 10 0 2009 2010 2011 2012 2013 2014
基于文件: 60.7% CAGR 基于块: 21.8% CAGR

大数据 来源

到2012年, 80%存储空间用于基于文件的数据
来源: IDC

? Copyright 2011 EMC Corporation. All rights reserved.

4

文件,非结构化数据?. “大数据”
Computer Modeling Seismic Exploration Music / Audio PDFs Genetic Sequencing Video & Graphics

Medical Imaging

Satellite Photos

? Copyright 2011 EMC Corporation. All rights reserved.

5

纵向扩展技术不适合大数据
服务器

扩展性 性能 管理 可靠性 成本

? Copyright 2011 EMC Corporation. All rights reserved.

存储

网络

6

垂直扩展与横向存储
峰值 峰值 性 能 峰值 峰值
存储设备性能高

存储设备性能中高

痛苦的系统迁移 复杂的系统管理 重复的系统投资

存储设备性能中

存储设备性能低

容量
? Copyright 2011 EMC Corporation. All rights reserved. 7

如何满足大数据需求:
无与伦比的容量和性能扩展 性.

? Copyright 2011 EMC Corporation. All rights reserved.

8

存储大数据架构的转变—横向扩展
Server

扩展性 性能 管理 可靠性 成本

? Copyright 2011 EMC Corporation. All rights reserved.

Storage

Network

9

垂直存储与横向存储
性能 扩展

性 能

适合快速增长 单一文件系统 单一系统管理 灵活双向扩展 海量数据存储

容量
? Copyright 2011 EMC Corporation. All rights reserved. 10

传统存储与集群存储
传统存储

Slower???????????????????????. TRAIN

集群存储

STOPS!!!!!!!!!!!!

Faster?????????????????????? TRAIN KEEPS ?.
? Copyright 2011 EMC Corporation. All rights reserved.

GOING!!
11

新EMC Isilon 横向扩展解决方案

数据保护

企业级特性

强劲分析能力

S200

X200

极速性能

*衡性能和容量

? Copyright 2011 EMC Corporation. All rights reserved.

12

Isilon IQ网络架构
服务器
NFS, CIFS, FTP, HTTP

服务器
(可选第二个交换机)

(可选第二个交 换机)

服务器
客户/应用层 标准千兆以太网层 Isilon IQ存储层 内部Infiniband万兆 互联层

? Copyright 2011 EMC Corporation. All rights reserved.

13

向Isilon IQ集群写入一个文件
服务器
NFS, CIFS, FTP, HTTP

服务器
(可选第二个交换 机)

(可选第二个交 (可选第二个交 换机) 换机)

服务器

? Copyright 2011 EMC Corporation. All rights reserved.

14

向Isilon IQ集群写入一个文件

(可选第二个交 换机)

? Copyright 2011 EMC Corporation. All rights reserved.

15

从Isilon IQ集群读取一个文件 向Isilon IQ集群写入一个文件

服务器
NFS, CIFS, FTP, HTTP

服务器
(optional 2nd switch)

(可选第二个交 换机) (可选第二个交 换机)

服务器

? Copyright 2011 EMC Corporation. All rights reserved.

16

从Isilon IQ集群读取一个文件

服务器
NFS, CIFS, FTP, HTTP

服务器
(可选第二个交换机)

(optional 2nd switch)

服务器

? Copyright 2011 EMC Corporation. All rights reserved.

17

? Copyright 2011 EMC Corporation. All rights reserved.

18

最大的可扩展文件系统
传统文件系统100倍的扩展性
OneFS? 单个文件系统可从18TB扩展到15.5PB 60秒完成扩展,无停机 无需修改客户端设定
世界最快的扩展速度

? Copyright 2011 EMC Corporation. All rights reserved.

19

最大的可扩展文件系统
AutoBalance: 节点间自动数据均衡
减少了存储扩容的成本、复杂程度和风险
均衡 空

? AutoBalance可以在线将 生产环境中的数据均衡 到新的存储节点
? 不需要手动参与,不需 要重新配置,不需要修 改服务器或客户端的挂 载点以及应用程序配置

? Copyright 2011 EMC Corporation. All rights reserved.

均衡 空 满

均衡 空 满

均衡 满 空

均衡 满 空

20

最可靠的存储系统
高可用集群架构
当使用N+2, N+3, 和 N+4保护级别时, 数据 使用N+1保护时,如果 在多个磁盘或者节点不可用
单个驱动器或者节点不可 时仍然100%可用 用,数据100%可用
100% 可用性 100% 可用性 故障 100% 可用性 100% 可用性 100% 可用性 100% 可用性

Isilon提供业界最快的驱 动器重建时间——一小时 之内!

(可选第二个交换机)

100% 可用性
故障 100% 可用性

? Copyright 2011 EMC Corporation. All rights reserved.

21

具有最高可用性的存储
虚拟热备
? 能够使用集群全部剩余空间重建数据

– 不像传统系统受限于卷和RAID的重建

X

失效

? Copyright 2011 EMC Corporation. All rights reserved.

22

大数据单一文件系统
保护级别灵活和数据自动分层
SMARTPOOL I/O POLICY PROTECTION POLICY S200 S200-SSD Select Random S200-SSD S200-SAS X200 NL +1
Random Select Random Sequential Inherited 2x Select +1 +2 +3 +4 2x

HPC Data VDMK Data I/Ops I/Os Latency

Globally Coherent Cache

File Data
MB/s

Globally Coherent Cache

X200 Sequential +2

File Data Throughput MB/s

File Data
MB/s

File Data Archive
MB/s

NL Inherited +4

Archive

? Copyright 2011 EMC Corporation. All rights reserved.

23

SmartConnect高级版配置
? IP地址池地址会被指定的网络接口使用 \\storage.isilon.com\ifs ? SmartConnect Zone(区域)名称是客户端要访问的全名 ? 可以在4种连接均衡策略中选择
– – – – Round Robin(轮流) CPU Utilization(CPU使用率) Connection Counting(连接数) Aggregate Throughput(吞吐量)

? 地址池必须制定SmartConnect服务子网,子网上也必须配置 SmartConnect服务IP

? Copyright 2011 EMC Corporation. All rights reserved.

24

OneFS 6.5 操作系统
增强企业级的访问和安全

增强验证

支持 CIFS 协议

支持 NFS 4.0 协议

Kerberized NFSv3 support

? Copyright 2011 EMC Corporation. All rights reserved.

25

SmartQuotas概览
? SmartQuotas是授权的软件模块 ? 可以让管理员在存储利用方面有更大的控制力

? 配额可以针对用户,组或者目录/文件夹
? 强制型和记账型配额都支持 ? 根据配额的类型,支持多种提示方法

? Copyright 2011 EMC Corporation. All rights reserved.

26

Isilon SnapShotIQ概览
? 可以与备份解决方案整合
– 当创建point-in-time型快照时效果更好

? 可以与Microsoft Shadow Copy Service整合
– 支持新版本的Microsoft操作系统

? 快照中只保存变更的数据块 ? SnapshotIQ使用Point-in-Time (PIT) 和Copy-on-Write (COW) 方式来 生成快照
– 大多数快照都是使用其中一种方式生成的 – OneFS会根据写入操作的不同动态选择生成快照的方式
? PIT用于大型持续写入操作 ? COW用于小文件改变

? Copyright 2011 EMC Corporation. All rights reserved.

27

SyncIQ概览
? SyncIQ是异步文件复制模块
– 需要购买的授权模块

? 从Isilon集群复制数据到其他Isilon集群
– 参与集群的大小和型号不必相同

? 通过任何IP链路复制
– WAN(广域网)或者LAN(局域网)

? SyncIQ 3.0复制数据块,而不是新的/修改过的文件。

? Copyright 2011 EMC Corporation. All rights reserved.

28

? Copyright 2011 EMC Corporation. All rights reserved.

29

SmartLock
经济高效地防范意外、过早或恶意地删除或修改数据

? Copyright 2011 EMC Corporation. All rights reserved.

30

InsightIQ 1.5
业界领先的横向扩展综合分析

? Copyright 2011 EMC Corporation. All rights reserved.

31

大数据横向扩展存储解决方案
应用软件

*台节点

扩展节点
NL-SERIES

S-SERIES

X-SERIES

ACCELERATOR AND BACKUP ACCELERATOR

操作系统

硬件

ISILON EX NODES

? Copyright 2011 EMC Corporation. All rights reserved.

32

Isilon 特性
? 业界证明的云存储解决方案领先者,国内外最大容量的集群存储系统, APPLE(12PB),华大基因(4PB),金山软件(2.8PB)。 ? 单一分布式文件系统,最大可扩展到15.5PB ? 全局单一命名空间访问 ? 仅由模块化存储节点组成,内部Infiniband高速互联,完全横向扩展, 完全对称架构,无需管理节点和接入节点。 ? 无需部署客户端软件。 ? 非常容易部署和管理,可以实现60秒内不停机的快速扩容,扩容同时性 能也线性增加。 ? 最大支持4个节点同时损坏,单个目录支持1024个快照,整个系统支持 无限多个快照。
? Copyright 2011 EMC Corporation. All rights reserved. 33

Scale-out NAS领域的领导者

? Copyright 2011 EMC Corporation. All rights reserved.

34

谢谢

? Copyright 2011 EMC Corporation. All rights reserved.

35




友情链接: