빅데이터 시대, 스토리지 시스템의 중요성 (IBM FlashSystem의 효과)

몇년새 세상사람들이 모두 주목하고 있는 키워드를 2개 꼽으라고 하면 '빅데이터' 와 'IoT (Internet of Things)' 일 것이다.

그 2가지는 비단 IT 분야만의 키워드가 아니라 모든 분야의, 전세계적인 범위에서의 사회현상이자 다가올 미래를 정의하는 키워드였다.

 

최근에는 '빅데이터' 가 예전만큼 많이 등장하진 않지만 여전히 관련 컨퍼런스나 연구 분야에서는 뜨겁게 다뤄지고 있는데, 상대적으로 열기가 좀 식은 것처럼 느껴지는 것은 그 중요성이 줄어든 것이 아니라 오히려 아직까지 이런 어마어마한 빅데이터를 다루기에는 너무나 많은 로직과 솔루션 시스템, 경우의 수 등이 존재하다보니 제대로 손대지 못하고 있다고 보는 편이 맞다.

 

그만큼 비정형의 데이터들이 기하급수적으로 늘어나고 있고 어떤 데이터를 다루느냐에 따라 분석 방법이나 필요한 리소스 등이 달라지다보니 앞으로 개척해야 할 것들이 아직도 산재한 것이 빅데이터이다.

 

전 세계에 존재하는 데이터의 90%가 최근 2년간 생성된 것이라고 하는 IBM 비즈니스가치 연구소의 연구발표가 그리 놀랍지 않은 것도 그 정도는 앞으로 더 심해질 것이라는데 있다. 위에서 말한 또하나의 키워드, IoT... 앞으로 수많은 IoT 기기들이 늘어나면서 여기저기 다양한 센서들이 개발되면 지금까지 접해보지 못한 어마어마한 규모의 데이터가 또 쌓일 것이다. IoT 와 빅데이터는 그렇게 서로를 설명할 수 있는 관계의 단어이다.

 

 

앞으로 이런 어마어마한 규모의 데이터를 얼마나 빠르게, 얼마나 효율적으로 처리할 수 있는가가 해당 기업의, 해당 국가의 경쟁력이 될 것임은 자명하다. 엄청나게 많은 양의 물류를 처리하고 감당하기 위해서는 그 기업이나 나라의 인프라가 얼마나 잘 되어있느냐가 관건이다. 도로는 얼마나 넓으며 잘 닦여 있는지, 그 도로를 다니는 물류 트럭들은 얼마나 준비가 되어있고, 트래픽 정체가 없도록 얼마나 시스템이 잘 운영되는가 하는 모든 것들이 경쟁력을 좌우하게 된다.

 

그처럼 빅데이터를 담당하는 시스템의 경쟁력이 지금도 그렇지만 앞으로도 엄청나게 중요하게 된다.

 

전세계 스토리지 시스템의 수위를 달리고 있는 IBM Systems 에서 FlashSystem 에 대해 읽다보니 그런 스토리지 시스템의 중요성을 다시한번 깨닫게 되어 소개해본다.

 

어떤 기업이든, 정부기관이든 데이터를 안다루는 곳은 없기에 그런 데이터를 처리하고 보관하는 스토리지 시스템에 대한 수요가 있기 마련이다. 그런 스토리지 시스템에 있어 뭐가 중요할까?

 

결론적으로는 간단하다. 바로 '퍼포먼스' 와 '효율로 인한 절약' 이다.

 

다양한 종류의 스토리지 시스템을 두고, 어떤 시스템이 같은 값으로 최고의 성능을 내는지와,

이걸 쓰면 결과적으로 운영비용을 얼마나 줄일 수 있는지 하는 경제성이라는 이야기다.

 

 

그냥 기존 스토리지 시스템에 있는 HDD (하드디스크) 를 SSD 로 교체하면 되는거 아닌가?

그렇게 하면 분명 퍼포먼스가 좋아지는 건 맞지만 그게 최선은 아니다. SSD 보다 훨씬 더 효율적이고 빠른 녀석이 있기 때문이다.

 

 

 

 

 

Flash Storage (플래시 스토리지) 가 가져다주는 효과

 

기존의 디스크 스토리지와는 아예 태생부터가 다른 플래시 스토리지의 구조. SSD 도 플래시 드라이브라고 표현은 하지만 SSD 로 구성된 기존 디스크 스토리지는 그 구조 자체가 기존의 디스크 설계를 따르고 있기에 (콘트롤러 및 아키텍처 등) 아예 모든 아키텍처를 플래시 기반으로 설계한 플래시 스토리지와는 다르다. 즉 SSD는 플래시 스토리지가 아닌 것이다.

 

그렇기에 단순히 HDD를 SSD로 바꾼 SSD 스토리지 (또는 하이브리드 스토리지) 보다 IBM의 FlashSystem (플래시 시스템) 과 같은 All Flash Storage (올 플래시 스토리지) 가 효율성/안정성/퍼포먼스 등에서 훨씬 나은 결과를 보여주게 된다

 

 

이 둘의 가장 큰 차이는 응답속도 (Latency) 이다.

단순히 SSD가 '장착된' 스토리지와 아예 모든 하드웨어 컴포넌트와 아키텍처부터가 낸드 플래시 성능에 맞게 구성된 올 플래시 스토리지와는 그 속도면에서 아래와 같이 큰 차이를 보여준다.  

 

 

 

기본적인 데이터 처리 속도에서도 차이를 보이지만 특히 데이터 처리가 지연되는 병목현상의 주범인 IO Access 시간 측면에서 크게 차이를 보인다. 때문에 그런 IO 탓에 생기는 대기시간을 엄청나게 줄일 수 있고 그 대기시간동안 다른 일을 처리할 수 있기 때문에 위와 같이 어플리케이션이 처리하는 효율성이 4% vs 50% 까지 차이가 나는 것이다.

 

이렇게 서버에서 빠른 처리를 하게 되면 그로부터 얻는 잇점은 뭐 말할 필요도 없이 많을 것이다.

Latency가 짧은 만큼 대기시간으로 버려질 시간에 훨씬 더 많은 일을 할 수가 있어 어플리케이션의 처리 양도 늘어날 것이고 결과적으로 처리되거나 분석되는 데이터의 양이 훨씬 더 늘어나게 된다.

 

그로 인한 기업의 서비스 경쟁력은 늘어남은 물론 같은 일을 처리하는데 소요되는 리소스도 줄어드는 셈이니 시간이나 비용도 엄청나게 세이브된다.

 

이 올 플래시 스토리지인 IBM의 플래시 시스템을 도입한 실제 기업의 사례를 보자.

서울도시가스 같은 경우 DB 시스템의 노후로 인해 요금 정산 배치작업이 느려져서 비효율을 초래하고 있었는데 이 플래시 시스템 도입을 통해 고객의 IO 대기시간을 7.5배 개선하고 그를 통해 요금배치 처리시간을 6배나 단축시켰다고 한다. VoC가 매우 줄었음은 물론이다.

코카콜라 보틀링 같은 경우 플래시 시스템 도입을 통해 데이터 프로세싱 시간을 97%나 단축하였고 영국 BBC 방송도 당사 애플리케이션 성능을 35%~50% 까지 끌어올리는 등 다수의 사례가 있다

 

 

그리고 이런 퍼포먼스 향상과 함께 기업 담당자가 요구하는 또 다른 큰 축, 경제적 효과이다.

이런 데이터 스토리지 서버를 운영하는데 큰 기업들은 막대한 자본이 들어가기 때문에 Capex든 Opex 든 그 부담을 줄일 수 있다면 기업의 수지에 큰 도움이 되기 마련이다.

 

대표적인 것이 서버 상면과 같은 물리적 비용 절감이다.

같은 데이터 처리를 위해 플래시 시스템의 경우 랙 하나면 될 것을 기존 시스템같으면 무려 630개의 랙을 필요로 한다는 것이다.

 

 

 

동일한 IOPS 성능을 위해 요구되는 스토리지 랙 비교

 

단순 스토리지 용량으로 봐도 마찬가지다.

1 페타바이트만큼의 스토리지를 위해 스토리지를 구성하는 경우 기존 대부분의 시스템은 37.6개의 랙이 필요로 하는 반면 올 플래시 스토리지인 IBM 플래시 시스템은 하나의 랙만 필요로 한다.

 

이런 것으로 인해 소요되는 비용은 무려 47분의 1 수준으로 줄일 수 있다고 한다.

 

그뿐만이 아니다. 전력소모로 인한 비용도 크게 절감된다. 기존 스토리지 대비 소모되는 전력의 양도 236배까지 낮출 수 있어 전기세 측면에서도 많은 세이빙이 가능하다는 것이다. (평균적으로 전력비용의 80% 절감)

 

펜실베니아 주립대학 같은 경우에도 IBM 플래시 시스템을 도입하면서 백업 시스템을 운영하는데 소요되는 전기사용의 90%를 절감하였다고 하고, 전세계 분쟁지역에 있는 미군에게 물자를 배송하는 US LOGSA의 경우 이를 통해 매월 $100,000 씩 비용을 절감하고 있다고 한다.

 

Sprint 같은 세계 유수의 통신사로부터 시카고 상품거래서, 키움증권 등 엄청난 양의 데이터 처리를 필요로 하는 회사들, 특히 금융이나 IT 기업들은 그만큼 이 플래시 시스템의 효과를 크게 보고 있다는 결과들이 있다. 보다 많은 사례는 아래 IBM 사이트에서 확인할 수 있다.

 

http://www-03.ibm.com/systems/kr/storage/flash/index.html

 

 

훨씬 더 짧은 Latency 로 인한 퍼포먼스 향상,

그리고 그로인한 CPU 효율로 인해 전력소모도 줄일 수 있고,

그에 더해 상면 유지 등 물리적인 비용까지 절감할 수 있는 등 경제적인 효과까지.

 

이러한 스토리지 시스템의 선택에 따른 효과는 앞으로 더더욱 그 중요성이 커질 것이다.

IoT 와 같은 환경에 따라 데이터를 만들어내는 node 들도 크게 늘어나게 되고 그에 따라 빅데이터의 양은 기하급수적으로 많아지게 된다. 그럴수록 이런 시스템으로 인한 경쟁력 차이는 벌어질 수 있기에 엔터프라이즈급 기업 담당자들의 이해와 준비는 더 절실해질 것이다.

 

세계에서 가장 빠른 스토리지 솔루션을 가지고 있다거나 이 시장에서 IBM이 1위라는 것이 중요한 것이 아니고, 실제로 이런 솔루션들이 앞으로 다가올 미래에 우리에게 어떤 '혜택'이 있을 것인가를 생각하면 그 가치를 가늠해 볼 수 있을 것이다.

 

  

 

 

 

본 포스팅은 한국 IBM Systems 의 원고료 지원을 받아 작성하였음을 밝힙니다