본문 바로가기
Tech, Tech, Tech/Tech 산업 이야기

AWS 가 고객들의 데이터를 옮기는 법 [스노우볼]

by 결기공 2020. 1. 2.

「세상에서 가장 단단한 데이터 저장소 "스노우볼"을 통해 고객들의 데이터를 옮겨」

클라우드 컴퓨팅 시장이 날로 갈수록 번창해가는 사실은 이미 다 알고 있을 것입니다.

리서치사 가트너에 따르면 2019년을 기준으로 클라우드 컴퓨팅 시장은 $214B (약 248조원) 으로 측정되고 있으며,

2022년에 $331B (약 383조원)이 될것으로 전망하고 있습니다.

 

그리고 그 중심에는 그 거대한 시장의 33%를 점령한 AWS (아마존 웹 서비스)가 있습니다.

(클라우드 시장에 대한 토픽은 1,2부로 나누어 차후에 포스팅할 예정)

 

AWS는 고객들의 데이터를 아마존 데이터 센터로 올리는 시간을 축소하고자 "스노우볼"이라는 임시 데이터 저장소를 개발하였습니다.

AWS에서 개발한 임시 데이터 저장소 "Snowball"

스노우볼

「 스노우볼은 AWS에서 고객들의 데이터 이전 속도를 줄이고자 나온 임시 데이터 저장소 」

용량: 50TB, 80TB로 2가지가 존재하며

무게: 47 파운드 (21.3kg) 이며,

높이: 50cm

넓이: 54cm

두께: 32cm 

의 스펙을 보유하고 있습니다.

 

aws에서 강조하는 점은 비행기에도 실을 수 있고, 휴대가 용이하게 만들기 위해 47파운드로 제작하였다는 점입니다.

그러면서도, 미 국방부에서 요구하는 수준의 강도를 가지고 있는 것이 특징입니다.

(공군에서 사용하기 위해 낙하산 투하 시험도 수차례 진행하여 합격했다고 합니다)

 

스노우볼은 Edge 버전으로도 제공이 되어,

컴퓨팅 파워를 필요로 하는 기업들에게 제공되어, Edge 컴퓨터의 역할도 하고 있습니다. 

 

AWS 는 여기서 한단계 더 나아가, SnowMobile을 출시하기에 이릅니다. 

스노모빌

「 스노모빌은 약 1250개의 스노우볼을 담을 수 있는 이동형 데이터 센터입니다. 」

AWS에서는, 스노우볼로도 모자라다고 느꼈는지, 데이터 센터로 활용될 수 있는 화물 트럭인 스노모빌을 개발하기에 이릅니다.

스노모빌은 약 1250개의 스노우볼 (약 100페타바이트 분량의 데이터)을 담을 수 있는 이동형 데이터 센터입니다.

실내에는 이동중 충격을 방지하는 시스템과, 온도 조절 시스템이 설치되어 있는것으로 알려져있습니다.

 

AWS가 스노모빌을 만들게된 계기는 Digital Globe라는 회사의 의뢰때문입니다.

Digital Globe는 인공위성 사진을 관리하는 회사로써, 약 100 페타바이트 크기의 디지털 인공위성 사진을 보유하고 있습니다.

Digital Globe는 100페타바이트 가량의 데이터를 AWS로 옮기기 위하여 스노모빌을 사용하였으며 모든 프로세스를 6개월만에 끝냈습니다.

만약, 네트워크를 통하여 그 방대한 양의 데이터를 옮기려 하였으면 약 10년 정도 소요됬을것이라고 합니다.

(네트워크를 통하여, 방대한 양의 데이터를 옮길때 발생하는 Bottle neck을 주로, "Python eating a pig" 문제라고 표현합니다)

 

AWS의 스노우모빌

스노우볼을 사용하는 주 고객

AWS의 고객들은 대부분 네트워크를 통하여 AWS의 데이터 센터에 데이터를 올립니다.

특정한 환경에 있는 기업들의 경우 스노우볼을 사용하게됩니다:

 

1. 너무 방대한 양의 데이터를 보유하여 네트워크로 옮기기 힘든경우,

-위에서 보여진것처럼, Digital Globe같이 100 페타바이트의 데이터를 보유한 경우에는 스노우볼 또는 스노모빌을 사용하는 것이 효율적입니다.

 

2. 네트워크를 통하여 옮기기 조심스러운 데이터를 보유한 경우

-미 국방부와 군대에서 보유한 데이터는 네트워크를 통하여 올리기에는 리스크가 높기 때문에, 스노우볼을 사용하였습니다.

 

3. 네트워크를 사용하기 힘든경우

-바다위에 있는 석유 굴착 플랫폼의 경우 네트워크에 접속하기 힘들기 때문에, 스노우볼을 통하여 데이터를 옮겼습니다.

 

4. 급하게 데이터를 옮겨야하는 경우

-하와이에서 화산 폭발이 일어나여 용암이 미국 지질조사 센터의 데이터 센터로 흘러갔을때, 데이터를 빠르고 안전하게 옮기기 위하여 스노우볼이 사용되었습니다.

 

5. 주기적으로 많은 양의 데이터를 올려야하는 경우

-할리우드에서는 8K 또는 12K 카메라를 활용하여 영화를 촬영합니다. 이러한 카메라는 많은 양의 데이터를 가진 영상파일을 만들기 때문에, 네트워크를 통하여 AWS에 올리기에는 많은 시간이 소모됩니다. 그렇기 때문에, 촬영이 완료되는 즉시 원본 영상이 담긴 스노우볼을 AWS로 보내어, 업로드가 완료되면 클라우드를 통하여 편집을 하는 경우가 많습니다.


AWS가 점점 커져가는 클라우드 세계에서 경쟁에 뒤쳐지지 않기위해 많은 노력을 하는 것이 보여집니다.

Amazon의 개발자들을 위한 협업 인프라를 클라우드 시장이 미미하던 2006년에 AWS로 출시 시킨 제프 베조스와 앤디 제시(현 AWS의 CEO)의 선견지명에 놀라울 따름이네요. (물론, 제프 베조스의 경영 스타일은 논란이 많긴 하지만....)

 

 

 

댓글