인터넷 컨텐츠 배포 기술의 변화 과정

이동영 ( 진보네트워크센터회원 | fourzero@jinbo.net) 


인터넷, 특히 웹이 폭발적으로 성장함에 따라 인터넷에서 컨텐츠를 효과적으로
배포하는 문제(content distribution)는 계속해서 큰 관심을 끌어 왔다.  더욱이
최근에는 큰 용량의 멀티미디어 데이터를 다루는 일이 많아짐에 따라 그 중요성이
더욱 커졌다.  이 기술은 크게 보아 아래 세 단계를 거쳐 변화해 왔다.

가장 원시적인 컨텐츠 배포 방법은 단순한 클라이언트-서버 모델에 따라 컨텐츠의
공급자가 (하나의) 서버를 한 곳에 두고 사용자(클라이언트)들이 그것을 요청해서
가지고 가도록 하는 것이다.  이 모델에서는 콘텐츠를 배포하는 데 따르는 부담 -
서버와 네트워크 용량 - 을 대부분 공급자가 직접 지고 있다고 할 수 있다.  이
방법에는 몇 가지 문제점이 있는데 서버는 많은 이용자를 상대해야 하므로
과부하와 네트워크 용량 부족에 이르기 쉽고, 서버에서 멀리 떨어져 있는 사용자의
경우에는 네트워크에서의 지연 시간도 상당히 걸린다.  또한 서버 혹은 서버쪽
네트워크에 문제가 생기는 경우 서비스가 중단될 위험이 있다는 결함이 있다.

이 문제점들을 해결하기 위해 컨텐츠 배포의 두번째 단계의 기술이 고안되었다. 
즉 클라이언트-서버 모델을 확장하고 그것의 문제점 중 몇몇을 보완하는 (웹) 캐싱
기술이다.  캐싱이란 한번 본 자료(파일)를 저장해 두었다가, 그 내용이 다시
필요하게 될 경우 서버로부터 다시 전송받는 대신 저장된 자료를 다시 사용하는
것을 말한다.  이로써 사용자는 네트워크 용량을 절약할 수 있을 뿐만 아니라
전송받기 위해 기다리는 시간을 줄일 수 있고, 공급자는 서버의 부담과 네트워크
용량을 모두 줄일 수 있다.

가장 간단한 형태의 캐싱은 사용자의 컴퓨터 자체에서 이루어지는 것이다.  물론
이 방법만으로도 상당한 효과를 볼 수 있지만, 저장해 둔 데이터를 여러 사용자가
공유한다면 훨씬 더 큰 효과를 볼 수 있으므로 회사/기관/ISP 단위에서도 캐싱이
이루어진다. (이러한 캐시를 프락시(proxy)라 한다.) 즉 사용자의 요청이
네트워크를 통해 전달되는 도중에 가로채어져서 원래의 서버 대신 캐시에서
서비스되는 것이다.  ISP의 입장에서 보면 캐싱은 네트워크 사용량을 절약할 수
있고 그 ISP의 이용자들의 성능(속도)을 향상시켜 주므로 ISP들은 캐시를 설치하고
유지, 관리하는 비용을 부담해 왔다.

그러나 비록 캐싱이 컨텐츠 배포 문제를 해결하는 데 크게 기여할 수 있는 것은
사실이지만, 몇 가지 점에서 한계를 가지고 있다. 첫째, 캐시는 이전의 데이터를
저장해 두었다가 다시 사용하므로 원래의 서버에서는 바뀐 내용이 캐시에서는
바뀌지 않고 남아 있을 위험이 있다.  둘째, 누구나 제한 없이 볼 수 있는 내용인
경우에는 문제가 없지만, 유료 서비스라든가 다른 이유로 데이터에 대한 접근을
제한해야 하는 경우에는 적합하지 않다. 즉 컨텐츠 공급자의 입장에서 볼 때
데이터에 대한 통제권을 부분적으로 잃을 위험이 있는 것이다. 세째, CGI 등
컨텐츠의 내용이 고정되지 않은 경우에는 사용하기 어렵다.  

거대 컨텐츠 공급자들은 이런 문제를 해결하기 위해 독자적인 컨텐츠
배포망(content distribution network; CDN)을 만들었다.  이는 인터넷 곳곳에
자신들의 서버를 두고(주로 ISP의 공간과 네트워크 용량을 임대해 사용하는
co-location 서비스를 이용한다) 여기에 컨텐츠를 복제해 두는 것이다.  사용자의
요청은 이 복사본들 중 가깝고 부하가 적은 곳으로 전달되어 서비스된다. ISP의
입장에서 볼 때에도 캐시를 설치하고 유지하는 부담을 컨텐츠 공급자가 덜어 주고
게다가 co-location 서비스를 통해서 수익을 얻을 수 있으므로 서로의 이해가 맞아
떨어지는 일이다. CDN을 만들고 유지하는 일은 상당한 비용과 기술을 필요로
하므로 컨텐츠 공급자들은 보통 전문적인 CDN 회사와 계약을 맺어 서비스를
받는다.

또 한가지 요인은 네트워크 비용이 싸지면 ISP들이 캐싱에 덜 적극적이게 되고,
따라서 컨텐츠 공급자들이 CDN을 만들게 된다는 것이다.  ISP들이 캐시 인프라를
운영하는 비용을 감수하는 이유는 네트워크 비용을 줄이기 위해서인데, 네트워크
비용이 싸지면 그만큼 캐싱으로부터 얻을 수 있는 이득이 줄어든다. 값비싼 국제
회선 사용량을 줄이려고 노력하는 유럽이나 아시아의 ISP들에 비해 네트워크
비용이 싼 미국의 ISP들이 캐싱에 덜 적극적이리라는 것도 짐작할 수 있다.

CDN과 캐싱의 중요한 차이는 비즈니스 모델에 있다. CDN 회사는 자신들에게 비용을
지불한 공급자의 컨텐츠만 가지고 있지만, 모든 사용자들이 그 데이터를 사용할 수
있다. 반대로 캐시는 컨텐츠 공급자를 구별하지 않지만, 보통 자신의 ISP나 기관의
사용자들에게만 서비스를 제공한다. CDN은 소개된지 오래 되지 않았지만 이제
주요한 컨텐츠 배포 방법으로 자리잡았다.  웹 캐싱은 여전히 사용되고 있기는
하지만 이제 대부분의 주요한 컨텐츠 공급자들이 CDN을 선택하였고, ISP들 또한
CDN을 만들어 이익을 얻는 데 관심이 있으므로 그 비중이 많이 축소되었다.

현재 CDN이 각광받고 있는 것을 고려해 볼 때 이 모델의 의미는 생각해 볼 만하다.
CDN은 사용자의 요청이 매우 많을 때도 좋은 서비스를 제공할 수 있는 값비싼
해결책이다. 그러나 그것을 사용하기 위해서 컨텐츠 공급자는 상당한 비용을 미리
지불하여야만 한다. 그런 비용을 지불할 수 없는 컨텐츠 공급자에게는 컨텐츠를
효과적으로 배포할 수단이 제한된다는 점은 중요한 의미를 지닐 수 있다.  즉 이
모델은 거대 컨텐츠 공급자에게는 잘 들어맞지만, 소규모 혹은 비영리 컨텐츠
공급자 - 진보넷과 같은 - 에게는 적합하지 않다. 더 일반화한다면 CDN과 같은
배포 모델은 거대 컨텐츠 공급자에게 유리하고 캐시 모델은 소규모 및 비영리
컨텐츠 공급자에게 유리하다. 그러므로 CDN이 주는 이점을 모든 컨텐츠 공급자에게
저비용에 공급할 수 있는 대안적인 모델이 필요하다. 진보넷 혹은 사회운동진영의
입장에서 이러한 대안적 컨텐츠 배포 모델의 필요성을 절감할 수 있었던 예는
대우자동차 투쟁 영상중계였다. 경찰의 폭력을 찍은 동영상이 엄청난 반향을
일으키면서 몰려드는 접속에 진보넷 서버는 몸살을 앓아야 했다.

사실 동영상으로 대표되는 멀티미디어 데이터를 다루는 것은 보통의 웹 자료보다
더 많은 자원을 필요로 한다. 자료의 크기도 더 클 뿐만 아니라 동영상을 끊기지
않고 볼 수 있도록 하기 위해서는 일정 수준 이상의 전송 품질이 보장되어야 한다.
더구나 멀티미디어 데이터는 복잡한 프로토콜을 통해 전송되는 경우가 일반적인데,
이 프로토콜은 데이터의 포맷이나 플레이어 프로그램에 따라 다르다. 이러한
이유로 동영상을 비롯한 멀티미디어 자료는 캐시하기가 어렵고 CDN에 의존할
필요성이 더 크다.

한편 최근 컨텐츠 배포 방법에서 흥미있는 가능성을 제시해 준 것은 냅스터,
그누텔라, 소리바다를 비롯한 피어-투-피어(P2P) 파일 전송 프로그램들이다. 이
모델에서 프로그램에 따라 정도의 차이는 있지만 사용자의 컴퓨터들이 종래 서버의
역할을 대부분 떠맡고 서버는 이들 사이의 조정 등 최소한의 역할만 한다.
피어-투-피어 시스템이 가능한 이유는 사용자의 컴퓨터들이 대부분 그냥 '놀고'
있기 때문이다. 케이블 모뎀, ADSL 등 네트워크 대역폭도 충분하고(더구나
대부분의 사용자들은 인터넷에서 자료를 받아보는 쪽만 주로 사용하고 반대로
인터넷으로 자료를 보내는 쪽 대역폭은 별로 사용하지 않는다) 디스크 공간, CPU
등도 여유가 있는 경우가 많다. 이 자원을 다른 사용자들을 위해 사용한다고 해서
사용자 입장에서는 비용이 더 드는 것도 아니기 때문에, 사용자들은 그럴 가치가
있다고 느낀다면 기꺼이 동참할 여지가 있다.  또한 그것은 간접적으로는 사용자
자신을 위한 것이기도 하다.

현재 학문적인 수준에서 피어-투-피어 컨텐츠 배포 시스템이 활발히 연구되고
있기는 하지만, 아직 실질적인 결실은 나오지 않은 실정이다.  특히 피어-투-피어
멀티미디어 재생 프로그램의 필요성과 잠재력은 막대하다.  앞으로 이 분야에서의
발전을 기대해 본다.