장발의 개발러

http://blog.naver.com/hothit?Redirect=Log&logNo=80034128699

출처: http://www.ibm.com/developerworks/kr/library/j-javadev2-15/index.html?ca=drs- Google이 2001년에 이미지 검색 기능을 실행했을 때, 2억 5천만 개의 인덱스된 이미지를 보유했다. 십 년이 지나지 않아, 이 검색 거인은 100억 개 이상의 이미지를 인덱스했다. 분당 35시간의 컨텐츠가 YouTube로 업로드된다. Twitter는 평균적으로 매일 5천 5백만 건의 트윗을 처리한다고 주장한다. 올해 초에 그 검색 기능은 매일 6억 개의 쿼리를 로깅했다. 대용량 데이터를 논의할 때 대용량이란 바로 그 정도이다. 이 시리즈의 정보 처음 Java 기술이 발표된 이후로 Java를 개발하는 과정은 급속도로 변화되었다. 오픈 소스 프레임워크와 신..

출처: http://mimul.com/pebble/default/2011/11/05/1320482173560.html 아래는 Apache 로그를 가지고 IP별 방문자수를 카운트하는 샘플을 작성해 보았습니다. 로그 분석을 위해 개념이해하는데 도움이 될까 해서 테스트 내용을 공유합니다. ^^ 좀 더 응용하면 시간당, 일별, 월별, 주별 등으로 구분해서 트래픽을 산정할 수 있겠죠. 그리고 R과 결합해 그래프로 도식화하면 추세를 보는데 도움을 줄 수 있습니다. 1. 로그 데이터(Apache) 분석 준비 Apache Common로그를 다운 받아서 /database/samples/data/apache 디렉토리에 넣은 다음 아래의 순으로 HDFS에 카피를 하여 분석할 준비를 한다. - 로컬 데이터 HDFS에 카피 [..

http://blog.acronym.co.kr/329

http://blog.acronym.co.kr/312

출처: http://www.ittoday.co.kr/news/articleView.html?idxno=21406 SK C&C의 클라우드 시스템 ‘마이클라우드’는 기존 IT자원의 효율화, 서비스 기반의 신성장동력 발굴 및 글로벌 진출의 일환으로 구축됐다. SK C&C가 오픈 소프트웨어 기반으로 클라우드 인프라를 자체 구축한 것으로, 데스크톱 및 서버 가상화와 클라우드 컴퓨팅의 각 플랫폼들이 유기적으로 상호 작용이 가능한 클라우드 통합 관리 환경을 구현할 수 있다. 기관 : SK C&C 수행년도 : 2010 요구사항 : IT자산 효율화 및 대용량 데이터를 생성․저장․분석해 활용함으로써 고객에게 커스터마이징 된 서비스를 제공하는 것을 염두. IaaS에서 시작해 향후 SaaS, Paas까지 확장하는 것이 목적 ..

출처: http://woochuli.blog.me/100151749978 여러분이 개발자 또는 DBA라면, 운영자와 기획자에게 "통계를 추출해 주세요" 라고 요구 사항을 받았을 때, 까다롭고 고민스러우셨을 텐데요. 이렇게 가시와 같은 통계 추출에 관하여 여러분께 명쾌한 사례와 함께 해법을 알려주실 분, 바로 NHN Technology Services의 웹서비스개발실 이정현실장님을 만나보았습니다. 몇 백만 row 이하의 소규모 데이터이거나, 통계를 추출하는 것을 전담할 수 있는 백업DB가 있다면 그나마 쉬운 고민이겠지만, 그러지 않은 상황이라면 해결을 위한 해법을 찾기가 쉽지 않을 것이라고 운을 띄우시며, 실장님께서 담당하고 있는 시스템의 통계도 이와 같은 고민에서 출발해 얻은 MongoDB와 Hadoop..

출처: 그래서, Node.js는 무엇인가? 한글 위키피디아의 정의 Node.js는 V8 (자바스크립트 엔진) 위에서 동작하는 이벤트 처리 I/O 프레임워크이다. 웹 서버와 같이 확장성 있는 네트워크 프로그램 제작을 위해 고안되었다. Node.js는 파이썬으로 만든 Twisted, 펄로 만든 펄 객체 환경, 루비로 만든 이벤트머신과 그 용도가 비슷하다. 대부분의 자바스크립트가 웹 브라우저에서 실행되는 것과는 달리, Node.js는 서버 측에서 실행된다. Node.js는 일부 CommonJS 명세를 구현하고 있으며, 쌍방향 테스트를 위해 REPL 환경을 포함하고 있다.* CommonJS에 대해서는 따로 포스팅을 통해 설명드릴게요. Node Beginner's Guide의 정의 Node.js는 실질적으로 서버..