장발의 개발러

출처: http://blrunner.com/41 Hadoop 적용 사례 기사 정리 Development/Hadoop 하둡 적용 사례 기사를 정리해봤습니다. 사례 기사가 나올때마다 꾸준히 업데이트할 예정입니다~ 1. 에버노트: 하둡과 파엑셀을 이용한 빅데이터 분석 환경 구축 사례 http://www.itworld.co.kr/news/80046 2. 엔씨소프트: 하둡과 R을 이용한 부정행위 유저 분석 사례 http://www.oss.kr/76870 3. 줌인터넷 빅데이터 적용 사례 http://www.bloter.net/archives/141143 4. NHN 라인 메신저 적용 사례 http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&..

ORACLE에서 join 을 이용한 update UPDATE /*+bypass_ujvc*/ ( SELECT a.column1, b.column2 FROM table1 a, table2 b WHERE a.key = b.key ) SET column1 = column2 [중요] /*+bypass_ujvc*/ 힌트를 주지 않고 실행할 경우 "ORA-01779: 키-보존된것이 아닌 테이블로 대응한 열을 수정할 수 없습니다." 라는 에러가 발생 함. 따라서, 이를 무시하고 실행하겠다는 /*+bypass_ujvc*/ 힌트를 반드시 주어야 함.

테이블 세 개 이상 outer join 하기 http://mytory.net/archives/132

**************************** 작성일: 2013-11-07 작성자: Myung-Ju.Kim 블로그: imover.tistory.com **************************** 테이블 생성 시 개인적으로 코드값은 VARCHAR로 하는 것을 권장한다. 어디서 따로 보거나 들은 것이 아니고 순수 개인적인 경험에 의한 것이다. 과거 적지 않는 데이터가 들어 있는 테이블의 코드값 필드를 제휴업체의 차세대 작업으로 인해 3자리에서 4자리로 변경한 적이 있었는데, 최초 테이블 설계하신 분이 코드값 필드를 tight하게 CHAR(3)으로 고정해 놓으시는 바람에 아래와 같은 수정 명령을 내렸더니 기존 데이터 들을 모두 업데이트 하느라고 1시간 가까운 시간이 흐른 후에야 반가운? 응답을 받..

**************************** 작성일: 2013-11-07 작성자: Myung-Ju.Kim 블로그: imover.tistory.com **************************** sql에서 where in 조건 사용 시 in 안에 1000개 이상의 값을 넣어야 할 경우 -- 1000개가 넘을 경우 에러 select * from A where no in(1, ...., 1001) ; -- 서브쿼리 사용으로 해결 select * from A where no in(select no from B) ; -- 테이블 B 컬럼 no에 1~1001까지의 값이 있다고 가정

참고: http://valley.egloos.com/viewer/?url=http://kamsi76.egloos.com/361479 출처: http://www.cyworld.com/shk87/7452674 mysql은 시퀀스가 따로 없고 테이블 생성시 AUTO_INCREMENT 값을 설정하여 자동증가값으로 사용한다. 저렇게 사용할 경우 문제점이 있으니, 방금 전 생성된 시퀀스 값을 가져와야 할 경우 어떻게 해결할 지.... select하여 max값에 +1 해도 가능하긴하지만, 그럴 경우에 동기화 문제점이 크다. 인터넷에서 검색하여 찾아본 결과, 프로시저와 함수를 구현하여 사용할 수 있다. 시퀀스 테이블 생성 CREATE TABLE sequences ( name varchar(32), currval BIG..

출처: http://www.ibm.com/developerworks/kr/library/j-javadev2-15/index.html?ca=drs- Google이 2001년에 이미지 검색 기능을 실행했을 때, 2억 5천만 개의 인덱스된 이미지를 보유했다. 십 년이 지나지 않아, 이 검색 거인은 100억 개 이상의 이미지를 인덱스했다. 분당 35시간의 컨텐츠가 YouTube로 업로드된다. Twitter는 평균적으로 매일 5천 5백만 건의 트윗을 처리한다고 주장한다. 올해 초에 그 검색 기능은 매일 6억 개의 쿼리를 로깅했다. 대용량 데이터를 논의할 때 대용량이란 바로 그 정도이다. 이 시리즈의 정보 처음 Java 기술이 발표된 이후로 Java를 개발하는 과정은 급속도로 변화되었다. 오픈 소스 프레임워크와 신..

출처: http://mimul.com/pebble/default/2011/11/05/1320482173560.html 아래는 Apache 로그를 가지고 IP별 방문자수를 카운트하는 샘플을 작성해 보았습니다. 로그 분석을 위해 개념이해하는데 도움이 될까 해서 테스트 내용을 공유합니다. ^^ 좀 더 응용하면 시간당, 일별, 월별, 주별 등으로 구분해서 트래픽을 산정할 수 있겠죠. 그리고 R과 결합해 그래프로 도식화하면 추세를 보는데 도움을 줄 수 있습니다. 1. 로그 데이터(Apache) 분석 준비 Apache Common로그를 다운 받아서 /database/samples/data/apache 디렉토리에 넣은 다음 아래의 순으로 HDFS에 카피를 하여 분석할 준비를 한다. - 로컬 데이터 HDFS에 카피 [..