sncap Style

다음과 같이 class를 만들어서 import하면 TraceLog.DataLog(" Log Data ");와 같은 method를 통해서 file Log를 남길수 있다. package com.sds.smb.component.sa.emul; import java.io.FileWriter; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; public class TraceLog{ //public static String m_PathName = Util.LOG_FILE_PATH; public static String m_FileName = "DataLog"; private static FileWriter ob..

HBase의 가장 큰 단점이 Master에 문제가 발생시 Backup DB가 바로 동작하지 않는 것과 Cluster 추가시 재시작해주어야 한다는 문제였다. 이런 문제점중 HBase Master가 문제가 발생시 Backup master가 동작하도록 해주는 기능이 Multiple master이다. 대략적인 설명은 아래 page를 참조 바란다 http://wiki.apache.org/hadoop/Hbase/MultipleMasters 하지만 위 page에는 설명만 나와 있을뿐 자세한 설정 방법은 나와 있지 않았다. 여러가지 방법으로 확인해보았는데.... 의외로 설정이 간단했다. conf/ 폴더 아래에 "backup-masters" 파일을 regionservers 파일의 내용과 동일하게해서 생성해주면 된다. 그..

문자열중 숫자만 분리해서 그 값을 증가시키는 메소드가 필요하여 정리함. Pattern을 이용하여 문자열 중 pattern값을 인식하는 방식 Method public String findNextStr(String input) throws IOException { String nextStr = null; Pattern pattern = Pattern.compile("([a-z]+)+([0-9]+)"); Matcher pStartMatcher = pattern.matcher(input.toLowerCase()); while (pStartMatcher.find()) { String strFull = pStartMatcher.group(0); String strPart1 = pStartMatcher.group(1..

Hbase의 기본 API를 사용하는데.. 테스트 용 샘플 코드가 없어서 올려본다 기본적인 컨넥션 연결하고, put, get, scan관련 코드다. package com.sds.push.hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase...

Mac에서는 terminal을 통해서 사용가능하지만, 다른 PC 에서 Mac으로 접속하기는 쉽지 않다. Telnet은 기본적으로 막혀 있어서 사용이 불가능하다. 그래서 사용한것이 SSH 이다. (SSH, secure shell) SSH는 원격 컴퓨터에 안전하게 액세스하기 위한 유닉스 기반의 명령 인터페이스 및 프로토콜로서, 때로 Secure Socket Shell이라고 불리기도 한다. SSH는 네트웍 관리자들이 웹서버를 포함한 여러 종류의 서버들을 원격지에서 제어하기 위해 널리 사용된다. 설정방법은 간단하지만.. 알려주는 곳은 많지 않다. 맥 > 시스템환경설정 > 공유 클릭 공유에서 "원격로그인" 항목을 체크하고 원격 로그인 : 켜짐을 선택하면 SSH를 사용할수 있음. 위와 같이 설정하면 SSH를 통해서..

Hbase 를 사용하기 위해서 아래버전으로 Hadoop과 HBase를 설치함 Hadoop: hadoop-0.20.2.tar.gz HBase: hbase-0.90.4.tar.gz Hbase의 append 지원 문제로 Hadoop은 최신 버전이 아닌 이전 버전인 0.20.2 버전을 사용함 hadoop 계정을 생성하고 java version jdk 1.6.0_26을 다운로드하여 설치함 1. 환경 설정 [server] 192.168.186.131 ubuntu [client] 192.168.186.132 ubuntu2 192.168.186.133 ubuntu3 [계정] hadoop:hadoop [java 설치 폴더] /usr/lib/jvm/java-6-sun [Hadoop 설치 폴더] /usr/local/hado..

Hadoop은 다중 코어와 디스크를 사용하도록 설계되어 있으므로, 어떤 하드웨어라도 충분히 활용할 수있다. HDFS 클러스터에서 데이터노드 저장소 용도로 RAID(Redundant Array of Independent Disks)를 사용하더라도 얻을수 있는 이득은 없다. HDFS는 노드간에 복제하는 기능이 있어, RAID가 제공하는 중복성(Redundancy)은 필요하지 않다. Hadoop은 대부분이 자바로 작성되어 자바가상머신 JVM이 설치된 어떤 플랫폼에서도 구성될수 있다. 32Bit 구조에서는 자바의 최대 힙메모리는 3GB로 제한된다. 이를 피하기위해서 네임노드는 일반적으로 64Bit 하드웨어에서 구동된다. - 설 치 - * OS 설치 - Ubuntu 어떤 플랫폼에서도 가능하지만, 필자는 Ubunu..

zookeeper 설치하기 $ wget http://ftp.daum.net/apache//zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz ($ wget http://apache.tt.co.kr//zookeeper/zookeeper-3.3.3/zookeeper-3.3.3.tar.gz) #tar zxvf zookeeper-3.3.3.tar.gz #mv zookeeper-3.3.3 /usr/share/zookeeper zookeeper를 user/share에 놓아두기로 했다. 그리고는 /usr/share/zookeeper/conf/zoo_sample.cfg파일의 이름을 zoo.cfg파일로 변경한다. #cd /usr/share/zookeeper/conf #mv zoo_sa..

사용환경 - Hadoop 0.20.2 - Hbase 0.20.6 - ext library : tableIndexed library for hbase0.20.6 - fully-distributed setup 1. hbase 설치 http://hbase.apache.org 에서 0.20.6 버전을 다운로드 받아 설치한다. (현재 0.90.x가 나오고 있지만 아직 rc버전이다.) * 명심할것은 Hbase의 위치는 마스터또는 슬레이브서버 모두 동일해야 한다. 서로 동일한 패스에 위치해야한다는 것을 명심하자. 2. /etc/host에 다음을 등록하자. * localhost에 127.0.0.1 같이 설정하지 마라 * hostname에 - 같은 것을 쓰지마라. 인식을 할수 없다. http://en.wikipedia...

NoSQL 계통의 Hadoop 설치 1. VMWare에 ubuntu Server 설치 (11.04 Server Version 설치) http://www.ubuntu.com/download/ubuntu/download Server version으로 설치 완료후 $ uname -a Linux .. .... .... $ sudo passwd (password 설정) $ su root root@xxx:/home/test# vi /etc/apt/sources.list deb http://archive.canonical.com/ lucid partner :wq 저장하고 나옴 아래와 같이 설정해도 됨 $ add-apt-repository "deb http://archive.canonical.com/ lucid par..