Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
1.바나나파이 구매하여 클러스터로 엮어볼 생각이다.
바나나파이는 ARM 1GHZ dual core CPU, 1G 메모리, sata 하드지원, 1Gbit 이더넷의 사양이다.
hadoop작업에서는 컴 사양보다.. 원할한 네트웍 트래픽이 더 중요한 문제이기 때문에 바나나파이를 선택했다.
또한 sata 인터페이스를 이용하여 2T까지 일반 sata를 연결할 수 있다는 장점이 있다.(이 점은 다른 원보드 pc에서 거의 지원하지 않는 부분임)
2. aliexpress.com에서 2개, 2개+sata cable 10개, 5V 10A 아답터 한개 신청했다.
나머지 스위치허브, usb케이블, 네트웍케이블은 천천히 국내에서 구매할 생각이다.
3. 기바비트 8포트 스위칭허브
4. 바나나 파이 2개+sata 케이블 10개
5. 전원공급용 5V 10A 어뎁터
6. 전원공급용 micro usb케이블 10개
* banana pi에 hadoop설치하고 mapreduce프로그램을 돌려 보는 테스트는 아래 URL에 작성해두었다.
https://www.gooper.com/ss/bigdata/2975
댓글 0
번호 | 제목 | 날짜 | 조회 수 |
---|---|---|---|
681 | dual table만들기 | 2014.05.16 | 1111 |
680 | 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) | 2014.05.20 | 1080 |
679 | source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 | 2014.05.20 | 829 |
678 | hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 | 2014.05.20 | 1125 |
677 | import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by " |