메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


 1. oozie-site.xml의 db관련부분을 아래와 같이 설정해준다.

 

------------------------------------------------------------------------------------------------------------------------

   <property>
        <name>oozie.db.schema.name</name>
        <value>oozie</value>
        <description>
            Oozie DataBase Name
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.create.db.schema</name>
        <!-- value>false</value -->
        <value>true</value>
        <description>
            Creates Oozie DB.

            If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
            If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <!-- value>org.apache.derby.jdbc.EmbeddedDriver</value -->
        <value>com.mysql.jdbc.Driver</value>
        <description>
            JDBC driver class.
        </description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <!-- value>jdbc:derby:${oozie.data.dir}/${oozie.db.schema.name}-db;create=true</value -->
        <value>jdbc:mysql://localhost:3306/${oozie.db.schema.name}_db</value>
        <description>
            JDBC URL.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <!-- value>sa</value -->
        <value>hadoop</value>
        <description>
            DB user name.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>hadoop</value>
        <description>
            DB user password.

            IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
                       if empty Configuration assumes it is NULL.
        </description>
    </property>
------------------------------------------------------------------------------------------------------

2. mysql에 oozie에서 사용할 db를 생성한다.

mysql> create database oozie_db;
Query OK, 1 row affected (0.00 sec)

3. hadoop에 권한을 부여한다.

mysql> grant all privileges on *.* to hadoop@localhost identified by 'hadoop' with grant option;
Query OK, 0 rows affected (0.00 sec)

mysql> flush;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

4. mysql jdbc driver를 lib폴더에 copy한다.(oozie/lib에 복사하면 인식 안됩니다)

cp /home/hadoop/hive/lib/mysql-connector-java-5.1.30-bin.jar  /home/hadoop/oozie/oozie-server/lib

 

5. oozie를 stop한다

  oozie-stop.sh

 

6. oozie를 start한다.

  oozie-start.sh

 

 

번호 제목 날짜 조회 수
90 W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 2020.05.08 4961
89 hbase shell에서 컬럼값 검색하기(SingleColumnValueFilter이용) 2014.04.25 4963
88 hadoop설치시 오류 2013.12.18 4965
» oozie의 meta정보를 mysql에서 관리하기 2014.05.26 4967
86 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 4968
85 scan의 startrow, stoprow지정하는 방법 2015.04.08 4972
84 kafka-manager 1.3.3.4 설정및 실행하기 2017.03.20 4977
83 TLS/SSl설정시 방법및 참고 사항 2021.10.08 4989
82 build.gradle을 pom.xml로 변환하는 방법 2016.08.18 5012
81 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 2017.07.04 5029
80 Cloudera의 API를 이용하여 impala의 실행되었던 쿼리 확인하는 예시 2018.05.03 5032
79 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 2016.12.23 5059
78 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 5068
77 kudu rebalance수행 command예시 2022.01.17 5074
76 HBase 설치하기 – Pseudo-distributed file 2013.03.12 5094
75 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
74 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5121
73 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 5123
72 의사분산모드에 hadoop설치및 ecosystem 환경 정리 2014.05.29 5170
71 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 5188
위로