메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. 방화벽 신청

  Cluster의 모든 노드에서 DB로의 방화벽을 오픈 신청/오픈 필요함..

2. Oracle DB 계정 관련 작업 (필요시)

  - DB계정 신규신청

  - 서비스계정 관리자지정

  - 서비스게정 비밀번호변경

  - 서비스계정 접속신청(

3. sqoop용 jdbc driver 설정.

  - /user/oozie/share/lib/lib_20220122153205/sqoop에 현재 ojdbc6.jar,  ojdbc8-12.2.0.1.jar 가 있음(불필요시 삭제할것)

  - Oracle19c용 .jar을 lib에 넣고 oozie 서비스 restart하여 반영해줌.

4. odbc driver설정 준비(goopmngt01에 stgclient sftp로 /home/hadoop/ojdbc19.24.0.0.jar를 upload 후 pscp.pssh로 데이터 노드에 복사해줌하)

  - sudo pscp.pssh -h /root/allnodes /home/hadoop/ojdbc19.24.0.0.0.jar /home/hadoop/ojdbc19.24.0.0.0.jar

5. oracle-connector-java.jar 설정/배포 (모든 노드)

  가. 이전의 Oracle 12c버젼 백업

    sudo pssh -h /root/allnodes "mv /usr/share/java/oracle-connector-java.jar /usr/share/java/oracle-connector-java.jar.12c"

  나. Oracle 19c버젼으로 oracle-connector-java.jar 설정(/home/hadoop/ojdbc19.24.0.0.0.jar를 upload후 진행할것)

    - sudo pssh -h /root/allnodes "cp -p /home/hadoop/ojdbc19.24.0.0.0.jar /usr/share/java/oracle-connector-java.jar"

        - sudo pssh -h /root/allnodes "chown root:root /usr/share/java/oracle-connector-java.jar"

4. instantclient 설정 (Hue가 설치된 노드만 수행)

  *필요한 파일(예시, Oracle 12c) :  instantclient-basic-linux.x64-12.2.0.1.0.zip,  instantclient-sdk-linux.x64-12.2.0.1.0.zip

        미리 /home/hadoop에 필요할 파일을 업로드 먼저 해둔다.(instantclient-basic-linux.x64-19.23.0.0.0dbru.zip, instantclient-sdk-linux.x64-19.23.0.0.0dbru.zip)

        가. sudo mkdir /root/downloads/oracle19c/

        나. sudo cp /home/hadoop/*.zip /root/downloads/oracle19c

        다. 기존 설정 백업(Oracle12c용 설정 백업)

          - sudo mv /usr/share/oracle/instantclient /usr/share/oracle/instantclient12c

        라. sudo mkdir /usr/share/oracle/instantclient

        마. sudo mkdir -pm 755 /usr/share/oracle/instantclient/lib/

        바. 압축파일 해제

          - sudo unzip '/root/downloads/oracle19c/*.zip' -d /usr/share/oracle/instantclient/

        사. lib파일 이동

          - sudo mv /usr/share/oracle/instantclient/`ls -l /usr/share/oracle/instantclient/ | grep instantclient_ | awk '{print $9}'`/lib* /usr/share/oracle/instantclient/lib/

          - sudo mv /usr/share/oracle/instantclient/`ls -l /usr/share/oracle/instantclient/ | grep instantclient_ | awk '{print $9}'`/* /usr/share/oracle/instantclient/

        아. symbolic link 생성 (필요시)

                cd /usr/share/oracle/instantclient/lib

                ln -s libclntsh.so.19.1 libclntsh.so

                ln -s libocci.so.19.1 libocci.so

5. /etc/cloudera-scm-server/db.properties의 DB정보 변경/저장 후 restart

  * 참고 : 운영은 Hue "Hue Service Advanced Configuration Snippet (Safety Valve) for hue_safety_valve.ini"에 설정된 DB정보도 변경할것.

6. CM에서 DB repository관련 정보 모두 변경후 전체 restart

  * 참고 : Hue Database Name : DEV1,  Ranger Database Name : DEV1  로 지정하고 나머지 서비스는 Database Name을 DEV로 지정할것.

7. Windows서버(AD)에 있는 계정관리 배치의 DB정보 변경할것.

  

8. workflow수정(필요시)

 

*참고 #1

[hadoop@goopmngp01:/usr/share/oracle/instantclient/lib]$ls -al

total 212328

drwxr-xr-x 2 root root       259 Sep 14  2022 .

drwxr-xr-x 5 root root       154 Sep 14  2022 ..

-rw-r--r-- 1 root root   8033199 Jan 26  2017 libclntshcore.so.12.1

lrwxrwxrwx 1 root root        17 Sep 14  2022 libclntsh.so -> libclntsh.so.12.1

-rw-r--r-- 1 root root  71638263 Jan 26  2017 libclntsh.so.12.1

-r--r--r-- 1 root root   2981501 Jan 26  2017 libipc1.so

-r--r--r-- 1 root root    539065 Jan 26  2017 libmql1.so

-r--r--r-- 1 root root   6568149 Jan 26  2017 libnnz12.so

lrwxrwxrwx 1 root root        15 Sep 14  2022 libocci.so -> libocci.so.12.1

-rw-r--r-- 1 root root   2218687 Jan 26  2017 libocci.so.12.1

-rw-r--r-- 1 root root 124771800 Jan 26  2017 libociei.so

-r--r--r-- 1 root root    158543 Jan 26  2017 libocijdbc12.so

-r--r--r-- 1 root root    380996 Jan 26  2017 libons.so

-rw-r--r-- 1 root root    116563 Jan 26  2017 liboramysql12.so

*참고 #2

[hadoop@goopcltt01:/usr/share/oracle/instantclient]$ls -al

total 4360

drwxr-xr-x 5 root root     154 Sep  5  2022 .

drwxr-xr-x 3 root root      27 Sep  6  2022 ..

-rw-r--r-- 1 root root   44220 Jan 26  2017 adrci

-rw-r--r-- 1 root root     363 Jan 26  2017 BASIC_README

-rw-r--r-- 1 root root   57272 Jan 26  2017 genezi

drwxrwxr-x 2 root root       6 Sep  5  2022 instantclient_12_2

drwxr-xr-x 2 root root     259 Sep  5  2022 lib

-r--r--r-- 1 root root 4036257 Jan 26  2017 ojdbc8.jar

drwxrwxr-x 5 root root      97 Jan 26  2017 sdk

-rw-r--r-- 1 root root  240476 Jan 26  2017 uidrvci

-rw-r--r-- 1 root root   74230 Jan 26  2017 xstreams.jar

[hadoop@goopcltt01:/usr/share/oracle/instantclient]$echo $ORACLE_HOME

* 참고 #3

[hadoop@goopmngt01:/usr/share/java]$ls -al

total 8384

drwxr-xr-x.   2 root root     106 Nov 12 15:15 .

drwxr-xr-x. 254 root root    8192 Dec 20  2022 ..

lrwxrwxrwx.   1 root root      22 Aug  5  2019 jna.jar -> ../../lib/java/jna.jar

lrwxrwxrwx.   1 root root      21 Aug  5  2019 jna.pom -> ../maven-poms/jna.pom

-rw-r--r--    1 root root 4532367 Nov 12 15:09 oracle-connector-java.jar

-rw-r--r--    1 root root 4036257 Sep  1  2022 oracle-connector-java.jar.12c
 

번호 제목 날짜 조회 수
747 Apache Kudu에서 동일한 이름의 테이블을 반복적으로 DROP → CREATE → INSERT하는 로직을 2분 간격으로 10회 수행할 때 발생할 수 있는 주요 이슈 2025.01.26 313
746 운영계 하둡클러스터에 노드 4대를 EdgeNode로 추가하는 방법/절차 2025.01.12 408
» Oracle 10g 혹은 12c 를 19c로 Upgrade시 Cloudera Cluster작업에 필요한 작업 2025.01.12 419
744 beeline을 이용한 impala JDBC 테스트 방법(Kerberos 설정된 상태임) 2024.11.29 553
743 외부에서 ImpalaJDBC42.jar를 통해서 Impala에 접속시 sessions정보 2024.11.26 642
742 [Kerberos]Kerberos authentication cache를 FILE로 지정해도 KCM으로 저장되는 경우 조치방법 2024.11.03 779
741 How to Install Magento 2.4.7 on Ubuntu 24.04 2024.09.04 2150
740 [CDP7.1.7]Hive Replication수행시 Target Cluster에서 Specified catalog.database.table does not exist 오류 2024.05.08 2327
739 [Impala] alter table구문수행시 "WARNINGS: Impala does not have READ_WRITE access to path 'hdfs://nameservice1/DATA/Temp/DB/source/table01_ccd'" 발생시 조치 2024.04.26 791
738 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 815
737 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 2024.04.05 2181
736 [Active Directory] AD Kerberos보안 설정 변경 방법 (Maximum lifetime for user ticket, Maximum lifetime for user ticket renewal) 2024.03.12 2159
735 [CDP7.1.7]BDR작업후 오류로 Diagnostic Data를 수집하는 동안 "No content to map due to end-of-input at [Source: (String)""; line: 1, column: 0]" 오류 발생시 조치 2024.02.20 2712
734 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 2024.01.15 790
733 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 2502
732 [CDP7.1.7][Replication]Table does not match version in getMetastore(). Table view original text mismatch 2024.01.02 2076
731 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 2413
730 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 2023.11.30 2983
729 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 2477
728 [CDP7.1.7]Encryption Zone내부/외부 간 데이터 이동(mv,cp)및 CTAS, INSERT SQL시 오류(can't be moved into an encryption zone, can't be moved from an encryption zone) 2023.11.14 2490
위로