메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Spark+S2RDF DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안

총관리자 2016.06.17 14:08 조회 수 : 482

DataSetCreator관련 job돌리면 "Illegal character in fragment at index.."라는 오류가 발생하며

작업이 실해하는 경우가 있는데 이는 HDFS에 만들려는 인자에 '/'가 포함되어 있어서 문제가 발생하는 경우이다.


Helper.scala의 createDirInHDFS() 함수의 hdfs dfs -mkdir 명령에 이어서 -p옵션을 추가해주고 컴파일해서 실행한다.

그리고 URI자체에 영문과 숫자 '/', '.'만 포함하고 '<', '>', '#', '//', ':', ')', '(', ',', '&', '^'등이 들어가지 않도록 특정문자로 치환해준다.



---------------------------오류내용------------------------

Showing 4096 bytes. Click here for full log

st4/ExtVP/SO/_L_http__//data.nasa.gov/qudt/owl/qudt#conversionOffset_B_/_L_http__//data.nasa.gov/qudt/owl/qudt#systemPrefixUnit_B_.parquet
	at java.net.URI$Parser.fail(URI.java:2848)
	at java.net.URI$Parser.checkChars(URI.java:3021)
	at java.net.URI$Parser.parse(URI.java:3067)
	at java.net.URI.<init>(URI.java:588)
	at java.net.URI.create(URI.java:850)
	... 31 more
16/06/17 13:51:12 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: Illegal character in fragment at index 112: test4/ExtVP/SO/_L_http__//data.nasa.gov/qudt/owl/qudt#conversionOffset_B_/_L_http__//data.nasa.gov/qudt/owl/qudt#systemPrefixUnit_B_.parquet)
16/06/17 13:51:12 INFO yarn.ApplicationMaster: Invoking sc stop from shutdown hook
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/metrics/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/kill,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/static,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/json,null}
16/06/17 13:51:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs,null}
16/06/17 13:51:12 INFO ui.SparkUI: Stopped Spark web UI at http://gsda3:37016
16/06/17 13:51:12 INFO scheduler.DAGScheduler: Stopping DAGScheduler
16/06/17 13:51:12 INFO cluster.YarnClusterSchedulerBackend: Shutting down all executors
16/06/17 13:51:12 INFO cluster.YarnClusterSchedulerBackend: Asking each executor to shut down
16/06/17 13:51:12 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorActor: OutputCommitCoordinator stopped!
16/06/17 13:51:12 INFO spark.MapOutputTrackerMasterActor: MapOutputTrackerActor stopped!
16/06/17 13:51:12 INFO storage.MemoryStore: MemoryStore cleared
16/06/17 13:51:12 INFO storage.BlockManager: BlockManager stopped
16/06/17 13:51:12 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
16/06/17 13:51:12 INFO spark.SparkContext: Successfully stopped SparkContext
이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
501 [dovecot]dovecot restart할때 root@gsda4:/usr/lib/dovecot# service dovecot restart 오류 발생시 조치사항 총관리자 2017.06.12 494
» DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 총관리자 2016.06.17 482
499 java.util.NoSuchElementException발생시 조치 총관리자 2014.08.27 481
498 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 총관리자 2014.08.24 481
497 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 총관리자 2014.06.03 480
496 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 총관리자 2016.10.17 479
495 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 총관리자 2017.05.03 477
494 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 총관리자 2016.06.09 469
493 servlet-api를 jar형태로 build할때 포함하지 말고 java 설치 위치의 jre/lib/ext에 복사하여 사용하는것이 좋다. 총관리자 2016.08.10 462
492 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
491 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 총관리자 2015.05.06 453
490 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 총관리자 2018.05.22 452
489 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 총관리자 2016.04.04 451
488 Drools 6.0 - 비즈니스 룰 기반으로 간단한 룰 애플리케이션 만들기 file 총관리자 2016.07.18 445
487 Java 8에서 pom.xml에 JavaDoc 관련 태그가 설정되어 있으나 오류등으로 실패하면 나머지 Maven작업이 종료되는 문제 해결 방법 총관리자 2017.01.24 441
486 [번역] solr 검색 엔진 튜토리얼 총관리자 2014.10.07 441
485 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 총관리자 2017.11.14 440
484 Could not configure server becase SASL configuration did not allow the Zookeeper server to authenticate itself properly: javax.security.auth.login.LoginException: Checksum failed 총관리자 2019.05.18 435
483 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 gooper 2022.06.10 434
482 elasticsearch 기동시 permission denied on key 'vm.max_map_count' 오류발생시 조치사항 총관리자 2017.06.23 431
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로