Commit 638c7258 authored by HooYoungAhn's avatar HooYoungAhn
Browse files

Update 2.6.5.TrafficTimeseriesProcessing.md

parent 6201b411
Pipeline #1060 canceled with stages
...@@ -52,7 +52,7 @@ python3 kangnam_producer.py ./input/201601_kangnam_orgarnized_new.csv localhost: ...@@ -52,7 +52,7 @@ python3 kangnam_producer.py ./input/201601_kangnam_orgarnized_new.csv localhost:
![파일 업로드](./images/2.6_fileUpload.png) ![파일 업로드](./images/2.6_fileUpload.png)
##워크플로우 생성하기 ## 워크플로우 생성하기
워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다. 워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다.
- 워크플로우 속성 - 워크플로우 속성
...@@ -80,6 +80,7 @@ verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true ...@@ -80,6 +80,7 @@ verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true
#### Reader #### Reader
KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다. KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호)
...@@ -95,6 +96,7 @@ failOnDataLoss | false | ...@@ -95,6 +96,7 @@ failOnDataLoss | false |
#### Writer #### Writer
KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
mode | append | 새로 들어온 입력데이터에 대해서 처리함 mode | append | 새로 들어온 입력데이터에 대해서 처리함
...@@ -112,12 +114,14 @@ StreamingGenericController 를 선택합니다. ...@@ -112,12 +114,14 @@ StreamingGenericController 를 선택합니다.
#### Runner #### Runner
SimpleSparkRunner 를 선택합니다. SimpleSparkRunner 를 선택합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달.
sparkArgs | | 아래의 표 참고 sparkArgs | | 아래의 표 참고
sparkArgs 설정은 다음과 같이 합니다. sparkArgs 설정은 다음과 같이 합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
master | local[\*] | YARN 의 마스터 master | local[\*] | YARN 의 마스터
...@@ -173,6 +177,7 @@ field |value | 설명 ...@@ -173,6 +177,7 @@ field |value | 설명
selectedColumn | | 아래의 표 참고 selectedColumn | | 아래의 표 참고
selectedColumn 설정은 다음과 같이 합니다. selectedColumn 설정은 다음과 같이 합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함) selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함)
...@@ -196,6 +201,7 @@ missing value를 채우고 잡음을 smoothing 하기 위해, 한번 더 카프 ...@@ -196,6 +201,7 @@ missing value를 채우고 잡음을 smoothing 하기 위해, 한번 더 카프
#### Reader #### Reader
KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다. KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호)
...@@ -210,6 +216,7 @@ failOnDataLoss | false | ...@@ -210,6 +216,7 @@ failOnDataLoss | false |
#### Writer #### Writer
KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
mode | append | 새로 들어온 입력데이터에 대해서 처리함 mode | append | 새로 들어온 입력데이터에 대해서 처리함
...@@ -227,12 +234,14 @@ StreamingGenericController 를 선택합니다. ...@@ -227,12 +234,14 @@ StreamingGenericController 를 선택합니다.
#### Runner #### Runner
SimpleSparkRunner 를 선택합니다. SimpleSparkRunner 를 선택합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달.
sparkArgs | | 아래의 표 참고 sparkArgs | | 아래의 표 참고
sparkArgs 설정은 다음과 같이 합니다. sparkArgs 설정은 다음과 같이 합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
master | local[\*] | YARN 의 마스터 master | local[\*] | YARN 의 마스터
...@@ -260,6 +269,7 @@ groupby | AVG | 평균 계산 ...@@ -260,6 +269,7 @@ groupby | AVG | 평균 계산
window | | 아래의 표 참고 window | | 아래의 표 참고
window 설정은 다음과 같이 합니다. window 설정은 다음과 같이 합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
key | PRCS_DATE | 윈도우를 사용할 칼럼 이름 key | PRCS_DATE | 윈도우를 사용할 칼럼 이름
...@@ -288,6 +298,7 @@ field |value | 설명 ...@@ -288,6 +298,7 @@ field |value | 설명
selectedColumn | | 아래의 표 참고 selectedColumn | | 아래의 표 참고
selectedColumn 설정은 다음과 같이 합니다. selectedColumn 설정은 다음과 같이 합니다.
field |value | 설명 field |value | 설명
--|---|-- --|---|--
selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함) selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함)
......
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment