Commit 638c7258 authored by HooYoungAhn's avatar HooYoungAhn
Browse files

Update 2.6.5.TrafficTimeseriesProcessing.md

parent 6201b411
Pipeline #1060 canceled with stages
......@@ -52,7 +52,7 @@ python3 kangnam_producer.py ./input/201601_kangnam_orgarnized_new.csv localhost:
![파일 업로드](./images/2.6_fileUpload.png)
##워크플로우 생성하기
## 워크플로우 생성하기
워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다.
- 워크플로우 속성
......@@ -80,6 +80,7 @@ verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true
#### Reader
KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명
--|---|--
bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호)
......@@ -95,6 +96,7 @@ failOnDataLoss | false |
#### Writer
KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명
--|---|--
mode | append | 새로 들어온 입력데이터에 대해서 처리함
......@@ -112,12 +114,14 @@ StreamingGenericController 를 선택합니다.
#### Runner
SimpleSparkRunner 를 선택합니다.
field |value | 설명
--|---|--
inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달.
sparkArgs | | 아래의 표 참고
sparkArgs 설정은 다음과 같이 합니다.
field |value | 설명
--|---|--
master | local[\*] | YARN 의 마스터
......@@ -173,6 +177,7 @@ field |value | 설명
selectedColumn | | 아래의 표 참고
selectedColumn 설정은 다음과 같이 합니다.
field |value | 설명
--|---|--
selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함)
......@@ -196,6 +201,7 @@ missing value를 채우고 잡음을 smoothing 하기 위해, 한번 더 카프
#### Reader
KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명
--|---|--
bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호)
......@@ -210,6 +216,7 @@ failOnDataLoss | false |
#### Writer
KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명
--|---|--
mode | append | 새로 들어온 입력데이터에 대해서 처리함
......@@ -227,12 +234,14 @@ StreamingGenericController 를 선택합니다.
#### Runner
SimpleSparkRunner 를 선택합니다.
field |value | 설명
--|---|--
inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달.
sparkArgs | | 아래의 표 참고
sparkArgs 설정은 다음과 같이 합니다.
field |value | 설명
--|---|--
master | local[\*] | YARN 의 마스터
......@@ -260,6 +269,7 @@ groupby | AVG | 평균 계산
window | | 아래의 표 참고
window 설정은 다음과 같이 합니다.
field |value | 설명
--|---|--
key | PRCS_DATE | 윈도우를 사용할 칼럼 이름
......@@ -288,6 +298,7 @@ field |value | 설명
selectedColumn | | 아래의 표 참고
selectedColumn 설정은 다음과 같이 합니다.
field |value | 설명
--|---|--
selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함)
......
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment