Commit 49902336 authored by HooYoungAhn's avatar HooYoungAhn
Browse files

Update 2.5.8.RealtimeIngestToServingInTwoEngines.md

parent 2e381f3d
Pipeline #1047 canceled with stages
......@@ -13,7 +13,7 @@ export_on_save:
## 입력 데이터 준비하기
본 예제에서는 온도 센서 스트림 데이터를 HTTP로 입력 받는 것을 가정합니다. 이를 위해 Jmeter 도구를 활용합니다.
<a href="https://csleoss.etri.re.kr/images/contents/manual_1.0/jmeter.html">Jmeter 설명 바로가기</a>
<a href="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/jmeter.md">Jmeter 설명 바로가기</a>
### 온도 스트림데이터 생성하기
워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야합니다. Jmeter를 활용한 온도 스트림데이터 생성하는 방법은 메뉴얼 하단의 "결과 확인하기" 를 확인해 주시기 바랍니다.
......@@ -26,8 +26,11 @@ export_on_save:
#### 엔진 선택
본 예제에서는 스트림형태로 입력되는 온도 데이터를 입력받아 실시간 온도 예측을 하는 서빙 엔진으로 전달하기 위해 Streamtostream 엔진을 선택합니다.
#####Reader
##### Reader
HTTP 서버로부터 전달되어 오는 센서데이터를 입력 받기 위해 HttpServerReader를 선택하고 아래표와 같은 속성을 지정합니다.
field |value | 설명
--|---|--
ip | 0.0.0.0 | HTTP 서버의 IP 주소
......@@ -36,7 +39,9 @@ port | 53002 | HTTP 서버의 포트 번호
##### Writer
StreamToStream엔진에서 처리된 결과를 다음 엔진에게 Stream 형태로 전달할 것이므로, KafkaWriter를 선택합니다.
field |value | 설명
--|---|--
topic | test3 | 온도 예측 결과를 받아 올때 사용할 Kafka 큐의 이름
......@@ -47,6 +52,7 @@ bootStrapServer | csle1:9092 | Kafka 접속 주소(IP, 포트번호)
##### Controller
Controller 로는 WindowedSparkSessionOrStreamController 를 선택합니다. WindowedSparkSessionOrStreamController 는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다.
field |value | 설명
--|---|--
operationPeriod | 2 | Reader로 부터 데이터를 읽어올 주기 | 53002 | HTTP 서버의 포트번호
......@@ -56,12 +62,14 @@ windowSize | 10 | 큐에서 사용할 윈도우의 크기 | |
##### Runner
SimpleSparkRunner 를 선택합니다.
field |value | 설명
--|---|--
inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달.
sparkArgs | master | 아래의 표 참고
sparkArgs 설정은 다음과 같이 합니다.
field |value | 설명
--|---|--
master | local[\*] | YARN 의 마스터
......@@ -156,6 +164,7 @@ url | postQuery |
##### Runner
REST 방식으로 엔진을 실행 하기위해서 ServingRunner를 선택합니다.
field |value | 설명
--|---|-- |
port | 18080 | 최적의 제어값을 서빙할 포트번호 |
......@@ -216,7 +225,7 @@ Method: GET
URL: http://localhost:18080/query
```
<a href="https://csleoss.etri.re.kr/images/contents/manual_1.0/postman.html">Postman 설명 바로가기</a>
<a href="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/postman.md">Postman 설명 바로가기</a>
![Jmeter로 온도 스트림데이터 입력하기](./images/2.5.8_08.png)
......
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment