**Batch** | 배치성 처리에 사용되는 엔진컨테이너로서 배치저장소로부터 데이터를 읽어 일괄처리 후 배치저장소로 출력하기 위한 용도로 활용가능. <br>BatchReader, BatchWriter, BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 딥러닝학습용 엔진컨테이너를 구성하고자 하는 경우 이 엔진을 활용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.10.HourlyTensorflowTraining.md">• 텐서플로우 모델 주기적으로 학습하기 </a>
**Batchcd Dummy** | Deprecated by Batch <br> 삭제예정 |
**BatchToBatchStream** | 배치성 데이터 처리에 사용되는 컨테이너로서 배치저장소로부터 많은 데이터를 읽어 미니배치 형태의 다양한 처리를 수행한 후 배치저장소에 적재하는데 사용. <br>BatchReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.2.KMeansExample.html">• 배치방식으로 데이터 처리하기 </a><br><ahref="./2.5.3.DeidentificationExample.html">• 비식별 처리하기 </a>
**BatchToBatchStream** | 배치성 데이터 처리에 사용되는 컨테이너로서 배치저장소로부터 많은 데이터를 읽어 미니배치 형태의 다양한 처리를 수행한 후 배치저장소에 적재하는데 사용. <br>BatchReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.2.KMeansExample.html">• 배치방식으로 데이터 처리하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.3.DeidentificationExample.md">• 비식별 처리하기 </a>
배치처리 방식의 엔진들은 파일, DB 등의 배치저장소로부터 데이터를 한번 읽은 후 데이터를 가공하고, 배치저장소로 출력합니다. 따라서 엔진이 실행되면 데이터 처리가 끝난 후 자동으로 종료됩니다. 배치방식 처리 엔진들은 한번 실행하거나 주기적으로 실행할 수 있습니다 (엔진의 RUNTYPE 속성 지정).
...
...
@@ -17,8 +17,8 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 스트림방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**StreamToBatch** | 스트림을 입력받아 처리한 후 배치저장소에 출력하기 위한 엔진컨테이너.<br>StreamReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.1.HttpToMongodbExample.html">• 스트림 데이터 적재하기 </a><br><ahref="./2.6.1.TrafficPreprocessing.html">• 교통속도 스트림 데이터 전처리하기 </a>
**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너. <br>StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.12.TfStreamPredictionMnist.html">• 스트림 방식으로 MNIST 모델 서빙하기 </a><br><ahref="./2.5.7.RealtimeIngestToPredictInSingleEngine.html">• 스트림방식으로 ML모델 예측결과 얻기 </a>
**StreamToBatch** | 스트림을 입력받아 처리한 후 배치저장소에 출력하기 위한 엔진컨테이너.<br>StreamReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.1.HttpToMongodbExample.html">• 스트림 데이터 적재하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.1.HttpToMongodbExample.md">• 교통속도 스트림 데이터 전처리하기 </a>
**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너. <br>StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.12.TfStreamPredictionMnist.html">• 스트림 방식으로 MNIST 모델 서빙하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.12.TfStreamPredictionMnist.md">• 스트림방식으로 ML모델 예측결과 얻기 </a>
스트림방식 처리 엔진들은 카프카, HTTP 등을 이용해 스트림 데이터를 입력받은 후 일정한 주기 (Mini batch 주기)로 깨어나 미니배치 형태로 동작합니다. 스트림 데이터를 들어온 순서대로 일정한 개수만큼 잘라서 가공하고, 배치저장소에 출력하거나 또는 스트림 형태로 출력합니다. 스트림 처리 엔진은 계속해서 스트림 데이터를 받고 있으므로 사용자가 종료 명령을 내릴 경우 종료됩니다. 종료는 **KSB 웹툴킷** 의 모니터링 화면에서 할 수 있습니다.
...
...
@@ -32,7 +32,7 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 실시간 스트림방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**StreamJoin** | 실시간 스트림처리를 제공하기 위한 엔진컨테이너로서 하나 이상의 Reader와 Writer 탑재 가능. <br>StreamController, StreamPipeReader, StreamPipeWriter, StreamPipeOperator, StreamRunner로 구성. <br>Spark structed-streaming 처리에 사용 |<ahref="./2.6.5.TrafficTimeseriesProcessing.html">• 실시간 시계열 교통속도 센서스트림 처리 하기 </a>
**StreamJoin** | 실시간 스트림처리를 제공하기 위한 엔진컨테이너로서 하나 이상의 Reader와 Writer 탑재 가능. <br>StreamController, StreamPipeReader, StreamPipeWriter, StreamPipeOperator, StreamRunner로 구성. <br>Spark structed-streaming 처리에 사용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.6.5.TrafficTimeseriesProcessing.md">• 실시간 시계열 교통속도 센서스트림 처리 하기 </a>
**StreamPipe** | Deprecated by StreamJoin <br> 삭제예정 |
실시간 스트림방식 처리 엔진은 카프카 등을 이용해 시간정보가 포함된 스트림 데이터를 계속해서 받고 있고 (입력 테이블은 새로 들어온 데이터를 append 함), trigger 시 입력 테이블에서 데이터를 가져와 쿼리를 수행하고 결과 테이블을 출력하는 방식의 실시간 처리를 합니다.
...
...
@@ -50,11 +50,11 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 온디맨드방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**OnDemandServing** | OnDemand 요청에 응답을 제공하기 위한 엔진컨테이너로서, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="./2.5.11.InceptionServingExample.html">• 온디맨드 방식으로 Inception 모델 서빙하기 </a><br><ahref="./2.6.3.TrafficOnDemandServing.html">• 온디맨드 방식으로 교통속도예측 모델 서빙하기 </a>
**OnDemandServing** | OnDemand 요청에 응답을 제공하기 위한 엔진컨테이너로서, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.11.InceptionServingExample.md">• 온디맨드 방식으로 Inception 모델 서빙하기 </a><br><ahref="./2.6.3.TrafficOnDemandServing.html">• 온디맨드 방식으로 교통속도예측 모델 서빙하기 </a>
**OnDemandStream** | 삭제예정 |
**OnDemandPipeServing** | OnDemand 요청에 하나 이상의 오퍼레이터를 파이프라인 처리하여 응답을 제공하는 엔진으로서 OnDemandPipeReader, OnDemandPipeOperator, OnDemandRunner, OnDemandController로 구성. <br>주로 **융합서빙** 에 사용 |<ahref="./2.5.13.ConvergedServingEndToEndExample.html">• 융합 REST API 만들기 </a>
**OnDemandStreamServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandReader, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="./2.5.8.RealtimeIngestToServingInTwoEngines.html">• 스트림 예측하여 REST 방식으로 서빙하기 </a>
**OnDemandExternalServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandExternalRunner로 구성. <br>주로 사용자가 작성한 Python 모듈을 API화 하기 위한 엔진 구성시 사용 |<ahref="./2.5.13.ConvergedServingEndToEndExample.html">• 융합 REST API 만들기 </a>
**OnDemandPipeServing** | OnDemand 요청에 하나 이상의 오퍼레이터를 파이프라인 처리하여 응답을 제공하는 엔진으로서 OnDemandPipeReader, OnDemandPipeOperator, OnDemandRunner, OnDemandController로 구성. <br>주로 **융합서빙** 에 사용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.13.ConvergedServingEndToEndExample.md">• 융합 REST API 만들기 </a>
**OnDemandStreamServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandReader, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.8.RealtimeIngestToServingInTwoEngines.md">• 스트림 예측하여 REST 방식으로 서빙하기 </a>
**OnDemandExternalServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandExternalRunner로 구성. <br>주로 사용자가 작성한 Python 모듈을 API화 하기 위한 엔진 구성시 사용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.13.ConvergedServingEndToEndExample.md">• 융합 REST API 만들기 </a>
온디맨드방식 처리 엔진들은 텐서플로우 기반 딥러닝 모델, 사용자가 작성한 Python 모듈 등을 REST API 형태로 서비스 하는 용도로 사용합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 쿼리를 요청하고, 결과를 응답받는 방식으로 사용합니다. Reader 를 통해 데이터를 받지 않는 경우 데이터를 쿼리에 포함하여 요청합니다.
