@@ -18,7 +18,7 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
엔진 타입 | 설명 | 사용 예제
--|--|--
**StreamToBatch** | 스트림을 입력받아 처리한 후 배치저장소에 출력하기 위한 엔진컨테이너.<br>StreamReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.1.HttpToMongodbExample.md">• 스트림 데이터 적재하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.6.1.TrafficPreprocessing.md">• 교통속도 스트림 데이터 전처리하기 </a>
**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너. <br>StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.12.TfStreamPredictionMnist.md">• 스트림 방식으로 MNIST 모델 서빙하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.12.TfStreamPredictionMnist.md">• 스트림방식으로 ML모델 예측결과 얻기 </a>
**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너. <br>StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.12.TfStreamPredictionMnist.md">• 스트림 방식으로 MNIST 모델 서빙하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.7.RealtimeIngestToPredictInSingleEngine.md">• 스트림방식으로 ML모델 예측결과 얻기 </a>
스트림방식 처리 엔진들은 카프카, HTTP 등을 이용해 스트림 데이터를 입력받은 후 일정한 주기 (Mini batch 주기)로 깨어나 미니배치 형태로 동작합니다. 스트림 데이터를 들어온 순서대로 일정한 개수만큼 잘라서 가공하고, 배치저장소에 출력하거나 또는 스트림 형태로 출력합니다. 스트림 처리 엔진은 계속해서 스트림 데이터를 받고 있으므로 사용자가 종료 명령을 내릴 경우 종료됩니다. 종료는 **KSB 웹툴킷** 의 모니터링 화면에서 할 수 있습니다.
...
...
@@ -58,9 +58,9 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
온디맨드방식 처리 엔진들은 텐서플로우 기반 딥러닝 모델, 사용자가 작성한 Python 모듈 등을 REST API 형태로 서비스 하는 용도로 사용합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 쿼리를 요청하고, 결과를 응답받는 방식으로 사용합니다. Reader 를 통해 데이터를 받지 않는 경우 데이터를 쿼리에 포함하여 요청합니다.
텐서플로우 기반 딥러닝 모델은 TensorFlow Serving (<ahref="https://www.tensorflow.org/serving/">참고사이트 바로가기</a>) 을 통해 서비스 합니다. 따라서 사용자는 학습한 딥러닝 모델을 텐서플로우 서빙용으로 export 한 후 프레임워크에서 모델을 서빙합니다. 프레임워크와 연동하고 서빙을 하기 위해 파이썬 기반 텐서플로우 모델을 코딩하는 방법은 <ahref="./2.7.2.KSB_TfPyCoding_Guide.html">KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기</a> 를 참고합니다.
텐서플로우 기반 딥러닝 모델은 TensorFlow Serving (<ahref="https://www.tensorflow.org/serving/">참고사이트 바로가기</a>) 을 통해 서비스 합니다. 따라서 사용자는 학습한 딥러닝 모델을 텐서플로우 서빙용으로 export 한 후 프레임워크에서 모델을 서빙합니다. 프레임워크와 연동하고 서빙을 하기 위해 파이썬 기반 텐서플로우 모델을 코딩하는 방법은 <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.7.2.KSB_TfPyCoding_Guide.md">KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기</a> 를 참고합니다.
사용자가 작성한 Python 모듈은 프레임워크에서 제공하는 KSB Dockerize (<ahref="./2.7.1.KSB_Dockerize.html">참고자료 바로가기</a>) 를 이용하여 REST API로 만들고 서비스 합니다. KSB Dockerize 라이브러리는 사용자가 프로그래밍한 Python 함수를 Docker 이미지로 자동 변환할 뿐만 아니라 REST API 기능을 자동으로 추가하여, 사용자 Python 함수로 입력 데이터를 보내고 결과를 받을 수 있게 합니다.
사용자가 작성한 Python 모듈은 프레임워크에서 제공하는 KSB Dockerize (<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.7.1.KSB_Dockerize.md">참고자료 바로가기</a>) 를 이용하여 REST API로 만들고 서비스 합니다. KSB Dockerize 라이브러리는 사용자가 프로그래밍한 Python 함수를 Docker 이미지로 자동 변환할 뿐만 아니라 REST API 기능을 자동으로 추가하여, 사용자 Python 함수로 입력 데이터를 보내고 결과를 받을 수 있게 합니다.
또한 내부적으로 여러 개의 REST API 를 파이프라인하여 새로운 융합 REST API 를 만드는 것이 가능합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 융합서빙 엔진으로 한번만 쿼리를 요청하면, 내부적으로 여러 개의 REST API 로 쿼리를 보내고 응답받은 결과를 총계처리 하여 사용자 (클라이언트) 에게 보내줍니다. 또는 REST API 로 쿼리를 보내고 응답받은 결과에 따라 다음 REST API 주소를 결정하여 (라우팅 기능) 쿼리를 보내고 응답받은 결과를 사용자 (클라이언트) 에게 보내줍니다.
...
...
@@ -72,5 +72,5 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 기타 엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**External** | 외부 실행플랫폼을 연동하기 위한 엔진컨테이너로서, BatchReader, BatchWriter, 하나 이상의 BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 파이썬 기반 딥러닝학습용 엔진컨테이너의 경우 이 엔진을 활용 |<ahref="./2.5.4.BatchMLTrainInSingleEngine.html">• ML 모델 학습하기 </a><br><ahref="./2.5.5.BatchAutoMLTrainInSingleEngine.html">• AutoML 학습하기 </a>
**External** | 외부 실행플랫폼을 연동하기 위한 엔진컨테이너로서, BatchReader, BatchWriter, 하나 이상의 BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 파이썬 기반 딥러닝학습용 엔진컨테이너의 경우 이 엔진을 활용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.4.BatchMLTrainInSingleEngine.md">• ML 모델 학습하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.4.BatchMLTrainInSingleEngine.md">• AutoML 학습하기 </a>
**Generic** | 사용자가 정의할 수 있는 모든 요소를 이용 가능한 엔진컨테이너로서, 모든 종류의 Reader, Writer, Operator, Runner, Controller로 구성. <br>Generic 타입이므로 자유도가 높은 반면, 개발자가 오류를 범하지 않도록 응용을 만들때 신중히 구성해야 함.
