@@ -67,12 +67,47 @@ BeeAI가 업데이트된 경우, 아래 명령어를 이용해 업데이트된
## 매뉴얼
| | 목차 | 설명 | 링크
| ------ | ------ | ------ | ------ |
| 1 | 시작하기 | KSB 인공지능 프레임워크를 빠르게 시작할 수 있는 1) docker image 와 고객의 환경에 맞게 구성하여 설치할 수 있는 2) 오픈소스 및 바이너리 파일 을 제공합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/startGuide.md> |
| 2 | 사용자 가이드 | KSB 인공지능 프레임워크를 이용하여 인공지능 서비스를 만드는 방법을 설명한 사용자 매뉴얼입니다. KSB 웹툴킷을 이용하여 인공지능 서비스와 관련된 워크플로우를 만들고 실행하거나 제어하는 방법을 설명합니다. 또한 워크플로우를 쉽게 개발할 수 있도록 KSB 웹툴킷 기반의 다양한 워크플로우 개발 예제를 소개합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/userGuide.md> |
| 3 | 개발자 가이드 | KSB 인공지능 프레임워크의 신규 컴퍼넌트를 개발하고자 하는 SW 개발자를 위한 매뉴얼입니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/developerGuide.md> |
| 4 | API 레퍼런스 | KSB 인공지능 프레임워크는 Scala 및 Python을 사용하여 다양한 응용서비스를 개발할 수 있는 공통 API를 제공합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/apiReference.md> |
<td> KSB 인공지능 프레임워크를 이용하여 인공지능 서비스를 만드는 방법을 설명한 사용자 매뉴얼입니다. KSB 웹툴킷을 이용하여 인공지능 서비스와 관련된 워크플로우를 만들고 실행하거나 제어하는 방법을 설명합니다. 또한 워크플로우를 쉽게 개발할 수 있도록 KSB 웹툴킷 기반의 다양한 워크플로우 개발 예제를 소개합니다. </td>
KSB 인공지능 프레임워크는 다양한 학습모델과 지식/경험을 선택조합하여 서비스를 생성할 수 있는 DIY 자가학습형 지식융합 인공지능 서비스 프레임워크를 지향합니다.
분산병렬 인프라를 기반으로, 다양한 데이터 소스로부터 도메인의 응용서비스를 제공하기까지의 전주기적 솔루션을 지향합니다. 데이터의 수집-적재-처리-분석-서빙에 이르는 시스템을 구성할 수 있는 프레임워크 기능과 이를 실행하고 운영할 수 있는 플랫폼 기능을 제공합니다.
...
...
@@ -38,7 +29,7 @@ KSB 인공지능 프레임워크는 유기적인 관계에 있는 일련의 작
-**동시실행 방식** 워크플로우에 정의된 엔진이 동시에 실행되는 방식
### 엔진컨테이너
엔진컨테이너는 워크플로우 상에서 필요한 목적에 맞게 구성할 수 있는 하나의 실행 시스템인 엔진에 대한 틀로서, 엔진컨터이너 상에 컴퍼넌트들을 탑재하여 각 컴퍼넌트의 값을 설정하여 엔진에 대한 정의를 합니다. 엔진의 유형은 현재 총 12 종이 제공되고 있으며, 자세한 내용은 <ahref="./2.4.1.EngineTypeList.html">엔진 유형 목록</a>을 참조하시기 바랍니다.
엔진컨테이너는 워크플로우 상에서 필요한 목적에 맞게 구성할 수 있는 하나의 실행 시스템인 엔진에 대한 틀로서, 엔진컨터이너 상에 컴퍼넌트들을 탑재하여 각 컴퍼넌트의 값을 설정하여 엔진에 대한 정의를 합니다. 엔진의 유형은 현재 총 12 종이 제공되고 있으며, 자세한 내용은 <ahref="./2.4.1.EngineTypeList.md">엔진 유형 목록</a>을 참조하시기 바랍니다.
### 컴퍼넌트
엔진컨테이너를 구성하는 구성체로서, 5가지의 컴퍼넌트의 유형이 존재하며 각각 다음과 같은 역할을 수행합니다.
...
...
@@ -49,7 +40,7 @@ KSB 인공지능 프레임워크는 유기적인 관계에 있는 일련의 작
-**Runner** 실행 런타임을 실행하기 위한 컴퍼넌트 유형
-**Controller** 엔진컨테이너 내의 처리절차를 구성하고 실행을 주관하는 컴퍼넌트의 유형
현재 프레임워크 상에는 데이터처리/학습/서빙 관련 총 73종의 컴퍼넌트가 탑재되어 있으며, 자세한 내용은 <ahref="./2.4.2.ComponentList.html">컴퍼넌트 목록</a>을 참조하시기 바랍니다. 개략적인 분류는 다음과 같습니다.
현재 프레임워크 상에는 데이터처리/학습/서빙 관련 총 73종의 컴퍼넌트가 탑재되어 있으며, 자세한 내용은 <ahref="./2.4.2.ComponentList.md">컴퍼넌트 목록</a>을 참조하시기 바랍니다. 개략적인 분류는 다음과 같습니다.
-**데이터 수집/처리 컴퍼넌트 (62종)**: 수집/적재 17종, 미니배치 32종, 실시간 처리 13종
-**학습 SW (2종)**: 분산텐서플로우 스케툴러(CoDDL), AutoSparkML
-**모델서빙 관련 컴퍼넌트 (3종)**: 온디맨드 DL 모델 서빙, 스트림 DL 모델서빙, 스트림 ML모델서빙
...
...
@@ -63,10 +54,10 @@ KSB 인공지능 프레임워크는 유기적인 관계에 있는 일련의 작
**KSB 클라이언트** 는 워크플로우를 작성하고, 이를 **KSB 프레임워크** 에서 구동하도록 지시하기 위해 **KSB 프론트엔드** 로 요청하는 역할을 수행하는 도구입니다. **KSB 프레임워크** 의 클라이언트 모듈은 웹기반의 클라이언트 모듈인 **KSB 웹툴킷** 과 스칼라 기반의 클라이언트 모듈인 **KSB Client SDK** 두 가지 형태로 제공됩니다.
#### KSB 웹툴킷
**KSB 웹툴킷** 은 워크플로우를 정의할 수 있는 편집기, 워크플로우를 실행하고 제어하기 위한 모니터링, 데이터의 업로드 및 시각화 등을 웹 방식의 그래픽 환경에서 수행할 수 있도록 제공되는 클라이언트 모듈입니다. 자세한 내용은 <ahref="./2.1.IntroductionWebToolkit.html">KSB 웹툴킷 소개</a> 를 참조하시기 바랍니다.
**KSB 웹툴킷** 은 워크플로우를 정의할 수 있는 편집기, 워크플로우를 실행하고 제어하기 위한 모니터링, 데이터의 업로드 및 시각화 등을 웹 방식의 그래픽 환경에서 수행할 수 있도록 제공되는 클라이언트 모듈입니다. 자세한 내용은 <ahref="./2.1.IntroductionWebToolkit.md">KSB 웹툴킷 소개</a> 를 참조하시기 바랍니다.
#### KSB Client SDK
**KSB Client SDK** 는 스칼라(자바) 기반의 클라이언트 개발도구로서, 개발자가 **KSB 프레임워크** 상에서 실행하고자 하는 워크플로우를 개발할 수 있는 환경과 작성한 워크플로우를 실행할 수 있는 API 를 함께 제공합니다 (자세한 설명은 <ahref="./3.1.HowToConfigureDevelopEnvironment.html">KSB 프레임워크 SW 개발환경 구성</a>을 참조). 또한 **KSB 프레임워크** 상에 실행가능한 다양한 종류의 워크플로우 예제를 포함하고 있으므로, 이를 참조하여 다양한 워크플로우 시나리오 예제를 작성할 수 있습니다.
**KSB Client SDK** 는 스칼라(자바) 기반의 클라이언트 개발도구로서, 개발자가 **KSB 프레임워크** 상에서 실행하고자 하는 워크플로우를 개발할 수 있는 환경과 작성한 워크플로우를 실행할 수 있는 API 를 함께 제공합니다 (자세한 설명은 <ahref="./3.1.HowToConfigureDevelopEnvironment.md">KSB 프레임워크 SW 개발환경 구성</a>을 참조). 또한 **KSB 프레임워크** 상에 실행가능한 다양한 종류의 워크플로우 예제를 포함하고 있으므로, 이를 참조하여 다양한 워크플로우 시나리오 예제를 작성할 수 있습니다.
### KSB 프론트엔드
**KSB 프론트엔드** 는 **KSB 웹툴킷** 이나 **KSB Client SDK** 를 이용하여 작성된 워크플로우 스펙을 받아서 **KSB 오케스트레이터** 로 넘겨 줌으로써 워크플로우를 수행하도록 하는 매개역할을 수행합니다. 이 외에도 사용자 관리나 저장소 관리 등의 다양한 요청에 대해 대응하는 front-end 로서의 역할을 수행합니다.
...
...
@@ -90,10 +81,10 @@ KSB 인공지능 프레임워크는 유기적인 관계에 있는 일련의 작
------
## KSB 배포
**KSB 인공지능 프레임워크** 는 <ahref="https://csleoss.etri.re.kr">KSB 인공지능 프레임워크 웹페이지</a> 를 통해 **툴박스 버전**과 **클러스터 버전**, 두 가지의 배포버전에 대한 설치방법을 제공하고 있습니다.
**KSB 인공지능 프레임워크** 는 <ahref="https://etrioss.kr/ksb/kaf">KSB 인공지능 프레임워크 웹페이지</a> 를 통해 **툴박스 버전**과 **클러스터 버전**, 두 가지의 배포버전에 대한 설치방법을 제공하고 있습니다.
### KSB 툴박스
**KSB 툴박스** 는 **KSB 웹툴킷** 과 stand-alone 버전의 **KSB 런타임(실행환경)** 을 지원하는 툴박스 형태의 **KSB 프레임워크** 로서, 사용자의 로컬환경에서 KSB 프레임워크 실행환경을 쉽고 빠르게 구성하여 사용하기 위한 환경을 제공합니다.
### KSB 클러스터
**KSB 클러스터** 는 실제 클러스터 환경에서 운영하기 위한 배포 형태로서 **KSB 웹툴킷** 과 분산병렬 버전의 **KSB 런타임** 을 지원하는 **KSB 프레임워크** 로 구성되어 있습니다. 설치와 사용에 관한 자세한 사항은 <ahref="./3.1.HowToConfigureDevelopEnvironment.html">KSB 인공지능 프레임워크 설치</a> 매뉴얼을 참조하시기 바랍니다.
**KSB 클러스터** 는 실제 클러스터 환경에서 운영하기 위한 배포 형태로서 **KSB 웹툴킷** 과 분산병렬 버전의 **KSB 런타임** 을 지원하는 **KSB 프레임워크** 로 구성되어 있습니다. 설치와 사용에 관한 자세한 사항은 <ahref="./3.1.HowToConfigureDevelopEnvironment.md">KSB 인공지능 프레임워크 설치</a> 매뉴얼을 참조하시기 바랍니다.
KSB 프레임워크를 쉽게 사용하기 위한 KSB 툴박스 19.03 버전 설치 방법을 설명합니다.
## 설치 요구사항
...
...
@@ -295,7 +288,7 @@ authorized_keys를 다른 계정이 읽고 쓸 수 없게 600 mode(소유자만
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
```
**<span style="font-size: 10pt; color:red">[참고사항] 만약 보안을 위해 새로운 SSH 키를 Host PC와 docker 컨테이너가 공유할 수 있습니다.**<ahref="https://csleoss.etri.re.kr/images/contents/manual_1903/2019-07-18-ssh_key_new_generation.html"title="SSH키 생성 및 공유하기">[바로가기] SSH키 생성 및 공유하기</a>
**<span style="font-size: 10pt; color:red">[참고사항] 만약 보안을 위해 새로운 SSH 키를 Host PC와 docker 컨테이너가 공유할 수 있습니다.**<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2019-07-18-ssh_key_new_generation.md"title="SSH키 생성 및 공유하기">[바로가기] SSH키 생성 및 공유하기</a>
제공된 KSB 툴박스 docker image를 사용하지 않고, 직접 Host PC에 KSB 인공지능 프레임워크를 설치하기 위해서 아래의 오픈소스 프레임워크들을 설치합니다. 사용자 csle 계정을 생성한 후 아래 프로그램들을 설치합니다.
...
...
@@ -168,7 +161,7 @@ sudo service ssh restart
**[KSB 툴박스를 이용한 설치 방법]**
KSB 툴박스를 동작시킨 상태에서 docker 컨테이너로부터 hadoop 설정 파일을 복사하여 설치할 수도 있습니다.
먼저 도커에 접속하는 방법을 참고하여 접속합니다. (<ahref="http://csleoss.etri.re.kr/images/contents/manual_1.0/Filezilla.html"> Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기 </a>)
먼저 도커에 접속하는 방법을 참고하여 접속합니다. (<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/Filezilla.md"> Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기 </a>)
도커에 있는 hadoop-2.7.3 폴더를 Host PC의 /home/csle 폴더에 복사합니다.
또한, /home/csle/data 폴더의 hdfs 관련 정보저장 폴더를 /home/csle 폴더에 복사합니다.
KSB 툴박스를 동작시킨 상태에서 docker 컨테이너로부터 spark 설정 파일을 복사하여 설치할 수도 있습니다.
먼저 도커에 접속하는 방법을 참고하여 접속합니다. (<ahref="http://csleoss.etri.re.kr:8088/images/contents/manual_1.0/Filezilla.html"> Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기 </a>)
먼저 도커에 접속하는 방법을 참고하여 접속합니다. (<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/Filezilla.md"> Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기 </a>)
도커에 있는 spark-2.3.0-bin-hadoop2.7 폴더를 /home/csle 폴더에 복사합니다.
KSB 툴박스를 동작시킨 상태에서 docker 컨테이너로부터 hbase 설정 파일을 복사하여 설치할 수도 있습니다.
먼저 도커에 접속하는 방법을 참고하여 접속합니다. (<ahref="http://csleoss.etri.re.kr:8088/images/contents/manual_1.0/Filezilla.html">Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기 </a>)
먼저 도커에 접속하는 방법을 참고하여 접속합니다. (<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/Filezilla.md">Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기 </a>)
**KSB 웹툴킷** 은 사용자가 프레임워크를 효과적으로 사용할 수 있도록 지원하는 웹기반의 저작 도구입니다. **KSB 웹툴킷** 은 워크플로우를 정의하고 실행하는 기능과 실행 과정을 모니터링하는 기능, 그리고 관련 데이터를 업로드하고 결과를 시각화하는 기능 등을 지원합니다. **KSB 웹툴킷** 은 회원가입을 통해 로그인을 하여 사용하며 사용자별로 워크플로우를 관리합니다.
## 웹을 통한 접속 및 로그인
먼저 <ahref="./1.5.HowToRunFirst.html">KSB 인공지능 프레임워크 실행하기</a> 매뉴얼을 참고하여 KSB 프레임워크를 구동합니다.
먼저 >KSB 인공지능 프레임워크 실행하기 매뉴얼을 참고하여 KSB 프레임워크를 구동합니다.
Chrome 브라우저(또는 HTML5 표준 호환 브라우저)를 열고 <ahref="http://localhost:8080/">http://localhost:8080</a> 에 접속합니다. 로그인 페이지를 볼 수 있으며, 다음과 같이 기본적으로 제공하는 사용자 정보(수퍼관리자)가 저장되어 있습니다.
<ahref="./2.2.WebToolkit_Workflow.html">워크플로우 편집기 소개</a> 를 참고하여 작성한 워크플로우를 실행한 뒤, KSB 웹툴킷 상단의 **Monitoring** 메뉴를 선택하여 "진행내역/상태모니터링" 화면으로 이동합니다.
워크플로우 편집기 소개 매뉴얼을 참고하여 작성한 워크플로우를 실행한 뒤, KSB 웹툴킷 상단의 **Monitoring** 메뉴를 선택하여 "진행내역/상태모니터링" 화면으로 이동합니다.
## Workflow 탭
진행내역/상태 모니터링의 *workflow* 탭에서는 KSB 프레임워크에 제출된 워크플로우(워크플로우에 속한 엔진 포함)의 목록 및 상태를 확인할 수 있습니다. 또한 실행 중인 워크플로우를 종료(<spanstyle="color:red">◼</span>)하거나, 다시 실행(<spanstyle="color:#6698FF">▶</span>)할 수 있습니다.
KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형으로서 크게 배치방식, 스트림방식, 실시간 스트림 방식, 온디맨드 방식으로 동작하는 엔진들과 기타 외부연동용 엔진, GenericType의 엔진 유형이 존재합니다.
## 배치방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**Batch** | 배치성 처리에 사용되는 엔진컨테이너로서 배치저장소로부터 데이터를 읽어 일괄처리 후 배치저장소로 출력하기 위한 용도로 활용가능. <br>BatchReader, BatchWriter, BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 딥러닝학습용 엔진컨테이너를 구성하고자 하는 경우 이 엔진을 활용 |<ahref="./2.5.10.HourlyTensorflowTraining.html">• 텐서플로우 모델 주기적으로 학습하기 </a>
**Batch** | 배치성 처리에 사용되는 엔진컨테이너로서 배치저장소로부터 데이터를 읽어 일괄처리 후 배치저장소로 출력하기 위한 용도로 활용가능. <br>BatchReader, BatchWriter, BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 딥러닝학습용 엔진컨테이너를 구성하고자 하는 경우 이 엔진을 활용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.10.HourlyTensorflowTraining.md">• 텐서플로우 모델 주기적으로 학습하기 </a>
**Batchcd Dummy** | Deprecated by Batch <br> 삭제예정 |
**BatchToBatchStream** | 배치성 데이터 처리에 사용되는 컨테이너로서 배치저장소로부터 많은 데이터를 읽어 미니배치 형태의 다양한 처리를 수행한 후 배치저장소에 적재하는데 사용. <br>BatchReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.2.KMeansExample.html">• 배치방식으로 데이터 처리하기 </a><br><ahref="./2.5.3.DeidentificationExample.html">• 비식별 처리하기 </a>
**BatchToBatchStream** | 배치성 데이터 처리에 사용되는 컨테이너로서 배치저장소로부터 많은 데이터를 읽어 미니배치 형태의 다양한 처리를 수행한 후 배치저장소에 적재하는데 사용. <br>BatchReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.2.KMeansExample.md">• 배치방식으로 데이터 처리하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.3.DeidentificationExample.md">• 비식별 처리하기 </a>
배치처리 방식의 엔진들은 파일, DB 등의 배치저장소로부터 데이터를 한번 읽은 후 데이터를 가공하고, 배치저장소로 출력합니다. 따라서 엔진이 실행되면 데이터 처리가 끝난 후 자동으로 종료됩니다. 배치방식 처리 엔진들은 한번 실행하거나 주기적으로 실행할 수 있습니다 (엔진의 RUNTYPE 속성 지정).
...
...
@@ -25,8 +17,8 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 스트림방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**StreamToBatch** | 스트림을 입력받아 처리한 후 배치저장소에 출력하기 위한 엔진컨테이너.<br>StreamReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.1.HttpToMongodbExample.html">• 스트림 데이터 적재하기 </a><br><ahref="./2.6.1.TrafficPreprocessing.html">• 교통속도 스트림 데이터 전처리하기 </a>
**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너. <br>StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="./2.5.12.TfStreamPredictionMnist.html">• 스트림 방식으로 MNIST 모델 서빙하기 </a><br><ahref="./2.5.7.RealtimeIngestToPredictInSingleEngine.html">• 스트림방식으로 ML모델 예측결과 얻기 </a>
**StreamToBatch** | 스트림을 입력받아 처리한 후 배치저장소에 출력하기 위한 엔진컨테이너.<br>StreamReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.1.HttpToMongodbExample.md">• 스트림 데이터 적재하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.6.1.TrafficPreprocessing.md">• 교통속도 스트림 데이터 전처리하기 </a>
**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너. <br>StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.12.TfStreamPredictionMnist.md">• 스트림 방식으로 MNIST 모델 서빙하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.7.RealtimeIngestToPredictInSingleEngine.md">• 스트림방식으로 ML모델 예측결과 얻기 </a>
스트림방식 처리 엔진들은 카프카, HTTP 등을 이용해 스트림 데이터를 입력받은 후 일정한 주기 (Mini batch 주기)로 깨어나 미니배치 형태로 동작합니다. 스트림 데이터를 들어온 순서대로 일정한 개수만큼 잘라서 가공하고, 배치저장소에 출력하거나 또는 스트림 형태로 출력합니다. 스트림 처리 엔진은 계속해서 스트림 데이터를 받고 있으므로 사용자가 종료 명령을 내릴 경우 종료됩니다. 종료는 **KSB 웹툴킷** 의 모니터링 화면에서 할 수 있습니다.
...
...
@@ -40,7 +32,7 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 실시간 스트림방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**StreamJoin** | 실시간 스트림처리를 제공하기 위한 엔진컨테이너로서 하나 이상의 Reader와 Writer 탑재 가능. <br>StreamController, StreamPipeReader, StreamPipeWriter, StreamPipeOperator, StreamRunner로 구성. <br>Spark structed-streaming 처리에 사용 |<ahref="./2.6.5.TrafficTimeseriesProcessing.html">• 실시간 시계열 교통속도 센서스트림 처리 하기 </a>
**StreamJoin** | 실시간 스트림처리를 제공하기 위한 엔진컨테이너로서 하나 이상의 Reader와 Writer 탑재 가능. <br>StreamController, StreamPipeReader, StreamPipeWriter, StreamPipeOperator, StreamRunner로 구성. <br>Spark structed-streaming 처리에 사용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.6.5.TrafficTimeseriesProcessing.md">• 실시간 시계열 교통속도 센서스트림 처리 하기 </a>
**StreamPipe** | Deprecated by StreamJoin <br> 삭제예정 |
실시간 스트림방식 처리 엔진은 카프카 등을 이용해 시간정보가 포함된 스트림 데이터를 계속해서 받고 있고 (입력 테이블은 새로 들어온 데이터를 append 함), trigger 시 입력 테이블에서 데이터를 가져와 쿼리를 수행하고 결과 테이블을 출력하는 방식의 실시간 처리를 합니다.
...
...
@@ -58,17 +50,17 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 온디맨드방식 처리엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**OnDemandServing** | OnDemand 요청에 응답을 제공하기 위한 엔진컨테이너로서, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="./2.5.11.InceptionServingExample.html">• 온디맨드 방식으로 Inception 모델 서빙하기 </a><br><ahref="./2.6.3.TrafficOnDemandServing.html">• 온디맨드 방식으로 교통속도예측 모델 서빙하기 </a>
**OnDemandServing** | OnDemand 요청에 응답을 제공하기 위한 엔진컨테이너로서, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.11.InceptionServingExample.md">• 온디맨드 방식으로 Inception 모델 서빙하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.6.3.TrafficOnDemandServing.md">• 온디맨드 방식으로 교통속도예측 모델 서빙하기 </a>
**OnDemandStream** | 삭제예정 |
**OnDemandPipeServing** | OnDemand 요청에 하나 이상의 오퍼레이터를 파이프라인 처리하여 응답을 제공하는 엔진으로서 OnDemandPipeReader, OnDemandPipeOperator, OnDemandRunner, OnDemandController로 구성. <br>주로 **융합서빙** 에 사용 |<ahref="./2.5.13.ConvergedServingEndToEndExample.html">• 융합 REST API 만들기 </a>
**OnDemandStreamServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandReader, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="./2.5.8.RealtimeIngestToServingInTwoEngines.html">• 스트림 예측하여 REST 방식으로 서빙하기 </a>
**OnDemandExternalServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandExternalRunner로 구성. <br>주로 사용자가 작성한 Python 모듈을 API화 하기 위한 엔진 구성시 사용 |<ahref="./2.5.13.ConvergedServingEndToEndExample.html">• 융합 REST API 만들기 </a>
**OnDemandPipeServing** | OnDemand 요청에 하나 이상의 오퍼레이터를 파이프라인 처리하여 응답을 제공하는 엔진으로서 OnDemandPipeReader, OnDemandPipeOperator, OnDemandRunner, OnDemandController로 구성. <br>주로 **융합서빙** 에 사용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.13.ConvergedServingEndToEndExample.md">• 융합 REST API 만들기 </a>
**OnDemandStreamServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandReader, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.8.RealtimeIngestToServingInTwoEngines.md">• 스트림 예측하여 REST 방식으로 서빙하기 </a>
**OnDemandExternalServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandExternalRunner로 구성. <br>주로 사용자가 작성한 Python 모듈을 API화 하기 위한 엔진 구성시 사용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.13.ConvergedServingEndToEndExample.md">• 융합 REST API 만들기 </a>
온디맨드방식 처리 엔진들은 텐서플로우 기반 딥러닝 모델, 사용자가 작성한 Python 모듈 등을 REST API 형태로 서비스 하는 용도로 사용합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 쿼리를 요청하고, 결과를 응답받는 방식으로 사용합니다. Reader 를 통해 데이터를 받지 않는 경우 데이터를 쿼리에 포함하여 요청합니다.
텐서플로우 기반 딥러닝 모델은 TensorFlow Serving (<ahref="https://www.tensorflow.org/serving/">참고사이트 바로가기</a>) 을 통해 서비스 합니다. 따라서 사용자는 학습한 딥러닝 모델을 텐서플로우 서빙용으로 export 한 후 프레임워크에서 모델을 서빙합니다. 프레임워크와 연동하고 서빙을 하기 위해 파이썬 기반 텐서플로우 모델을 코딩하는 방법은 <ahref="./2.7.2.KSB_TfPyCoding_Guide.html">KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기</a> 를 참고합니다.
텐서플로우 기반 딥러닝 모델은 TensorFlow Serving (<ahref="https://www.tensorflow.org/serving/">참고사이트 바로가기</a>) 을 통해 서비스 합니다. 따라서 사용자는 학습한 딥러닝 모델을 텐서플로우 서빙용으로 export 한 후 프레임워크에서 모델을 서빙합니다. 프레임워크와 연동하고 서빙을 하기 위해 파이썬 기반 텐서플로우 모델을 코딩하는 방법은 <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.7.2.KSB_TfPyCoding_Guide.md">KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기</a> 를 참고합니다.
사용자가 작성한 Python 모듈은 프레임워크에서 제공하는 KSB Dockerize (<ahref="./2.7.1.KSB_Dockerize.html">참고자료 바로가기</a>) 를 이용하여 REST API로 만들고 서비스 합니다. KSB Dockerize 라이브러리는 사용자가 프로그래밍한 Python 함수를 Docker 이미지로 자동 변환할 뿐만 아니라 REST API 기능을 자동으로 추가하여, 사용자 Python 함수로 입력 데이터를 보내고 결과를 받을 수 있게 합니다.
사용자가 작성한 Python 모듈은 프레임워크에서 제공하는 KSB Dockerize (<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.7.1.KSB_Dockerize.md">참고자료 바로가기</a>) 를 이용하여 REST API로 만들고 서비스 합니다. KSB Dockerize 라이브러리는 사용자가 프로그래밍한 Python 함수를 Docker 이미지로 자동 변환할 뿐만 아니라 REST API 기능을 자동으로 추가하여, 사용자 Python 함수로 입력 데이터를 보내고 결과를 받을 수 있게 합니다.
또한 내부적으로 여러 개의 REST API 를 파이프라인하여 새로운 융합 REST API 를 만드는 것이 가능합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 융합서빙 엔진으로 한번만 쿼리를 요청하면, 내부적으로 여러 개의 REST API 로 쿼리를 보내고 응답받은 결과를 총계처리 하여 사용자 (클라이언트) 에게 보내줍니다. 또는 REST API 로 쿼리를 보내고 응답받은 결과에 따라 다음 REST API 주소를 결정하여 (라우팅 기능) 쿼리를 보내고 응답받은 결과를 사용자 (클라이언트) 에게 보내줍니다.
...
...
@@ -80,5 +72,5 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형
## 기타 엔진
엔진 타입 | 설명 | 사용 예제
--|--|--
**External** | 외부 실행플랫폼을 연동하기 위한 엔진컨테이너로서, BatchReader, BatchWriter, 하나 이상의 BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 파이썬 기반 딥러닝학습용 엔진컨테이너의 경우 이 엔진을 활용 |<ahref="./2.5.4.BatchMLTrainInSingleEngine.html">• ML 모델 학습하기 </a><br><ahref="./2.5.5.BatchAutoMLTrainInSingleEngine.html">• AutoML 학습하기 </a>
**External** | 외부 실행플랫폼을 연동하기 위한 엔진컨테이너로서, BatchReader, BatchWriter, 하나 이상의 BatchOperator, BatchRunner, BatchController로 구성. <br>대표적으로 파이썬 기반 딥러닝학습용 엔진컨테이너의 경우 이 엔진을 활용 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.4.BatchMLTrainInSingleEngine.md">• ML 모델 학습하기 </a><br><ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.5.BatchAutoMLTrainInSingleEngine.md">• AutoML 학습하기 </a>
**Generic** | 사용자가 정의할 수 있는 모든 요소를 이용 가능한 엔진컨테이너로서, 모든 종류의 Reader, Writer, Operator, Runner, Controller로 구성. <br>Generic 타입이므로 자유도가 높은 반면, 개발자가 오류를 범하지 않도록 응용을 만들때 신중히 구성해야 함.
|EqualDepthBinningOperator |ksb.csle.component.operator.cleaning.<br>EqualDepthBinningOperator |동일 빈도수 이산화 처리기 |<ahref="./operator/4.1.1.3.EqualDepthBinning_manual.html"> Link</a> |
|EqualWidthBinningOperator |ksb.csle.component.operator.cleaning.<br>EqualWidthBinningOperator |동일 폭 이산화 처리기 | <ahref="./operator/4.1.1.6.EqualWidthBinning_manual.html"> Link</a> |
|GeneralizedLinearRegressionOperator |ksb.csle.component.operator.cleaning.<br>GeneralizedLinearRegressionOperator |Generalized Linear Regression 처리기 | <ahref="./operator/4.1.1.9.GeneralizedLinearRegression_manual.html"> Link</a> |
|EqualDepthBinningOperator |ksb.csle.component.operator.cleaning.<br>EqualDepthBinningOperator |동일 빈도수 이산화 처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.3.EqualDepthBinning_manual.md"> Link</a> |
|EqualWidthBinningOperator |ksb.csle.component.operator.cleaning.<br>EqualWidthBinningOperator |동일 폭 이산화 처리기 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.6.EqualWidthBinning_manual.md"> Link</a> |
|GeneralizedLinearRegressionOperator |ksb.csle.component.operator.cleaning.<br>GeneralizedLinearRegressionOperator |Generalized Linear Regression 처리기 | <ahref="./operator/4.1.1.9.GeneralizedLinearRegression_manual.md"> Link</a> |
|GroupByOperator |ksb.csle.component.operator.integration.<br>GroupByOperator |특정 조건에 따른 해당 column의 grouping 처리기 | <ahref="./operator/4.1.1.12.GroupBy_manual.html"> Link</a> |
|GroupByOperator |ksb.csle.component.operator.integration.<br>GroupByOperator |특정 조건에 따른 해당 column의 grouping 처리기 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.12.GroupBy_manual.md"> Link</a> |
|ColumnSelectOperator |ksb.csle.component.operator.reduction.<br>ColumnSelectOperator |column 선택 및 재배열 처리기 |<ahref="./operator/4.1.1.19.ColumnSelect_manual.html"> Link</a> |
|AggregateOperator |ksb.csle.component.operator.reduction.<br>AggregateOperator |숫자형 데이터 통계값 (min, max, avg, std, count) 대체 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.16.Aggregate_manual.md"> Link</a> |
|ChiSquareSelectOperator |ksb.csle.component.operator.reduction.<br>ChiSquareSelectOperator |Chi-Square test를 이용한 column 선택처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.17.ChiSquareSelect_manual.md"> Link</a> |
|ColumnSelectOperator |ksb.csle.component.operator.reduction.<br>ColumnSelectOperator |column 선택 및 재배열 처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.19.ColumnSelect_manual.md"> Link</a> |
|ColumnSelectWithFileOperator |ksb.csle.component.operator.reduction.<br>ColumnSelectWithFileOperator |파일로부터 칼럼 선택 및 재배열 처리기 | |
|DecisionTreeInductOperator |ksb.csle.component.operator.reduction.<br>DecisionTreeInductOperator |Decision Tree Induction을 이용한 column 선택처리기 |<ahref="./operator/4.1.1.20.DecisionTreeInduct_manual.html"> Link</a> |
|FilterOperator |ksb.csle.component.operator.reduction.<br>FilterOperator |특정 조건에 따른 row 필터 처리기 |<ahref="./operator/4.1.1.21.Filter_manual.html"> Link</a> |
|FilterUsingSqlOperator |ksb.csle.component.operator.reduction.<br>FilterUsingSqlOperator |SQL을 이용한 row 필터 처리기 |<ahref="./operator/4.1.1.22.FilterUsingSql_manual.html"> Link</a> |
|DecisionTreeInductOperator |ksb.csle.component.operator.reduction.<br>DecisionTreeInductOperator |Decision Tree Induction을 이용한 column 선택처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.20.DecisionTreeInduct_manual.md"> Link</a> |
|FilterOperator |ksb.csle.component.operator.reduction.<br>FilterOperator |특정 조건에 따른 row 필터 처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.21.Filter_manual.md"> Link</a> |
|FilterUsingSqlOperator |ksb.csle.component.operator.reduction.<br>FilterUsingSqlOperator |SQL을 이용한 row 필터 처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.22.FilterUsingSql_manual.md"> Link</a> |
|GroupByFilterOperator |ksb.csle.component.operator.reduction.<br>GroupByFilterOperator |총계처리 후 필터링 | |
|OrderByFilterOperator |ksb.csle.component.operator.reduction.<br>OrderByFilterOperator |정렬 후 필터링 | |
|PCAOperator |ksb.csle.component.operator.reduction.<br>PCAOperator |PCA를 이용한 column 생성 처리기 | <ahref="./operator/4.1.1.23.PCA_manual.html"> Link</a> |
|TimeWindowAggregateOperator |ksb.csle.component.operator.reduction.<br>TimeWindowAggregateOperator |Unit timestamp 정보를 이용하여 시간정보에 따라 aggregation 처리기 | |
...
...
@@ -155,18 +147,18 @@ KSB 인공지능 프레임워크가 기본적으로 제공하는 컴포넌트의
|ChangeColumnDataTypeOperator |ksb.csle.component.operator.transformation.<br>ChangeColumnDataTypeOperator |column의 데이터 타입 변경 | |
|ExplodeColumnOperator |ksb.csle.component.operator.transformation.<br>ExplodeColumnOperator |array/map 타입 column의 각 element로부터 새로운 row 생성 | |
|FlattenOperator |ksb.csle.component.operator.transformation.<br>FlattenOperator |선택한 column의 모든 row을 하나의 row로 합치는 처리기 | |
|InterpolateOperator |ksb.csle.component.operator.transformation.<br>InterpolateOperator |일정한 간격으로 데이터를 보간하여 새로운 데이터프레임 생성 |<ahref="./operator/4.1.1.29.Interpolate_manual.html"> Link</a> |
|MinMaxScalingOperator |ksb.csle.component.operator.transformation.<br>MinMaxScalingOperator |최소/최대값을 기준으로 스케일링 처리기 | <ahref="./operator/4.1.1.30.MinMaxScaling_manual.html"> Link</a> |
|InterpolateOperator |ksb.csle.component.operator.transformation.<br>InterpolateOperator |일정한 간격으로 데이터를 보간하여 새로운 데이터프레임 생성 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.29.Interpolate_manual.md"> Link</a> |
|MinMaxScalingOperator |ksb.csle.component.operator.transformation.<br>MinMaxScalingOperator |최소/최대값을 기준으로 스케일링 처리기 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.30.MinMaxScaling_manual.md"> Link</a> |
|NullReplaceOperator |ksb.csle.component.operator.transformation.<br>NullReplaceOperator |공백문자나 Zero 값 Null 대체기 | |
|PivotOperator |ksb.csle.component.operator.transformation.<br>PivotOperator | 특정 column 내 값을 row의 schema 정보로 변환 처리기 |<ahref="./operator/4.1.1.33.Pivot_manual.html"> Link</a> |
|PivotOperator |ksb.csle.component.operator.transformation.<br>PivotOperator | 특정 column 내 값을 row의 schema 정보로 변환 처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.33.Pivot_manual.md"> Link</a> |
|RenameColumnOperator |ksb.csle.component.operator.transformation.<br>RenameColumnOperator |column 이름 변경 | | |
|ReshapeWithTimeWindowOperator |ksb.csle.component.operator.transformation.<br>ReshapeWithTimeWindowOperator |Time window 값에 따라 shift된 row 생성 처리기 ||
|SelectWithTimeWindowOperator |ksb.csle.component.operator.transformation.<br>SelectWithTimeWindowOperator |Time window 값에 따라 shift된 row 선택 처리기 |<ahref="./operator/4.1.1.35.SelectWithTimeWindow_manual.html"> Link</a> |
|SelectWithTimeWindowOperator |ksb.csle.component.operator.transformation.<br>SelectWithTimeWindowOperator |Time window 값에 따라 shift된 row 선택 처리기 |<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.35.SelectWithTimeWindow_manual.md"> Link</a> |
|SplitColumnOperator |ksb.csle.component.operator.transformation.<br>SplitColumnOperator |array/map 타입 column의 element를 각 column으로 분리 | |
|StringIndexOperator |ksb.csle.component.operator.transformation.<br>StringIndexOperator |문자열 타입의 컬럼에 대한 색인 컬럼을 생성 | |
|TimeSynchronizeOperator |ksb.csle.component.operator.transformation.<br>TimeSynchronizeOperator |시간(timestamp)을 동기화하여 두 개의 데이터프레임 join | |
|TransposeOperator |ksb.csle.component.operator.transformation.<br>TransposeOperator |하나의 dataframe column을 row로 변환 처리기|<ahref="./operator/4.1.1.37.Transpose_manual.html"> Link</a> |
|TransposeOperator |ksb.csle.component.operator.transformation.<br>TransposeOperator |하나의 dataframe column을 row로 변환 처리기|<ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/tree/master/manual1903/operator/4.1.1.37.Transpose_manual.md"> Link</a> |
|VectorizeColumnOperator |ksb.csle.component.operator.transformation.<br>VectorizeColumnOperator |여러 column들을 모아서 하나의 vector 타입 column을 생성 | |
KSB 인공지능 프레임워크는 Scala 및 Python을 사용하여 다양한 응용서비스를 개발할 수 있는 공통 API를 제공합니다.
KSB 인공지능 프레임워크는 Scala 를 사용하여 다양한 응용서비스를 개발할 수 있는 공통 API를 ScalaDoc 으로 제공합니다. 파일을 <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/api_reference.zip">다운로드 </a> 받아서 확인하세요.
### Scala API
| | | 설명 | 링크 |
| ------ | ------ | ------ | ------ |
| 1 | components | 데이터 수집/적재/처리/학습/서빙 등 KSB 프레임워크 기본 컴퍼넌트 | <ahref="https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/api_reference.zip">다운로드 </a> |
| 2 | component-pipe | 스트림 수집/처리/적재 등 실시간 처리에 한층 더 적합한 KSB 프레임워크 확장 컴퍼넌트 |<https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.2.WebToolkit_Workflow.md> |
| 3 | didentification | 데이터 비식별화 관련 처리 컴퍼넌트 | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.3.1.WebToolkit_Repository.md> |
| | | 설명 |
| ------ | ------ | ------ |
| 1 | components | 데이터 수집/적재/처리/학습/서빙 등 KSB 프레임워크 기본 컴퍼넌트 |
| 2 | component-pipe | 스트림 수집/처리/적재 등 실시간 처리에 한층 더 적합한 KSB 프레임워크 확장 컴퍼넌트 |
| 3 | didentification | 데이터 비식별화 관련 처리 컴퍼넌트 |
### Python API
| | | 설명 | 링크 |
| ------ | ------ | ------ | ------ |
| 1 | Python API | Python을 이용한 Auto-SparkML 기능 및 사용법 | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.1.IntroductionWebToolkit.md> |
KSB 인공지능 프레임워크를 이용하여 인공지능 서비스를 만드는 방법을 설명한 사용자 매뉴얼이다.
KSB 웹툴킷을 이용하여 인공지능 서비스와 관련된 워크플로우를 만들고 실행하거나 제어하는 방법을 설명한다.
또한 워크플로우를 쉽게 개발할 수 있도록 KSB 웹툴킷 기반의 다양한 워크플로우 개발 예제를 소개한다.
KSB 인공지능 프레임워크의 신규 컴퍼넌트를 개발하고자 하는 SW 개발자를 위한 매뉴얼입니다.
| | | 설명 | 링크 |
| ------ | ------ | ------ | ------ |
| 1 | 개발환경 구성 | KSB 인공지능 프레임워크의 엔진 컴퍼넌트를 개발하고, scala client api를 이용한 워크플로우를 작성하거나 실행하기 위한 KSB Client 개발환경을 구성하는 절차를 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.1.HowToConfigureDevelopEnvironment.md> |
| 2 | 워크플로우 예제 작성 | Eclipse 환경에서 워크플로우를 작성하여 실행하는 예제를 소개합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.3.HowToMakeScenarioWithNewComponent.md> |
| 3 | KSB웹툴킷 컴퍼넌트 등록 | 개발한 컴퍼넌트를 KSB웹툴킷에서 이용할 수 있도록 등록하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.4.HowToUseComponent.md> |
### Operator 개발
| | | 설명 | 링크 |
| ------ | ------ | ------ | ------ |
| 1 | 컴퍼넌트 개발 | KSB 인공지능 프레임워크가 제공하지 않는 신규 컴퍼넌트(Operator)를 개발하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.2.1.HowToDevelopOperator.md> |
| 2 | 워크플로우 예제 작성 |새로 개발한 Operator 컴퍼넌트를 이용하여 워크플로우를 작성하고 실행하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.3.1.HowToMakeScenarioWithNewOperator.md> |
| 3 | KSB웹툴킷 컴퍼넌트 등록 |KSB 웹툴킷에 새로 개발한 Operator 컴퍼넌트를 등록하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.4.1.HowToUseOperatorComponent.md> |
### KSB 웹툴킷
### Reader 개발
| | | 설명 | 링크 |
| ------ | ------ | ------ | ------ |
| 1 | KSB 웹툴킷 개요 | KSB 웹툴킷은 워크플로우를 정의할 수 있는 편집기, 워크플로우를 실행하고 제어하기 위한 모니터링, 데이터의 업로드 및 시각화 등을 웹 방식의 그래픽, 환경에서 수행할 수 있도록 제공되는 클라이언트 모듈입니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.1.IntroductionWebToolkit.md> |
| 2 | 워크플로우 편집기 소개 | KSB 웹툴킷은 웹 방식의 그래픽 환경에서 사용자가 워크플로우를 정의하고 실행할 수 있는 개발 도구입니다. KSB 웹툴킷 내부에서 제공하는 워크플로우 편집기는 워크플로우를 편집하거나 실행할 수 있는 워크플로우 저작도구 입니다 | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.2.WebToolkit_Workflow.md> |
| 3 | 데이터 저장소 관리 | KSB 웹툴킷에서는 Repository 메뉴를 통해 HDFS 에 파일을 업로드 하거나 다운로드 하기 위한 인터페이스를 제공합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.3.1.WebToolkit_Repository.md> |
| 4 | 모니터링 소개 | KSB 프레임워크에 제출된 워크플로우 및 엔진의 상태를 확인하고 제어하기 위한 인터페이스를 제공합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.3.2.WebToolkit_Monitoring.md> |
| 1 | 컴퍼넌트 개발 | KSB 인공지능 프레임워크가 제공하지 않는 신규 컴퍼넌트(Reader)를 개발하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.2.2.HowToDevelopReader.md> |
| 2 | 워크플로우 예제 작성 | 새로 개발한 Reader 컴퍼넌트를 이용하여 워크플로우를 작성하고 실행하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.2.2.HowToDevelopReader.md> |
| 3 | KSB웹툴킷 컴퍼넌트 등록 |KSB 웹툴킷에 새로 개발한 Reader 컴퍼넌트를 등록하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/3.4.2.HowToUseReaderComponent.md> |
| 2 | KSB 툴박스 설치하기 | KSB 툴박스는 KSB 인공지능 프레임워크 (KSB 웹툴킷 포함) 를 빠르고 간편하게 사용해 볼 수 있도록 KSB 인공지능 프레임워크 및 필요한 오픈소스들이 설치되어 있는 docker image를 제공합니다. KSB 툴박스 최신판을 이용하면 데이터 처리, Analytics, 모델 서빙과 같은 환경을 쉽고 편리하게 구성하여 빠르게 프레임워크를 시작할 수 있습니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/1.2.HowToInstallKsbToolBox-1903.md> |
| 3 | KSB 인공지능 프레임워크 설치하기 | KSB 인공지능 프레임워크 및 관련 오픈소스들을 고객의 환경(클러스터 환경 등)에 맞게 설치하여 사용할 수 있도록 오픈소스 및 이를 구동하기 위한 실행 바이너리 파일을 제공합니다. KSB 툴박스 docker image를 사용하지 않고, 직접 Host PC에 KSB 인공지능 프레임워크를 설치합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/1.3.HowToInstallKsbFrameWork-1903.md> |
| 4 | KSB 웹툴킷 설치하기 | KSB 웹툴킷을 설치하여 KSB 인공지능 프레임워크를 웹 환경에서 사용할 수 있습니다. KSB 툴박스 docker image를 사용하지 않고, 직접 Host PC에 KSB 웹툴킷을 설치하는 방법을 설명합니다.| <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/1.4.HowToInstallKsbWebToolkit.md> |
| 5 | 처음 실행하기 | KSB 인공지능 프레임워크를 실행하는 방법을 설명합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/1.5.HowToRunFirst-1903.md> |
### KSB 웹툴킷
### 참고
| | | 설명 | 링크 |
| ------ | ------ | ------ | ------ |
| 1 | KSB 웹툴킷 개요 | KSB 웹툴킷은 워크플로우를 정의할 수 있는 편집기, 워크플로우를 실행하고 제어하기 위한 모니터링, 데이터의 업로드 및 시각화 등을 웹 방식의 그래픽, 환경에서 수행할 수 있도록 제공되는 클라이언트 모듈입니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.1.IntroductionWebToolkit.md> |
| 2 | 워크플로우 편집기 소개 | KSB 웹툴킷은 웹 방식의 그래픽 환경에서 사용자가 워크플로우를 정의하고 실행할 수 있는 개발 도구입니다. KSB 웹툴킷 내부에서 제공하는 워크플로우 편집기는 워크플로우를 편집하거나 실행할 수 있는 워크플로우 저작도구 입니다 | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.2.WebToolkit_Workflow.md> |
| 3 | 데이터 저장소 관리 | KSB 웹툴킷에서는 Repository 메뉴를 통해 HDFS 에 파일을 업로드 하거나 다운로드 하기 위한 인터페이스를 제공합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.3.1.WebToolkit_Repository.md> |
| 4 | 모니터링 소개 | KSB 프레임워크에 제출된 워크플로우 및 엔진의 상태를 확인하고 제어하기 위한 인터페이스를 제공합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.3.2.WebToolkit_Monitoring.md> |
Kubernetes 클러스터 설치하기 -
KSB 프레임워크에 제공하는 엔진을 Kubernetes에서 구동시키기 위해 kubernetes 설치 방법을 설명합니다.
| 스트림 방식으로 ML모델 예측결과 얻기 | 온도센서 스트림 데이터를 전처리하여 기계학습 모델에 의해 예측된 온도값을 Kafka 스트림으로 내보내는 예제를 소개합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.7.RealtimeIngestToPredictInSingleEngine.md>|
| 스트림 방식으로 예측하여 REST 방식으로 서빙하기 | 온도센서 스트림 데이터를 전처리하여 기계학습 모델에 의해 예측된 온도값을 클라이언트의 요청에 따라 최적의 제어를 추론하여 전달하는 예제를 소개합니다. | <https://etrioss.kr/thkimetri/ksb19.03-manual/blob/master/manual1903/2.5.8.RealtimeIngestToServingInTwoEngines.md>|
