+
+ 
+ 
+ AbstractGenericOnDemandRestfulControlActor
+
+ + +csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. + +```sh +tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh, webToolkit_db) +
+ +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 docker hub로부터 pull 합니다. + +```sh +docker pull ksbframework/ksb_toolbox:1.0.0 +``` + +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 확인합니다. +(참고사항: 현재 docker image 버전은 1.0.0 버전이며, 추후 TAG 정보 및 SIZE 정보는 배포 버전에 따라 다를 수 있습니다) + +```sh +csle@csle1:~/ksb-csle$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +ksbframework/ksb_toolbox 1.0.0 01f760746a56 7 hours ago 15.4GB +``` + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +KSB 툴박스 docker 컨테이너의 인증키를 공유하기 위해 ksb-csle/tools 폴더에 있는 .ssh 폴더를 csle 홈에 카피합니다. + +```sh +cp -r ~/ksb-csle/tools/.ssh/ /home/csle/ +``` +authorized_keys를 다른 계정이 읽고 쓸 수 없게 600 mode(소유자만 rw 가능)로 변경합니다. +``` +chmod 700 ~/.ssh +chmod 600 ~/.ssh/authorized_keys +``` + +## [Host PC] SSH 재시작하기 +```sh +sudo service ssh restart +``` + +## [Host PC] ksb-csle 폴더 권한 변경하기 +KSB 툴박스 docker 컨테이너에서 Host PC의 ksb-csle 폴더를 엑세스 할 수 있도록 폴더 권한을 변경합니다. +```sh +sudo chmod 777 -R /home/csle/ksb-csle/ +``` + +이상으로 KSB 툴박스를 구동하기 위해 필요한 프로그램 설치 및 설정 변경을 완료하였습니다. +KSB 인공지능 프레임워크 실행하기 페이지로 이동하여 KSB 프레임워크를 구동하도록 하겠습니다. diff --git a/manual1903/1.2.HowToInstallKsbToolBox-nvidia-1903.md b/manual1903/1.2.HowToInstallKsbToolBox-nvidia-1903.md new file mode 100644 index 0000000000000000000000000000000000000000..eed294c2fb551aa06ec6f25e9ea0e4ea95f6c55f --- /dev/null +++ b/manual1903/1.2.HowToInstallKsbToolBox-nvidia-1903.md @@ -0,0 +1,465 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# KSB 툴박스 설치하기(nvidia-docker버전) +--- +KSB 프레임워크를 쉽게 사용하기 위한 KSB 툴박스 v19.03 nvidia-docker 버전 설치 방법을 설명합니다. + +## 설치 요구사항 + +- Ubuntu 16.04가 설치된 메모리 16GB 이상 데스트탑이나 노트북이 요구됩니다. +- KSB 툴박스는 Hadoop, hbase, kafka, zookeeper, spark 등 빅데이터 처리 프레임워크과 연동합니다. 따라서 다양한 워크플로우 예제를 실행하기 위해서는 16GB 이상의 메모리와 cpu 코어 8개이상의 PC 사양이 요구됩니다. + (메모리 8GB 및 cpu 코어 4개 사양 PC에서는 제한적으로 워크플로우 예제 실행이 가능합니다.) + +## 사용시 유의사항 +- 제한된 GPU 카드에 대해서만 테스트 되어 있습니다.(Titanx, 1080Ti). 따라서 저사양 GPU 카드나 최신 GPU 카드를 사용하는 경우 동작하지 않을 수 있습니다. +- 현재 KSB 툴박스 nvidia-docker 버전은 CUDA 9.0, CUDNN 7.3.1 이 포함되어 있습니다. + ```sh + cat /usr/local/cuda/version.txt + CUDA Version 9.0.176 + cat /usr/include/cudnn.h | grep CUDNN_MAJOR -A 2 + #define CUDNN_MAJOR 7 + #define CUDNN_MINOR 3 + #define CUDNN_PATCHLEVEL 1 + ``` + +## 설치 순서 + +Host PC에 KSB 툴박스를 설치하기 위해서 아래와 같은 절차로 설치합니다. +- [Host PC] csle 사용자 계정(권한: administrator) 생성하기 +- [Host PC] hostname을 csle1으로 변경하기 +- [Host PC] NVIDIA 그래픽카드 드라이버 설치하기 +- [Host PC] openjdk-8 설치하기 +- [Host PC] KSB 툴박스 관련 프로그램 설치하기 +- [Host PC] SSH port 변경 및 root 로그인 가능하도록 SSHD config 수정하기 +- [Host PC] SSH config 수정하기 +- [Host PC] Docker 설치하기 +- [Host PC] nvidia-docker 2.0 설치하기 +- [Host PC] /etc/hosts 수정하기 +- [Host PC] bashrc 설정 추가하기 +- [Host PC] 크롬 설치하기 +- [Host PC] KSB 툴박스 설치 및 docker image 다운받기 +- [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +- [Host PC] SSH 재시작하기 +- [Host PC] ksb-csle 폴더 권한 변경하기 +- [Host PC] startDockerCsle.sh, stopDockerCsle.sh 추가하기 + +## [Host PC] csle 사용자 계정(권한 : administrator) 생성하기 + +Host PC에 기존 Ubuntu 사용자와 설치환경을 분리하기 위해 아래의 명령으로 csle 계정을 추가 생성합니다. + +```sh +sudo adduser csle + Adding user 'csle' ... + Adding new group 'csle' (1001) ... + Adding new user 'csle' (1001) with group 'csle' ... + Creating home directory '/home/csle' ... + Copying files from '/etc/skel' ... + 새 UNIX 암호 입력: + 새 UNIX 암호 재입력: + passwd: password updated successfully + Changing the user information for csle + Enter the new value, or press ENTER for the default + Full Name []: + Room Number []: + Work Phone []: + Home Phone []: + Other []: + Is the information correct? [Y/n] Y +``` +/etc/sudoers를 열어 csle 계정에 administrator 권한을 추가합니다. +"경고: 읽기 전용 파일을 고치고 있습니다" 경고는 무시하고 저장하고 나옵니다. +```sh +sudo vi /etc/sudoers + # User privilege specification + root ALL=(ALL:ALL) ALL + # 맨 아래줄에 내용을 추가합니다. + #includedir /etc/sudoers.d + csle ALL=(ALL) NOPASSWD: ALL +``` + +## [Host PC] hostname을 csle1으로 변경하기 + +docker 컨테이너가 호스트 pc의 네트워크를 동일하게 사용하는 host 모드로 동작하기 위해 docker 컨테이너와 호스트 pc의 호스트네임을 동일하게 합니다. + +```sh +sudo vi /etc/hostname +csle1 +``` +PC를 재부팅하여 csle 계정으로 로그인합니다. + + +## [Host PC] NVIDIA 그래픽카드 드라이버 설치하기 + +```sh +sudo add-apt-repository ppa:graphics-drivers +sudo apt-get update + +왼쪽 우분투 "시스템설정" 아이콘 클릭 --> "자세히 보기" 아이콘 클릭 --> +하단의 "업데이트 설치" 버튼 클릭 + +왼쪽 우분투 "시스템설정" 아이콘 클릭 --> "소프트웨어&업데이터" 아이콘 클릭 --> +상단 메뉴에서 "추가 드라이버" 메뉴 선택 --> +NVIDIA 드라이버 사용 선택(예:NVIDIA binary driver-version 396.54(독점,확인함)) --> +"바뀐 내용 적용" 후 컴퓨터 재부팅 +``` +```sh +csle@csle1:~$ nvidia-smi +Sat Oct 24 13:17:41 2018 ++----------------------------------------------------------------------------+ +| NVIDIA-SMI 396.54 Driver Version: 396.54 | +|------------------------------+----------------------+----------------------+ +| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | +| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | +|==============================+======================+======================| +| 0 TITAN X (Pascal) Off | 00000000:01:00.0 On | N/A | +| 25% 40C P8 17W / 250W | 1186MiB / 12190MiB | 0% Default | ++------------------------------+----------------------+----------------------+ + ++----------------------------------------------------------------------------+ +| Processes: GPU Memory | +| GPU PID Type Process name Usage | +|============================================================================| +| 0 1021 G /usr/lib/jvm/java-8-oracle/bin/java 632MiB | ++----------------------------------------------------------------------------+ +``` +PC를 재부팅합니다. + +## [Host PC] openjdk-8 설치하기 +Host PC에 Ubuntu 16.04를 처음 설치한 경우 java openjdk 8을 설치합니다. 아래의 내용을 터미널에 복사하여 설정 가능합니다. +```sh +sudo apt-get update && \ +sudo apt-get -y install openjdk-8-jre && \ +sudo apt-get -y install openjdk-8-jdk +``` + +터미널을 다시 시작한 후, 아래의 명령으로 java 설치 여부를 확인합니다. + +```sh +csle@csle1:~$ java -version +java version "1.8.0_212" +Java(TM) SE Runtime Environment (build 1.8.0_212-b13) +Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode) +``` + +## [Host PC] KSB 툴박스 관련 프로그램 설치하기 + +Host PC에 아래의 명령으로 KSB 툴박스 관련 프로그램을 설치합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +sudo apt-get update && \ +sudo apt-get install -y --no-install-recommends apt-utils curl bc jq && \ +sudo apt-get install -y ssh locales wget git vim rsync locales \ +filezilla python3-pip && \ +sudo apt-get install -y net-tools && \ +pip3 install kafka-python +``` + +## [Host PC] SSH port 변경 및 root 로그인 가능하도록 SSHD config 수정하기 +아래의 명령을 수행하여 포트 정보를 2243로 수정하고, root 로그인을 허용합니다. + +```sh +sudo sed -ri 's/^Port 22/Port 2243/g' /etc/ssh/sshd_config +sudo sed -ri \ +'s/^PermitRootLogin prohibit-password/PermitRootLogin yes/g' \ +/etc/ssh/sshd_config +``` + +## [Host PC] SSH config 수정하기 (known_hosts에 호스트 저장 질문을 하지 않도록 설정) +아래의 명령을 수행하여 ssh_config의 기존 내용을 모두 삭제하고 설정을 추가합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +sudo truncate -s0 /etc/ssh/ssh_config +echo "Host localhost" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host 0.0.0.0" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host 127.0.0.1" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host csle*" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "UserKnownHostsFile=/dev/null" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host master" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "UserKnownHostsFile=/dev/null" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +sudo service ssh restart +``` + +## [Host PC] Docker 설치하기 + +Host PC에 docker-ce 프로그램을 설치하기 위해 아래 명령어를 순차적으로 입력합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. +현재 2018년 10월 최신 버전은 18.06.1\~ce\~3-0\~ubuntu 입니다. + +```sh +curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \ +sudo apt-key add - && \ +sudo add-apt-repository \ +"deb [arch=amd64] +https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" && \ +sudo apt-get update && \ +apt-cache policy docker-ce && \ +sudo apt-get install -y docker-ce=18.06.1~ce~3-0~ubuntu && \ +sudo systemctl status docker +``` + +#### [참고사항] 기존 docker-engine 삭제 방법 +```sh +sudo apt-get purge -y docker docker-engine docker.io +``` + +Docker 명령시 root 권한이 필요합니다. root가 아닌 사용자가 sudo 없이 사용하려면 해당 사용자를 docker 그룹에 추가합니다. + +```sh +sudo usermod -aG docker csle +# 사용자가 로그인 중이라면 다시 로그인 후 권한이 적용됩니다. +# 단, 현재 터미널에서만 적용됩니다. +sudo su csle +PC 재부팅 +``` + +PC 재부팅을 통해서 sudo 명령없이 docker 명령을 사용할 수 있습니다. + +## [Host PC] nvidia-docker 2.0 설치하기 +```sh +curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \ +sudo apt-key add - && \ +curl -s -L \ +https://nvidia.github.io/nvidia-docker/\ +ubuntu16.04/amd64/nvidia-docker.list | \ +sudo tee /etc/apt/sources.list.d/nvidia-docker.list && \ +sudo apt-get update && \ +sudo apt-get install -y nvidia-docker2 && \ +sudo pkill -SIGHUP dockerd +``` + +아래의 질의에 대해서 Y를 누르면 설치가 완료됩니다. + +```sh +Configuration file '/etc/docker/daemon.json' + ==> File on system created by you or by a script. + ==> File also in package provided by package maintainer. + 어떻게 하시겠습니까? 다음 중에 하나를 선택할 수 있습니다: + Y 또는 I : 패키지 관리자의 버전을 설치합니다 + N 또는 O : 현재 설치된 버전을 유지합니다 + D : 버전 간의 차이점을 표시합니다 + Z : 프로세스를 백그라운드로 하고 상황을 알아봅니다 +기본값으로 현재 버전을 그대로 유지합니다. +*** daemon.json (Y/I/N/O/D/Z) [기본값=N] ? Y +``` + +```sh +csle@csle1:~$ nvidia-docker version +NVIDIA Docker: 2.0.3 +Client: + Version: 18.06.1-ce + API version: 1.38 + Go version: go1.10.3 + Git commit: e68fc7a + Built: Tue Aug 21 17:24:56 2018 + OS/Arch: linux/amd64 + Experimental: false +``` +```sh +Server: + Engine: + Version: 18.06.1-ce + API version: 1.38 (minimum version 1.12) + Go version: go1.10.3 + Git commit: e68fc7a + Built: Tue Aug 21 17:23:21 2018 + OS/Arch: linux/amd64 + Experimental: false + +``` +### [참고사항] 기존 nvidia-docker 1.0 버전을 삭제 방법 +```sh +docker volume ls -q -f driver=nvidia-docker | \ +xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f +sudo apt-get purge nvidia-docker +``` + +## [Host PC] /etc/hosts 수정하기 + +KSB 툴박스의 docker 컨테이너 주소에 쉽게 접근하기 위해 아래와 같이 /etc/hosts 내용을 수정합니다. (host pc의 IP는 192.168.0.5로 가정합니다. 자신의 PC IP에 맞게 설정합니다.) + +```sh +127.0.0.1 localhost +# 아래 주석처리. Hdfs 연동시 문제가 생김. +#127.0.1.1 csle1 + +# The following lines are desirable for IPv6 capable hosts +::1 ip6-localhost ip6-loopback +fe00::0 ip6-localnet +ff00::0 ip6-mcastprefix +ff02::1 ip6-allnodes +ff02::2 ip6-allrouters + +# 아래의 내용 추가 +192.168.0.5 csle1 master +``` + +## [Host PC] bashrc 설정 추가하기 +csle 계정의 bashrc 파일을 업데이트 합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +cat <
+ +csle 사용자 계정의 home에 ksb_toolbox_v1903.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. + +```sh +tar zxvf ksb_toolbox_v1903.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 19.03 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh, webToolkit_db) +
+ +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 docker hub로부터 pull 합니다. + +```sh +docker pull ksbframework/ksb_toolbox_nvidia:19.03.5-cuda9.0-cudnn7 +``` + +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 확인합니다. +(참고사항: 2019.05.24일 docker image 버전은 19.03.5-cuda9.0-cudnn7 버전이며, 추후 TAG 정보 및 SIZE 정보는 배포 버전에 따라 다를 수 있습니다) + +```sh +csle@csle1:~/ksb-csle$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +ksbframework/ksb_toolbox_nvidia 19.03.5-cuda9.0-cudnn7 4b0ba4b5b184 5 hours ago 9.48GB +``` + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +KSB 툴박스 docker 컨테이너의 인증키를 공유하기 위해 ksb-csle/tools 폴더에 있는 .ssh 폴더를 csle 홈에 카피합니다. + +```sh +cp -r ~/ksb-csle/tools/.ssh/ /home/csle/ +``` +authorized_keys를 다른 계정이 읽고 쓸 수 없게 600 mode(소유자만 rw 가능)로 변경합니다. +``` +chmod 700 ~/.ssh +chmod 600 ~/.ssh/authorized_keys +``` + +## [Host PC] SSH 재시작하기 +```sh +sudo service ssh restart +``` +## [Host PC] ksb.conf 수정하기 +KSB 툴박스 nvidia 이미지 버전은 tensorflow 1.6 gpu 버전과 cpu 버전이 설치되어있습니다. 따라서, 아래와 같이 ksb.conf 파일을 수정합니다. + +```sh +tensorflow { + enable = "true" +# python_path = "/anaconda3/envs/tensorflow/bin/python" + python_path = "/anaconda3/envs/tensorflow16_gpu/bin/python" + python_code_project_path = "/analysis" +} + +``` +## [Host PC] ksb-csle 폴더 권한 변경하기 +KSB 툴박스 docker 컨테이너에서 Host PC의 ksb-csle 폴더를 엑세스 할 수 있도록 폴더 권한을 변경합니다. +```sh +sudo chmod 777 -R /home/csle/ksb-csle/ +``` + +## [Host PC] startDockerCsle.sh stopDockerCsle.sh 추가하기 +아래의 스크립트를 복사하여 터미널에서 실행하면 startDockerCsle.sh 파일이 생성됩니다. + +```sh +mkdir -p /home/csle/ksb-csle/docker/19.03-nvidia +cat <
+ +csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. + +```sh +tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh, webToolkit_db) +
+ +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 docker hub로부터 pull 합니다. + +```sh +docker pull ksbframework/ksb_toolbox_nvidia:1.0.1-cuda9.0-cudnn7 +``` + +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 확인합니다. +(참고사항: 2019.05.24일 docker image 버전은 1.0.1 버전이며, 추후 TAG 정보 및 SIZE 정보는 배포 버전에 따라 다를 수 있습니다) + +```sh +csle@csle1:~/ksb-csle$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +ksbframework/ksb_toolbox_nvidia 1.0.1-cuda9.0-cudnn7 e3661c94fd07 7 hours ago 9.39GB +``` + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +KSB 툴박스 docker 컨테이너의 인증키를 공유하기 위해 ksb-csle/tools 폴더에 있는 .ssh 폴더를 csle 홈에 카피합니다. + +```sh +cp -r ~/ksb-csle/tools/.ssh/ /home/csle/ +``` +authorized_keys를 다른 계정이 읽고 쓸 수 없게 600 mode(소유자만 rw 가능)로 변경합니다. +``` +chmod 700 ~/.ssh +chmod 600 ~/.ssh/authorized_keys +``` + +## [Host PC] SSH 재시작하기 +```sh +sudo service ssh restart +``` +## [Host PC] ksb.conf 수정하기 +KSB 툴박스 nvidia 이미지 버전은 tensorflow 1.6 gpu 버전과 cpu 버전이 설치되어있습니다. 따라서, 아래와 같이 ksb.conf 파일을 수정합니다. + +```sh +tensorflow { + enable = "true" +# python_path = "/anaconda3/envs/tensorflow/bin/python" + python_path = "/anaconda3/envs/tensorflow16_gpu/bin/python" + python_code_project_path = "/analysis" +} + +``` +## [Host PC] ksb-csle 폴더 권한 변경하기 +KSB 툴박스 docker 컨테이너에서 Host PC의 ksb-csle 폴더를 엑세스 할 수 있도록 폴더 권한을 변경합니다. +```sh +sudo chmod 777 -R /home/csle/ksb-csle/ +``` + +## [Host PC] startDockerCsle.sh stopDockerCsle.sh 추가하기 +아래의 스크립트를 복사하여 터미널에서 실행하면 startDockerCsle.sh 파일이 생성됩니다. + +```sh +mkdir -p /home/csle/ksb-csle/docker/1.0-nvidia +cat <
+ +csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. + +```sh +tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh, webToolkit_db) +
+ +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 docker hub로부터 pull 합니다. + +```sh +docker pull ksbframework/ksb_toolbox:1.0.0 +``` + +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 확인합니다. +(참고사항: 현재 docker image 버전은 1.0.0 버전이며, 추후 TAG 정보 및 SIZE 정보는 배포 버전에 따라 다를 수 있습니다) + +```sh +csle@csle1:~/ksb-csle$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +ksbframework/ksb_toolbox 1.0.0 01f760746a56 7 hours ago 15.4GB +``` + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +KSB 툴박스 docker 컨테이너의 인증키를 공유하기 위해 ksb-csle/tools 폴더에 있는 .ssh 폴더를 csle 홈에 카피합니다. + +```sh +cp -r ~/ksb-csle/tools/.ssh/ /home/csle/ +``` + +## [Host PC] SSH 재시작하기 +```sh +sudo service ssh restart +``` + +## [Host PC] ksb-csle 폴더 권한 변경하기 +KSB 툴박스 docker 컨테이너에서 Host PC의 ksb-csle 폴더를 엑세스 할 수 있도록 폴더 권한을 변경합니다. +```sh +sudo chmod 777 -R /home/csle/ksb-csle/ +``` + +이상으로 KSB 툴박스를 구동하기 위해 필요한 프로그램 설치 및 설정 변경을 완료하였습니다. +KSB 인공지능 프레임워크 실행하기 페이지로 이동하여 KSB 프레임워크를 구동하도록 하겠습니다. diff --git a/manual1903/1.2.HowToInstallKsbToolBox.md b/manual1903/1.2.HowToInstallKsbToolBox.md new file mode 100644 index 0000000000000000000000000000000000000000..7ecd0d5a73b31027b2c596eb727a473c88fa8bc8 --- /dev/null +++ b/manual1903/1.2.HowToInstallKsbToolBox.md @@ -0,0 +1,299 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# KSB 툴박스 설치하기 +--- +KSB 프레임워크를 쉽게 사용하기 위한 KSB 툴박스 1.0 버전 설치 방법을 설명합니다. + +## 설치 요구사항 + +- Ubuntu 16.04가 설치된 메모리 16GB 이상 데스트탑이나 노트북이 요구됩니다. +- KSB 툴박스는 Hadoop, hbase, kafka, zookeeper, spark 등 빅데이터 처리 프레임워크과 연동합니다. 따라서 다양한 워크플로우 예제를 실행하기 위해서는 16GB 이상의 메모리와 cpu 코어 8개이상의 PC 사양이 요구됩니다. + (메모리 8GB 및 cpu 코어 4개 사양 PC에서는 제한적으로 워크플로우 예제 실행이 가능합니다.) + +## 설치 순서 + +Host PC에 KSB 툴박스를 설치하기 위해서 아래와 같은 절차로 설치합니다. +- [Host PC] csle 사용자 계정(권한: administrator) 생성하기 +- [Host PC] hostname을 csle1으로 변경하기 +- [Host PC] openjdk-8 설치하기 +- [Host PC] KSB 툴박스 관련 프로그램 설치하기 +- [Host PC] SSH port 변경 및 root 로그인 가능하도도록 SSHD config 수정하기 +- [Host PC] SSH config 수정하기 +- [Host PC] Docker 설치하기 +- [Host PC] /etc/hosts 수정하기 +- [Host PC] bashrc 설정 추가하기 +- [Host PC] 크롬 설치하기 +- [Host PC] KSB 툴박스 설치 및 docker image 다운받기 +- [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +- [Host PC] SSH 재시작하기 +- [Host PC] ksb-csle 폴더 권한 변경하기 + +## [Host PC] csle 사용자 계정(권한 : administrator) 생성하기 + +Host PC에 기존 Ubuntu 사용자와 설치환경을 분리하기 위해 아래의 명령으로 csle 계정을 추가 생성합니다. + +```sh +sudo adduser csle + Adding user 'csle' ... + Adding new group 'csle' (1001) ... + Adding new user 'csle' (1001) with group 'csle' ... + Creating home directory '/home/csle' ... + Copying files from '/etc/skel' ... + 새 UNIX 암호 입력: + 새 UNIX 암호 재입력: + passwd: password updated successfully + Changing the user information for csle + Enter the new value, or press ENTER for the default + Full Name []: + Room Number []: + Work Phone []: + Home Phone []: + Other []: + Is the information correct? [Y/n] Y +``` +/etc/sudoers를 열어 csle 계정에 administrator 권한을 추가합니다. +"경고: 읽기 전용 파일을 고치고 있습니다" 경고는 무시하고 저장하고 나옵니다. +```sh +sudo vi /etc/sudoers + # User privilege specification + root ALL=(ALL:ALL) ALL + # 맨 아래줄에 내용을 추가합니다. + #includedir /etc/sudoers.d + csle ALL=(ALL) NOPASSWD: ALL +``` + +## [Host PC] hostname을 csle1으로 변경하기 + +docker 컨테이너가 호스트 pc의 네트워크를 동일하게 사용하는 host 모드로 동작하기 위해 docker 컨테이너와 호스트 pc의 호스트네임을 동일하게 합니다. + +```sh +sudo vi /etc/hostname +csle1 +``` +PC를 재부팅하여 csle 계정으로 로그인합니다. + +## [Host PC] openjdk-8 설치하기 + +Host PC에 Ubuntu 16.04를 처음 설치한 경우 java openjdk 8을 설치합니다. 아래의 내용을 터미널에 복사하여 설정 가능합니다. + +```sh +sudo apt-get update && \ +sudo apt-get -y install openjdk-8-jre && \ +sudo apt-get -y install openjdk-8-jdk +``` + +터미널을 다시 시작한 후, 아래의 명령으로 java 설치 여부를 확인합니다. + +```sh +csle@csle1:~$ java -version +java version "1.8.0_212" +Java(TM) SE Runtime Environment (build 1.8.0_212-b13) +Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode) +``` + +## [Host PC] KSB 툴박스 관련 프로그램 설치하기 + +Host PC에 아래의 명령으로 KSB 툴박스 관련 프로그램을 설치합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +sudo apt-get update && \ +sudo apt-get install -y --no-install-recommends apt-utils curl bc jq && \ +sudo apt-get install -y ssh locales wget git vim rsync locales \ +filezilla python3-pip && \ +sudo apt-get install -y net-tools && \ +pip3 install kafka-python +``` + +## [Host PC] SSH port 변경 및 root 로그인 가능하도록 SSHD config 수정하기 +아래의 명령을 수행하여 포트 정보를 2243로 수정하고, root 로그인을 허용합니다. + +```sh +sudo sed -ri 's/^Port 22/Port 2243/g' /etc/ssh/sshd_config +sudo sed -ri \ +'s/^PermitRootLogin prohibit-password/PermitRootLogin yes/g' \ +/etc/ssh/sshd_config +``` +만약 사용자가 openSSH를 사용한다면, 위의 스크립트이 적용되지 않습니다. 따라서, 직접 port 번호와 PermitRootLogin를 수정합니다. + +## [Host PC] SSH config 수정하기 (known_hosts에 호스트 저장 질문을 하지 않도록 설정) +아래의 명령을 수행하여 ssh_config의 기존 내용을 모두 삭제하고 설정을 추가합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +sudo truncate -s0 /etc/ssh/ssh_config +echo "Host localhost" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host 0.0.0.0" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host 127.0.0.1" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host csle*" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "UserKnownHostsFile=/dev/null" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host master" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "UserKnownHostsFile=/dev/null" \ +| sudo tee -a /etc/ssh/ssh_config >/dev/null +sudo service ssh restart +``` + + +## [Host PC] Docker 설치하기 + +Host PC에 docker-ce 프로그램을 설치하기 위해 아래 명령어를 순차적으로 입력합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \ +sudo apt-key add - && \ +sudo add-apt-repository \ +"deb [arch=amd64] +https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" && \ +sudo apt-get update && \ +apt-cache policy docker-ce && \ +sudo apt-get install -y docker-ce=18.06.1~ce~3-0~ubuntu && \ +sudo systemctl status docker +``` + +#### [참고사항] 기존 docker-engine 삭제 +```sh +sudo apt-get purge -y docker docker-engine docker.io +``` + +Docker 명령시 root 권한이 필요합니다. root가 아닌 사용자가 sudo 없이 사용하려면 해당 사용자를 docker 그룹에 추가합니다. + +```sh +sudo usermod -aG docker csle +# 사용자가 로그인 중이라면 다시 로그인 후 권한이 적용됩니다. +# 단, 현재 터미널에서만 적용됩니다. +sudo su csle +PC 재부팅 +``` +PC 재부팅을 통해서 sudo 명령없이 docker 명령을 사용할 수 있습니다. + +## [Host PC] /etc/hosts 수정하기 + +KSB 툴박스의 docker 컨테이너 주소에 쉽게 접근하기 위해 아래와 같이 /etc/hosts 내용을 수정합니다. (host pc의 IP는 192.168.0.5로 가정합니다. 자신의 PC IP에 맞게 설정합니다.) + +```sh +127.0.0.1 localhost +# 아래 주석처리. Hdfs 연동시 문제가 생김. +#127.0.1.1 csle1 + +# The following lines are desirable for IPv6 capable hosts +::1 ip6-localhost ip6-loopback +fe00::0 ip6-localnet +ff00::0 ip6-mcastprefix +ff02::1 ip6-allnodes +ff02::2 ip6-allrouters + +# 아래의 내용 추가 +192.168.0.5 csle1 master +``` + +## [Host PC] bashrc 설정 추가하기 +csle 계정의 bashrc 파일을 업데이트 합니다. 아래의 내용을 터미널에 복사하여 설정가능합니다. + +```sh +cat <
+ +csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. + +```sh +tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh, webToolkit_db) +
+ +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 docker hub로부터 pull 합니다. + +```sh +docker pull ksbframework/ksb_toolbox:1.0.1-miniconda3 +``` + +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 확인합니다. +(참고사항: 2019.05.24일 docker image 버전은 1.0.1 버전이며, 추후 TAG 정보 및 SIZE 정보는 배포 버전에 따라 다를 수 있습니다) + +```sh +csle@csle1:~/ksb-csle$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +ksbframework/ksb_toolbox 1.0.1-miniconda3 1b49af6336c7 7 hours ago 7.54GB +``` + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +KSB 툴박스 docker 컨테이너의 인증키를 공유하기 위해 ksb-csle/tools 폴더에 있는 .ssh 폴더를 csle 홈에 카피합니다. + +```sh +cp -r ~/ksb-csle/tools/.ssh/ /home/csle/ +``` +authorized_keys를 다른 계정이 읽고 쓸 수 없게 600 mode(소유자만 rw 가능)로 변경합니다. +``` +chmod 700 ~/.ssh +chmod 600 ~/.ssh/authorized_keys +``` + +## [Host PC] SSH 재시작하기 +```sh +sudo service ssh restart +``` + +## [Host PC] ksb-csle 폴더 권한 변경하기 +KSB 툴박스 docker 컨테이너에서 Host PC의 ksb-csle 폴더를 엑세스 할 수 있도록 폴더 권한을 변경합니다. +```sh +sudo chmod 777 -R /home/csle/ksb-csle/ +``` + +이상으로 KSB 툴박스를 구동하기 위해 필요한 프로그램 설치 및 설정 변경을 완료하였습니다. +KSB 인공지능 프레임워크 실행하기 페이지로 이동하여 KSB 프레임워크를 구동하도록 하겠습니다. diff --git a/manual1903/1.2.HowToInstallKsbToolBox.pdf b/manual1903/1.2.HowToInstallKsbToolBox.pdf new file mode 100644 index 0000000000000000000000000000000000000000..77493f74e4373af66f615c2f516154c0228b6393 Binary files /dev/null and b/manual1903/1.2.HowToInstallKsbToolBox.pdf differ diff --git a/manual1903/1.3.HowToInstallKsbFrameWork-old.md b/manual1903/1.3.HowToInstallKsbFrameWork-old.md new file mode 100644 index 0000000000000000000000000000000000000000..9c853c2e967ffd1eadc453d5ce93b391db0a486a --- /dev/null +++ b/manual1903/1.3.HowToInstallKsbFrameWork-old.md @@ -0,0 +1,497 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# KSB 인공지능 프레임워크 설치 +----------- +제공된 KSB 툴박스를 사용하지 않고, 직접 Host PC에 KSB 인공지능 프레임워크를 설치하기 위해서 아래의 오픈소스 프레임워크들을 설치합니다. 사용자 csle 계정을 생성한 후 아래 프로그램들을 설치합니다. + +## csle 사용자 계정(권한 : administrator) 생성하기 +KSB 툴박스 설치의 csle 사용자 계정 생성 부분을 참고합니다. + +## java-8-oracle 설치하기 +KSB 툴박스 설치의 java-8-oracle 설치 부분을 참고합니다. + +## Apache Hadoop 2.7.3 설치하기 +아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다. + +참고링크 : https://hadoop.apache.org/docs/r2.7.3/ +다운로드 링크 : https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/ + +## spark-2.3.0-bin-hadoop2.7 설치하기 +아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다. + +참고링크 : https://spark.apache.org/downloads.html +다운로드 링크 : https://spark.apache.org/downloads.html + +## hbase 1.2.4(optional) 설치하기 +아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다. + +참고링크 : https://hbase.apache.org/book.html +다운로드 링크 : https://archive.apache.org/dist/hbase/1.2.4/ + +## kafka 2.11-0.10.0.1(optional) 설치하기 +아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다. + +참고링크 : https://kafka.apache.org/ +다운로드 링크 : https://kafka.apache.org/downloads + +## zookeeper 3.4.9(optional) 설치하기 +아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다. + +참고링크 : https://zookeeper.apache.org/ +다운로드 링크 : https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/ + +## KSB 프레임워크 설치하기 + + 다운로드 페이지로부터 KSB 툴박스 파일을 다운로드합니다. + - ksb_toolbox_v1.tar.gz : KSB 툴박스 파일 +
+ +csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. +```sh + csle@csle1:~$ tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh) +
+ + +## ksb-csle conf 파일 설정하기 +/home/csle/ksb-csle/conf/ksb.conf 파일을 사용자 PC에 맞게 수정합니다. + +```sh +csle { + user { + home = "/home/csle" # 사용자 home 디렉토리를 지정합니다. + } + home = "/home/csle/ksb-csle" # KSB home 디렉토리를 지정합니다. + submit.cli = "true" + scheduler.initialization = "false" +} + +servers { + gateway { + baseUrl = "http://KSB_GATEWAY:SERVICEPORT" + } + kubernetes { + enable = "false" + baseUrl = "http://SERVICENAME.ksb.local:30100" + imgRepositoryUrl = "docker.io" + kubernetes_yaml_path = "/kubernetes" + masterIp = "csle1" # Kubernetes 마스터 도메인 이름 혹은 IP를 지정합니다. + masterPort = "2243" # Kubernetes SSH 포트 번호를 지정합니다. + nodesIp = "csle2, csle3" # Kubernetes 노드들의 도메인 이름 혹은 IP들을 지정합니다. + user = "csle" # Kubernetes 서버의 사용자 ID를 지정합니다. + externalKafka { + brokerHostName = "csle1" # 외부 Kafka broker서버 도메인 이름을 지정합니다. + brokerHostIp = "192.168.0.xxx" # 외부 Kafka broker서버 IP을 지정합니다. + } + } + tensorflow { + enable = "true" + python_path = "/anaconda3/envs/tensorflow/bin/python" # 사용자 PC의 tensorflow python 위치를 지정합니다. + python_code_project_path = "/analysis" + } + pyspark { + python_path = "/anaconda3/bin/python" # 사용자 PC의 python 위치를 지정합니다. + python_code_project_path = "/pyML" + } + spark { + home = "/spark" # 사용자 PC의 spark home 위치를 지정합니다. + bin = "/spark/bin/spark-submit" + master = "local[*]" # spark master 모드를 지정합니다. + deploy = "client" # spark deploy 모드를 지정합니다. + logging = "true" + autoIncreaseModelPath = "true" + } + yarn { + home = "/hadoop/bin" # 사용자 PC의 yarn 위치를 지정합니다. + } + postgres { + db = "csledb" + uri = "jdbc:postgresql://localhost:5432/csledb" + user = "csle" + password = "csle1234" + } + hadoop { + home = "/hadoop/" # 사용자 PC의 hadoop 위치를 지정합니다. + master = "csle1" # 사용자 PC의 hadoop master 이름을 지정합니다. + port = "9000" # 사용자 PC의 hadoop master port를 지정합니다. + hdfs { + activated = "true" + baseDir = "/user/" + modelPath = "/model" + datasetPath = "/dataset" + } + webhdfs { + port = "50070" + baseDir = "/webhdfs/v1" + } + } + hbase.zookeeper.quorum = "localhost" + kbe { + serverIp = "localhost" + serverPort = "9876" + serverType = "jena" + } +} +``` + +## bashrc 설정 추가하기 +csle 계정의 bashrc 파일을 업데이트 합니다. + +```sh +cat <
+ +csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. +```sh + csle@csle1:~$ tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh) +
+ + +## [Host PC] ksb-csle config 파일 설정하기 +/home/csle/ksb-csle/conf/ksb.conf 파일을 사용자 PC에 맞게 수정합니다. + +```sh +csle { + user { + home = "/home/csle" # 사용자 home 디렉토리를 지정합니다. + } + home = "/home/csle/ksb-csle" # KSB home 디렉토리를 지정합니다. + submit.cli = "true" + scheduler.initialization = "false" +} + +servers { + gateway { + baseUrl = "http://KSB_GATEWAY:SERVICEPORT" + } + kubernetes { + enable = "false" + baseUrl = "http://SERVICENAME.ksb.local:30100" + imgRepositoryUrl = "docker.io" + kubernetes_yaml_path = "/kubernetes" + masterIp = "csle1" # Kubernetes 마스터 도메인 이름 혹은 IP를 지정합니다. + masterPort = "2243" # Kubernetes SSH 포트 번호를 지정합니다. + nodesIp = "csle2, csle3" + # Kubernetes 노드들의 도메인 이름 혹은 IP들을 지정합니다. + user = "csle" # Kubernetes 서버의 사용자 ID를 지정합니다. + externalKafka { + brokerHostName = "csle1" + # 외부 Kafka broker서버 도메인 이름을 지정합니다. + brokerHostIp = "192.168.0.5" + # 외부 Kafka broker서버 IP을 지정합니다. + } + } +``` +```sh + tensorflow { + enable = "true" + python_path = "/anaconda3/envs/tensorflow/bin/python" + # 사용자 PC의 tensorflow python 위치를 지정합니다. + python_code_project_path = "/analysis" + } + pyspark { + python_path = "/anaconda3/bin/python" + # 사용자 PC의 python 위치를 지정합니다. + python_code_project_path = "/pyML" + } + spark { + home = "/spark" # 사용자 PC의 spark home 위치를 지정합니다. + bin = "/spark/bin/spark-submit" + master = "local[*]" # spark master 모드를 지정합니다. + deploy = "client" # spark deploy 모드를 지정합니다. + logging = "true" + autoIncreaseModelPath = "true" + } + yarn { + home = "/hadoop/bin" # 사용자 PC의 yarn 위치를 지정합니다. + } + postgres { + db = "csledb" + uri = "jdbc:postgresql://localhost:5432/csledb" + user = "csle" + password = "csle1234" + } + webtoolkit { + db = "ui" + uri = "jdbc:postgresql://localhost:5432/uidb" + user = "csle" + password = "csle1234" + } + hadoop { + home = "/hadoop/" # 사용자 PC의 hadoop 위치를 지정합니다. + master = "csle1" # 사용자 PC의 hadoop master 이름을 지정합니다. + port = "9000" # 사용자 PC의 hadoop master port를 지정합니다. + hdfs { + activated = "true" + baseDir = "/user/" + modelPath = "/model" + datasetPath = "/dataset" + } + webhdfs { + port = "50070" + baseDir = "/webhdfs/v1" + } + } + hbase.zookeeper.quorum = "localhost" + kbe { + serverIp = "localhost" + serverPort = "9876" + serverType = "jena" + } +} +``` + +## [Host PC] startService.sh, stopService.sh 생성하기 +/home/csle에 startService.sh, stopService.sh 파일을 생성합니다. + +```sh +cat <
+
+
+
+ ≡
+
+
+
+
+
+
+
+
+
+
+
\ No newline at end of file
diff --git a/manual1903/1.4.HowToInstallKsbWebToolkit.md b/manual1903/1.4.HowToInstallKsbWebToolkit.md
new file mode 100755
index 0000000000000000000000000000000000000000..e44f49acaae0db37c94bfa0525e73ae9f1b39fe9
--- /dev/null
+++ b/manual1903/1.4.HowToInstallKsbWebToolkit.md
@@ -0,0 +1,324 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# KSB 웹툴킷 설치
+---
+
+UI 기반으로 KSB 인공지능 프레임워크를 사용할 수 있는 KSB 웹툴킷 설치 과정을 설명합니다.
+
+## 설치 요구사항
+
+- Docker 기반 KSB 툴박스 환경에서는, KSB 웹툴킷 실행을 위한 기능들이 사전에 설치 되어 있거나 설치 과정에 포함 되어 있으므로, 본 과정이 필요하지 않습니다.
+- Ubuntu 16.04가 설치된 메모리 16GB 이상 데스트탑이나 노트북이 요구됩니다.
+- KSB 웹툴킷은 KSB 인공지능 프레임워크를 기반으로 구동됩니다. 따라서 startKsbApiServing 을 실행하여 KSB 인공지능 프레임워크를 구동하고 있어야 합니다.
+- KSB 웹툴킷은 저장소로 HDFS를 사용합니다. 따라서, 저장소로 사용할 PC에 Hadoop 및 관련 소프트웨어가 설치 되어 있어야 합니다. Hadoop을 설치한 후에는 ksb-csle/conf/ksb.conf 파일에서 hadoop.master 정보를 설치한 호스트명으로 설정해 주어야 합니다. 또한 hadoop.hdfs.activated 도 true로 설정해야 정상적으로 HDFS 를 저장소로 이용할 수 있습니다.(기본적으로 true로 설정 되어 있습니다.)
+- DB에서 한글을 정상적으로 사용하기 위해, 호스트 운영체제의 언어를 한글로 설정 합니다. 변경 하는 방법은 다음 링크를 참고 합니다.
+[Ubuntu 언어 변경](https://askubuntu.com/questions/509174/how-can-i-change-the-language-from-english-to-spanish)
+- Postgresql 9.6.8 이상이 설치되어야 합니다.
+- Pgadmin3 1.22.2 이상이 설치되어야 합니다.
+- JDK 8 이 설치되어야 합니다. 설치 방법은 다음 링크를 참고 합니다. [JDK 8 설치](https://csleoss.etri.re.kr/images/contents/manual_1.0/1.2.HowToInstallKsbToolBox.html#host-pc-java-8-oracle-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0)
+- Apache Tomcat 7.x가 설치되어야 합니다.
+
+## KSB 인공지능 프레임워크 DB 설치하기
+
+KSB 인공지능 프레임워크는 프레임워크 사용자 정보, 생성 및 구동된 워크플로우 정보, KSB 웹툴킷에서 이용하는 UI Component 관련 정보를 관리하기 위해 Postgresql DB를 사용 합니다.
+Postgresql 설치 버전은 9.6.8 이상를 권장하며, 다음과 같이 설치한 후 재시작합니다.
+
+```sh
+$ sudo apt-get update
+
+$ sudo apt-get install -y software-properties-common
+
+$ sudo add-apt-repository "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main"
+
+$ wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
+
+$ sudo apt-get update
+
+$ sudo apt-get install -y postgresql-9.6
+
+$ sudo service postgresql restart
+```
+
+또한 Postgresql DB 접근 및 이용을 편리하게 하기 위해 Pgadmin을 설치하여 사용합니다. pgadmin3는 1.22.2 이상을 설치합니다. (Postgresql 9.6.8 이상을 설치해야 잘 동작합니다.) 툴박스 내에서 제공하는 DB restore 파일 등도 위 두 버전을 통해 백업 되었습니다.
+
+```sh
+$ sudo apt-get update
+
+$ sudo apt-get install -y pgadmin3
+```
+
+## 외부에서 DB 접근 가능하도록 수정하기
+
+설치된 Postgresql은 기본적으로는 localhost에서만 사용 가능합니다. 외부에서도 접근 가능하도록 하기 위해서는 다음 두 파일을 수정해야 합니다.
+
+```sh
+** postgresql remote access
+
+$ sudo vi /etc/postgresql/9.6/main/pg_hba.conf/pg_hba.conf
+
+host all all 0.0.0.0/0 md5
+
+$ sudo vi /etc/postgresql/9.6/main/postgresql.conf
+
+listen_addresses = '*'
+
+$ sudo service postgresql restart
+```
+
+## KSB 인공지능 프레임워크 DB 정의
+
+Postgresql 설치가 완료되면, DB에 접속하여 DB 사용자 계정과 권한을 생성하고, SDK 압축파일에 포함된 백업파일(csledb_v1.0.backup)을 이용하여 KSB 인공지능 프레임워크 DB 정보를 restore 합니다.
+
+```sh
+# create user csle
+$ sudo -u postgres bash -c "psql -c \"CREATE USER csle password '사용자암호' superuser;\""
+
+# alter csle as a superuser
+$ sudo -u postgres bash -c "psql -c \"ALTER USER csle WITH CREATEROLE REPLICATION CREATEDB SUPERUSER;\""
+
+# create database csledb
+$ sudo -u postgres bash -c "psql -c \"CREATE DATABASE csledb WITH OWNER = csle ENCODING = 'UTF-8' CONNECTION LIMIT = -1;\""
+
+$ PGPASSWORD=사용자암호 pg_restore -h localhost -U csle -C -d csledb /home/csle/ksb-csle/tools/webToolkit_db/csledb_v1.0.backup
+```
+
+postgresql 에 접속하여 정상적으로 복구 되었는지 확인 합니다.
+
+```sh
+$ sudo -su postgres
+
+$ psql
+
+postgres=# \c csledb;
+
+csledb=# select * from "UIEngineComponent" where "MsgVersion" = '1.0'
+
+ EngineID | EngineName | EngineType | MsgComponentID | MsgVersion
+--------------------------------------+-------------------------------+-----------------------------+--------------------------------------+------------
+ 49dd0271-e7a9-b43e-f1c0-698d42372e2f | BatchEngine | BATCHENGINE | 2b2fa4ec-7cd3-3cc1-1e7c-b11ab3d3ac1b | 1.0
+ 6536ab61-9f9f-1119-6cbf-a3c25e8cb350 | StreamToStreamEngine | STREAMTOSTREAMENGINE | 3819b564-a79e-394d-7bbe-ddc2380f5f68 | 1.0
+ 6f3d98a1-2b69-c711-f8f1-e5336eee2957 | StreamToBatchEngine | STREAMTOBATCHENGINE | 0abe3dab-c535-edcb-141b-a0d9e7746a6d | 1.0
+ c1ea8c60-afd7-1c75-4686-af114173775e | OnDemandStreamEngine | ONDEMANDSTREAMENGINE | 1bfc7496-d2d3-2140-c137-af09b423a2fe | 1.0
+ 1bfe0c14-7257-b56b-683c-7eb2c7f38fa4 | OnDemandServingEngine | ONDEMANDSERVINGENGINE | cfb9b524-7457-b910-0261-587c5bfe74de | 1.0
+ aa301492-6d85-2aae-cbf7-ee640d5a2c1d | ExternalEngine | EXTERNALENGINE | e960e289-54df-1790-6e4a-05a75b326cec | 1.0
+ 69686c51-3a70-29bf-608c-7721ac37d98d | GenericEngine | GENERICENGINE | 1dfb7769-8a34-304e-d9d5-00b2cffbbca7 | 1.0
+ a52ccda4-c59a-01a2-af7d-025cb03fff10 | BatchToBatchStreamEngine | BATCHTOBATCHSTREAMENGINE | cd0758ae-b150-850a-9d73-b29152e820ce | 1.0
+ 5da27056-c880-7917-5e6f-d7db44083e92 | OnDemandStreamServingEngine | ONDEMANDSTREAMSERVINGENGINE | 03ecfbd2-1a3d-2e6c-2448-06f3f2dcfe89 | 1.0
+ 7b4e13dd-bb5d-289e-6022-9c651f2ca1c1 | StreamPipeEngine | STREAMTOSTREAMENGINE | 58b47983-3a49-386a-6403-b6a0ec5c4c67 | 1.0
+ 790be3d3-4f2c-0318-021c-999b8ab59db3 | StreamJoinEngine | INOUTTWIGS2SENGINE | 50f1fd26-49e0-5d70-3ff0-0d14f0c6d19a | 1.0
+ 2043f861-2298-4cd8-7633-97fc06f6f1ab | OnDemandPipeServingEngine | ONDEMANDCOMPOSITEENGINE | 4aff5c80-8b63-527a-7fe9-0e12e8c21735 | 1.0
+ 8f8a4039-46c1-acc5-c425-4e2688b2eb84 | BatchDummyEngine | BATCHDUMMYENGINE | d625a81a-ad0f-0822-3752-c040c1d4ebf6 | 1.0
+ 05761a24-af7e-eda6-428d-fba552ef1cf7 | OnDemandExternalServingEngine | EXTERNALENGINE | fe67950b-aadb-0094-186d-797ad573c84c | 1.0
+(14개 행)
+
+
+```
+
+## KSB 웹툴킷 DB 정의
+
+SDK 압축파일에 포함된 백업파일(uidb_v1.0.backup)을 이용하여 KSB 웹툴 DB 정보를 restore 합니다.
+
+```sh
+$ sudo -u postgres bash -c "psql -c \"CREATE DATABASE uidb WITH OWNER = csle ENCODING = 'UTF-8' CONNECTION LIMIT = -1;\""
+
+$ PGPASSWORD=사용자암호 pg_restore -h localhost -U csle -C -d uidb /home/csle/ksb-csle/webToolkit_db/uidb_v1.0.backup
+```
+
+postgresql 에 접속하여 정상적으로 복구 되었는지 확인 합니다.
+
+```sh
+$ sudo -su postgres
+
+$ psql
+
+postgres=# \c uidb;
+
+uidb=# SELECT count(*) FROM template where msg_version = '1.0';
+
+ count
+-------
+ 23
+(1개 행)
+
+```
+
+## Apache Tomcat 다운로드
+
+KSB 웹툴킷은 웹컨테이너로 Apache tomcat 7을 이용합니다. https://tomcat.apache.org/download-70.cgi 사이트에서 binary distribution을 다운로드 받아, 적당한 위치에 압축을 해제 합니다.
+
+본 매뉴얼 에서는 '/home/csle/ui_of_csle/apache-tomcat-7.0.88/' 에
+압축을 해제 한 것으로 가정합니다.
+
+## Tomcat 설정 업데이트
+
+### web.xml 파일 업데이트
+/home/csle/ui_of_csle/apache-tomcat-7.0.88/conf/ 디렉토리에 있는 web.xml 파일을 열어 UTF-8 설정 및 Session timeout을 조정합니다.
+
+```xml
+KSB 웹툴킷 설치
+ ++
UI 기반으로 KSB 인공지능 프레임워크를 사용할 수 있는 KSB 웹툴킷 설치 과정을 설명합니다.
+설치 요구사항
+ +-
+
- Docker 기반 KSB 툴박스 환경에서는, KSB 웹툴킷 실행을 위한 기능들이 사전에 설치 되어 있거나 설치 과정에 포함 되어 있으므로, 본 과정이 필요하지 않습니다. +
- Ubuntu 16.04가 설치된 메모리 16GB 이상 데스트탑이나 노트북이 요구됩니다. +
- KSB 웹툴킷은 KSB 인공지능 프레임워크를 기반으로 구동됩니다. 따라서 소스를 빌드하고 startKsbApiServing.sh 를 실행하여 KSB 인공지능 프레임워크를 구동하고 있어야 합니다. +
- KSB 웹툴킷은 저장소로 HDFS를 사용합니다. 따라서, 저장소로 사용할 PC에 Hadoop 및 관련 소프트웨어가 설치 되어 있어야 합니다. Hadoop을 설치한 후에는 ksb-csle/conf/ksb.conf 파일에서 hadoop.master 정보를 설치한 호스트명으로 설정해 주어야 합니다. 또한 hadoop.hdfs.activated 도 true로 설정해야 정상적으로 HDFS 를 저장소로 이용할 수 있습니다.(기본적으로 true로 설정 되어 있습니다.) +
- DB에서 한글을 정상적으로 사용하기 위해, 호스트 운영체제의 언어를 한글로 설정 합니다. 변경 하는 방법은 다음 링크를 참고 합니다.
+Ubuntu 언어 변경
+ - Postgresql 9.6.8 이상이 설치되어야 합니다. +
- Pgadmin3 1.22.2 이상이 설치되어야 합니다. +
KSB 인공지능 프레임워크 DB 설치하기
+ +KSB 인공지능 프레임워크는 프레임워크 사용자 정보, 생성 및 구동된 워크플로우 정보, KSB 웹툴킷에서 이용하는 UI Component 관련 정보를 관리하기 위해 Postgresql DB를 사용 합니다.
+Postgresql 설치 버전은 9.6.8 이상를 권장하며, 다음과 같이 설치한 후 재시작합니다.
$ sudo apt-get update + +$ sudo apt-get install -y software-properties-common + +$ sudo add-apt-repository "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" + +$ wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add - + +$ sudo apt-get update + +$ sudo apt-get install -y postgresql-9.6 + +$ sudo service postgresql restart +
또한 Postgresql DB 접근 및 이용을 편리하게 하기 위해 Pgadmin을 설치하여 사용합니다. pgadmin3는 1.22.2 이상을 설치합니다. (ostgresql 9.6.8 이상을 설치해야 잘 동작합니다.)
+$ sudo apt-get update + +$ sudo apt-get install -y pgadmin3 +
KSB 인공지능 프레임워크 DB 정의
+ +Postgresql 설치가 완료되면, DB에 접속하여 DB 사용자 계정과 권한을 생성하고, SDK 압축파일에 포함된 백업파일(csledb_v1.0.backup)을 이용하여 KSB 인공지능 프레임워크 DB 정보를 restore 합니다.
+$ sudo -u postgres bash -c "psql -c \"CREATE USER csle password '사용자암호' superuser;\"" + +$ sudo -u postgres bash -c "psql -c \"CREATE DATABASE csledb WITH OWNER = csle ENCODING = 'UTF-8' CONNECTION LIMIT = -1;\"" + +$ PGPASSWORD=사용자암호 pg_restore -h localhost -U csle -C -d csledb /home/csle/ksb-csle/tools/webToolkit_db/csledb_v1.0.backup +
postgresql 에 접속하여 정상적으로 복구 되었는지 확인 합니다.
+$ sudo -su postgres + +$ psql + +postgres=# \c csledb; + +csledb=# select * from "UIEngineComponent" where "MsgVersion" = '1.0' + + EngineID | EngineName | EngineType | MsgComponentID | MsgVersion +--------------------------------------+-------------------------------+-----------------------------+--------------------------------------+------------ + 49dd0271-e7a9-b43e-f1c0-698d42372e2f | BatchEngine | BATCHENGINE | 2b2fa4ec-7cd3-3cc1-1e7c-b11ab3d3ac1b | 1.0 + 6536ab61-9f9f-1119-6cbf-a3c25e8cb350 | StreamToStreamEngine | STREAMTOSTREAMENGINE | 3819b564-a79e-394d-7bbe-ddc2380f5f68 | 1.0 + 6f3d98a1-2b69-c711-f8f1-e5336eee2957 | StreamToBatchEngine | STREAMTOBATCHENGINE | 0abe3dab-c535-edcb-141b-a0d9e7746a6d | 1.0 + c1ea8c60-afd7-1c75-4686-af114173775e | OnDemandStreamEngine | ONDEMANDSTREAMENGINE | 1bfc7496-d2d3-2140-c137-af09b423a2fe | 1.0 + 1bfe0c14-7257-b56b-683c-7eb2c7f38fa4 | OnDemandServingEngine | ONDEMANDSERVINGENGINE | cfb9b524-7457-b910-0261-587c5bfe74de | 1.0 + aa301492-6d85-2aae-cbf7-ee640d5a2c1d | ExternalEngine | EXTERNALENGINE | e960e289-54df-1790-6e4a-05a75b326cec | 1.0 + 69686c51-3a70-29bf-608c-7721ac37d98d | GenericEngine | GENERICENGINE | 1dfb7769-8a34-304e-d9d5-00b2cffbbca7 | 1.0 + a52ccda4-c59a-01a2-af7d-025cb03fff10 | BatchToBatchStreamEngine | BATCHTOBATCHSTREAMENGINE | cd0758ae-b150-850a-9d73-b29152e820ce | 1.0 + 5da27056-c880-7917-5e6f-d7db44083e92 | OnDemandStreamServingEngine | ONDEMANDSTREAMSERVINGENGINE | 03ecfbd2-1a3d-2e6c-2448-06f3f2dcfe89 | 1.0 + 7b4e13dd-bb5d-289e-6022-9c651f2ca1c1 | StreamPipeEngine | STREAMTOSTREAMENGINE | 58b47983-3a49-386a-6403-b6a0ec5c4c67 | 1.0 + 790be3d3-4f2c-0318-021c-999b8ab59db3 | StreamJoinEngine | INOUTTWIGS2SENGINE | 50f1fd26-49e0-5d70-3ff0-0d14f0c6d19a | 1.0 + 2043f861-2298-4cd8-7633-97fc06f6f1ab | OnDemandPipeServingEngine | ONDEMANDCOMPOSITEENGINE | 4aff5c80-8b63-527a-7fe9-0e12e8c21735 | 1.0 + 8f8a4039-46c1-acc5-c425-4e2688b2eb84 | BatchDummyEngine | BATCHDUMMYENGINE | d625a81a-ad0f-0822-3752-c040c1d4ebf6 | 1.0 + 05761a24-af7e-eda6-428d-fba552ef1cf7 | OnDemandExternalServingEngine | EXTERNALENGINE | fe67950b-aadb-0094-186d-797ad573c84c | 1.0 +(14개 행) + + +
KSB 웹툴킷 DB 정의
+ +SDK 압축파일에 포함된 백업파일(uidb_v1.0.backup)을 이용하여 KSB 웹툴 DB 정보를 restore 합니다.
+$ sudo -u postgres bash -c "psql -c \"CREATE DATABASE uidb WITH OWNER = csle ENCODING = 'UTF-8' CONNECTION LIMIT = -1;\"" + +$ PGPASSWORD=사용자암호 pg_restore -h localhost -U csle -C -d uidb /home/csle/ksb-csle/webToolkit_db/uidb_v1.0.backup +
postgresql 에 접속하여 정상적으로 복구 되었는지 확인 합니다.
+$ sudo -su postgres + +$ psql + +postgres=# \c uidb; + +uidb=# SELECT count(*) FROM template where msg_version = '1.0'; + + count +------- + 23 +(1개 행) + +
KSB 웹툴킷 회원 가입 기능 활성화를 위한 설정
+ +KSB 웹툴킷은 이메일을 통해 사용자 가입을 처리하도록 되어 있습니다. 이를 위해 관리자의 메일 계정을 설정 하도록 되어 있으며, Gmail 계정을 통해 설정할 수 있습니다. 관리자는 uidb 의 system_configuration 테이블에 자신의 Gmail 계정을 설정할 수 있으며, 사용자가 회원 가입을 신청하면 관련 메일이 관리자의 Gmail 계정을 통해 발송 됩니다.
+설정 방법은, KSB 웹툴킷에 관리자 계정(ksbuser@etri.re.kr)으로 로그인 하여 Management 메뉴의 System Configuration 탭에서 'javax.mail.session.prop.id' property에서 수정아이콘을 클릭하여 Gmail 계정(aaa@gmail.com 이면 aaa)을 'javax.mail.session.prop.password' 에 Gmail 암호를 입력하고 저장 아이콘을 클릭하여 수정한 사항을 저장 합니다.
이메일의 발송 시, 사용자에게 메일로 안내되는 링크의 ip는 KSB 웹툴킷이 구동중인 서버의 설정을 따릅니다. 만약 localhost로 구동 하였다면, KSB 웹툴킷이 구동중인 서버에서만 가입 절차를 진행할 수 있으므로, 외부에서 접속 가능한 ip로 실행 하시기 바랍니다.
+Apache Tomcat 다운로드
+ +KSB 웹툴킷은 웹컨테이너로 Apache tomcat 7을 이용합니다. https://tomcat.apache.org/download-70.cgi 사이트에서 binary distribution을 다운로드 받아, 적당한 위치에 압축을 해제 합니다.
+본 매뉴얼 에서는 '/home/csle/ui_of_csle/apache-tomcat-7.0.88/' 에
+압축을 해제 한 것으로 가정합니다.
Tomcat 설정 업데이트
+ +web.xml 파일 업데이트
+ +/home/csle/ui_of_csle/apache-tomcat-7.0.88/conf/ 디렉토리에 있는 web.xml 파일을 열어 UTF-8 설정 및 Session timeout을 조정합니다.
+<filter> + <filter-name>setCharacterEncodingFilter</filter-name> + <filter-class>org.apache.catalina.filters.SetCharacterEncodingFilter</filter-class> + <init-param> + <param-name>encoding</param-name> + <param-value>UTF-8</param-value> + </init-param> + <async-supported>true</async-supported> +</filter> + +..... + +<filter-mapping> + <filter-name>setCharacterEncodingFilter</filter-name> + <url-pattern>/*</url-pattern> +</filter-mapping> + +..... + +<session-config> + <session-timeout>360</session-timeout> <!-- minutes --> +</session-config> +
server.xml 파일 업데이트
+ +다음으로, server.xml 파일을 열어 UTF-8 설정을 조정 합니다.
+<Connector port="8080" protocol="HTTP/1.1" + connectionTimeout="2000000" + redirectPort="8443" disableUploadTimeout="true" URIEncoding="UTF-8"/> + +..... + +<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8"/> +
웹파일 설치 및 KSB 인공지능 프레임워크 DB 접속정보 설정
+ +압축된 SDK에서 /home/csle/ksb-csle/tools/webToolkit_db/csle-web_20181025.war 파일을 /home/csle/ui_of_csle/apache-tomcat-7.0.88/webapps 디렉토리로 복사 합니다.
+그리고, csle-web_20181025.war 파일의 이름을 ROOT.war로 변경 합니다.
+Tomcat 서버 구동
+ +/home/csle/ui_of_csle/apache-tomcat-7.0.88/bin 디렉토리에 있는
+catalina.sh 파일을 통해 Tomcat을 구동하면 웹파일이 압축해제 되어
+/home/csle/ui_of_csle/apache-tomcat-7.0.88/webapps/ROOT 폴더가 생성되고, 서버가 구동 됩니다.
$ cd /home/csle/ui_of_csle/apache-tomcat-7.0.88/bin +$ ./catalina.sh start -Dfile.encoding=UTF-8 + +(2018-06-30 12:22:37) <localhost-startStop-1> [DEBUG] SQL: SELECT * FROM system_configuration WHERE name = ?, name: [csle.gw.host] (SystemConfigurationDao.java:130) +(2018-06-30 12:22:37) <localhost-startStop-1> [DEBUG] SQL: SELECT * FROM system_configuration WHERE name = ?, name: [csle.gw.port] (SystemConfigurationDao.java:130) +6월 30, 2018 12:22:38 오후 org.apache.catalina.startup.HostConfig deployWAR +정보: Deployment of web application archive /home/kbe/ui_of_csle/apache-tomcat-7.0.81/webapps/ROOT.war has finished in 5,246 ms +6월 30, 2018 12:22:38 오후 org.apache.coyote.AbstractProtocol start +정보: Starting ProtocolHandler ["http-bio-8080"] +6월 30, 2018 12:22:38 오후 org.apache.coyote.AbstractProtocol start +정보: Starting ProtocolHandler ["ajp-bio-8009"] +6월 30, 2018 12:22:38 오후 org.apache.catalina.startup.Catalina start +정보: Server startup in 5339 ms +
Tomcat 로그 보기
+ +Tomcat 이 잘 구동되고 있는지 확인하기 위해 Tomcat 로그 파일을 엽니다.
+$ tail -f ../logs/catalina.out +
KSB 인공지능 프레임워크 구동
+ +KSB 인공지능 프레임워크 툴박스를 설치하거나 소스를 빌드한 후,
+ksb-csle/bin 디렉토리에 있는 startKsbApiServing.sh 파일을 실행 합니다.
+파일 실행 전에 ls와 같이 간단한 명령을 sudo를 통해 한 번 실행 합니다.
$ sudo ls +$ ./startKsbApiServing.sh +
구동이 성공적으로 이루어지면, 다음과 같은 로그가 생성되며,
+[akka://KsbApi-serving/user/IO-HTTP/listener-0] Bound to /0.0.0.0:19999
+위 메시지를 통해 현재 호스트 PC의 19999 포트를 통해 구동 되는 것을 확인할 수 있습니다.
2018-10-22 16:51:12.113 [INFO] [ConfigUtils$] KSB config file path :/home/csle/ksb-csle/conf/ksb.conf (ConfigUtils.scala:29) +2018-10-22 16:51:13.355 [INFO] [KsbApiServing$] [Local mode] Update status of incompletely terminated [0] job(s) in previous operation (KsbApiServing.scala:60) +2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820) +2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820) +2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820) +2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820) +2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820) +2018-10-22 16:51:13,905 INFO StdSchedulerFactory: Using default implementation for ThreadExecutor +2018-10-22 16:51:13,910 INFO SimpleThreadPool: Job execution threads will use class loader of thread: main +2018-10-22 16:51:13,923 INFO SchedulerSignalerImpl: Initialized Scheduler Signaller of type: class org.quartz.core.SchedulerSignalerImpl +2018-10-22 16:51:13,923 INFO QuartzScheduler: Quartz Scheduler v.2.3.0 created. +2018-10-22 16:51:13,924 INFO RAMJobStore: RAMJobStore initialized. +2018-10-22 16:51:13,925 INFO QuartzScheduler: Scheduler meta-data: Quartz Scheduler (v2.3.0) 'DefaultQuartzScheduler' with instanceId 'NON_CLUSTERED' + Scheduler class: 'org.quartz.core.QuartzScheduler' - running locally. + NOT STARTED. + Currently in standby mode. + Number of jobs executed: 0 + Using thread pool 'org.quartz.simpl.SimpleThreadPool' - with 10 threads. + Using job-store 'org.quartz.simpl.RAMJobStore' - which does not support persistence. and is not clustered. + +2018-10-22 16:51:13,925 INFO StdSchedulerFactory: Quartz scheduler 'DefaultQuartzScheduler' initialized from default resource file in Quartz package: 'quartz.properties' +2018-10-22 16:51:13,925 INFO StdSchedulerFactory: Quartz scheduler version: 2.3.0 +2018-10-22 16:51:13,925 INFO QuartzScheduler: Scheduler DefaultQuartzScheduler_$_NON_CLUSTERED started. +[INFO] [10/22/2018 16:51:13.979] [KsbApi-serving-akka.actor.default-dispatcher-2] [akka://KsbApi-serving/user/IO-HTTP/listener-0] Bound to /0.0.0.0:19999 +[INFO] [10/22/2018 16:51:13.981] [KsbApi-serving-akka.actor.default-dispatcher-3] [akka://KsbApi-serving/deadLetters] Message [akka.io.Tcp$Bound] from Actor[akka://KsbApi-serving/user/IO-HTTP/listener-0#1547261392] to Actor[akka://KsbApi-serving/deadLetters] was not delivered. [1] dead letters encountered. This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'. +2018-10-23 08:22:18,351 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable +
KSB 웹툴킷 설정 업데이트
+ +KSB 웹툴킷과 KSB 인공지능 프레임워크는 다음 사용자 정보가 저장되어 있습니다.
+User ID: ksbuser@etri.re.kr / User Password: ksbuser@etri.re.kr
+Chrome 브라우저(또는 HTML5 표준 호환 브라우저)를 열고 위 사용자 정보를 입력하여 로그인합니다.
+http://localhost:8080 +
정상적으로 로그인에 성공하면, Management 메뉴를 클릭해서 KSB 인공지능 프레임워크가 구동되고 있는 환경 정보를 csle.gw.host 와 csle.gw.port 정보에 반영 합니다.
+본 매뉴얼에서는 localhost 와 19999 포트가 되겠습니다.
설정이 완료되면, Tomcat 서버를 재구동 하고, KSB 웹툴킷을 이용 합니다.
++$ ./catalina.sh stop + +$ ./catalina.sh start + ++
addDeviceControl
+ + + +csle@csle1:~$ +``` + +jps명령을 이용하여 초기화 상태를 확인합니다. + +```sh +csle@csle1:~$ jps +2336 HRegionServer +2161 HMaster +3681 Jps +1890 NodeManager +1219 DataNode +885 QuorumPeerMain +1413 SecondaryNameNode +1078 NameNode +3542 ProdServerStart +2475 Kafka +3228 Bootstrap +1597 ResourceManager +``` + +## [Docker 컨테이너] KSB Base Ontology 로드하기 +KSB 툴박스에 포함된 RealtimeIngestToServingWithKbInTwoEngines 예제를 실행하기 위해 온톨로지를 로드합니다. + +```sh +cd ~/ksb-csle/bin/ +./loadKnowledge_BaseOntologies.sh localhost 9876 +``` + +## [Docker 컨테이너] KSB 인공지능 프레임워크 구동하기 +KSB 툴박스의 다양한 예제를 실행하기 위해 아래 명령으로 KSB 인공지능 프레임워크 API serving을 실행합니다. + +```sh +csle@csle1:~/ksb-csle/bin$ ./startKsbApiServing.sh +``` + +KSB 인공지능 프레임워크 사용을 위한 모든 준비가 완료되었습니다. + +이제 사용자 가이드로 이동하셔서 워크플로우 예제들을 실행해 보시기 바랍니다. + +## FAQ + +#### 1. 호스트 PC에서 sudo 명령을 할때 sudo: could not resolve host 에러가 날때 +. [Host PC] 호스트 PC의 hostname이 csle1으로 설정되었는지 확인합니다. +. sudo vi /etc/hosts 명령을 통해 아래의 줄이 추가되었는지 확인합니다. + <자신의 IP> csle1 master + +#### 2. 웹툴킷 홈페이지(csle1:8080)에 접속이 안될때 +. [Docker 컨테이너] tomcat이 제대로 구동되지 않았을 경우가 있습니다. 따라서 docker내에서 아래의 명령으로 tomcat을 재구동한 후 재접속합니다. + +```sh +csle@csle1:/$ ~/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh stop +csle@csle1:/$ ~/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start +``` + +#### 3. 크롬을 이용해서 웹툴킷에 잘 접속 되었으나, 아래와 같이 웹페이지가 업데이트 되지 않고 멈춰있을때 + + + +Host PC에 기존의 웹툴킷 버전이 캐쉬에 남아있어서 문제가 되는 경우입니다. +먼저, 크롬 브라우저에서 F12를 클릭합니다. 그리고, 아래 그림과 같이 '새로고침' 아이콘에서 마우스 오른쪽 버튼을 클릭하면 '캐시 비우기 및 강력 새로고침'을 클릭합니다. 그리고 F12를 클릭해서 디버깅 모드를 빠져나옵니다. + + diff --git a/manual1903/1.5.HowToRunFirst.pdf b/manual1903/1.5.HowToRunFirst.pdf new file mode 100644 index 0000000000000000000000000000000000000000..62ef712e57f417b78802517fb42e740775cbd699 Binary files /dev/null and b/manual1903/1.5.HowToRunFirst.pdf differ diff --git a/manual1903/1.6.KSB_K8s_install_Guide-old.md b/manual1903/1.6.KSB_K8s_install_Guide-old.md new file mode 100644 index 0000000000000000000000000000000000000000..777bfda181215b221d4c5ad53e4c8f0677fa5f22 --- /dev/null +++ b/manual1903/1.6.KSB_K8s_install_Guide-old.md @@ -0,0 +1,570 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# Kubernetes 클러스터 설치하기 +--- +3대 서버에 마스터 1개, 노드1, 노도2의 쿠버네티스 클러스터를 구성하기 위한 설치 방법을 설명합니다. +각 서버의 호스트 이름 및 IP 는 아래와 같이 가정합니다. +csle1 : 192.168.0.5 (master) +csle2 : 192.168.0.6 (node1) +csle3 : 192.168.0.7 (node2) + +## 모든 서버에 공통으로 설치하기 + +### [모든 서버 공통] java 8 설치하기 +KSB 툴박스 설치의 java-8-oracle 설치 부분을 참고합니다. + +### [모든 서버 공통] 기타 우분투 프로그램 설치하기 +```sh +sudo apt-get update && \ +sudo apt-get install -y --no-install-recommends apt-utils curl bc jq && \ +sudo apt-get install -y ssh locales wget git vim rsync locales filezilla python3-pip && \ +sudo apt-get install -y net-tools && \ +pip3 install kafka-python +``` + +### [모든 서버 공통] SSHD port 변경 및 root 로그인 가능하게 SSHD config 수정하기 +아래의 명령을 수행하여 포트 정보를 2243로 수정하고, root 로그인을 허용합니다. + +```sh +sudo sed -ri 's/^Port 22/Port 2243/g' /etc/ssh/sshd_config +sudo sed -ri 's/^PermitRootLogin prohibit-password/PermitRootLogin yes/g' /etc/ssh/sshd_config +``` + +### [모든 서버 공통] SSH config 수정하기 +SSH 접속시 known_hosts에 호스트 정보 저장 질문을 하지 않도록 설정합니다. +아래의 명령을 수행하여 ssh_config의 기존 내용을 모두 삭제하고 설정을 추가합니다. + +```sh +sudo truncate -s0 /etc/ssh/ssh_config +echo "Host localhost" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host 0.0.0.0" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host 127.0.0.1" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host csle*" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "UserKnownHostsFile=/dev/null" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "Host master" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "StrictHostKeyChecking no" | sudo tee -a /etc/ssh/ssh_config >/dev/null +echo "UserKnownHostsFile=/dev/null" | sudo tee -a /etc/ssh/ssh_config >/dev/null +``` + +### [모든 서버 공통] SSH 서비스 재시작하기 +```sh +sudo service ssh restart +``` + +### [모든 서버 공통] docker 설치하기 +```sh +curl -fsSL https://apt.dockerproject.org/gpg | sudo apt-key add - +apt-key fingerprint 58118E89F3A912897C070ADBF76221572C52609D +add-apt-repository "deb https://apt.dockerproject.org/repo/ ubuntu-xenial main" +apt-get update +apt-get -y install docker-engine +systemctl enable docker +``` +#### [참고사항] 기존 docker-engine 삭제 +sudo apt-get purge -y docker docker-engine docker.io + +### [모든 서버 공통] docker sudo 명령없이 사용하기 위한 설정하기 + +Docker 명령시 root 권한이 필요합니다. root가 아닌 사용자가 sudo 없이 사용하려면 해당 사용자를 docker 그룹에 추가합니다. + +```sh +sudo usermod -aG docker csle +# 사용자가 로그인 중이라면 다시 로그인 후 권한이 적용됩니다. 단, 현재 터미널에서만 적용됩니다. +sudo su csle +PC 재부팅 +``` + +PC 재부팅을 통해서 sudo 명령없이 docker 명령을 사용할 수 있습니다. + +### [모든 서버 공통] Kubernetes 설치하기 +```sh +curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - && \ +echo "deb http://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list && \ +sudo apt-get update -q && \ +sudo apt-get install -qy kubelet=1.9.6-00 kubectl=1.9.6-00 kubeadm=1.9.6-00 +kubectl version +``` +#### [모든 서버 공통] (참고사항) 기존 Kubernetes 버전 삭제 방법 +```sh +sudo su - +kubeadm reset +rm /usr/local/bin/kubectl +rm -r /etc/kubernetes +rm -r /var/lib/etcd +rm -rf /var/lib/cni/ +ifconfig cni0 down && ip link delete cni0 +ifconfig flannel.1 down && ip link delete flannel.1 +apt-get autoremove --purge -y kubelet kubeadm kubectl kubernetes-cni +``` + +### [모든 서버 공통] /etc/fstab 수정 후 재부팅하기 +쿠버네티스가 Swap 기능을 관리해야 하므로, 아래의 swap이 적용된 file 시스템 부분을 주석 처리한다. + +```sh +sudo vi /etc/fstab + +UUID=c3ec283e-682f-4e8c-b822-43eef87a725f / ext4 errors=remount-ro 0 1 +# /boot/efi was on /dev/nvme0n1p1 during installation +UUID=7D67-73C7 /boot/efi vfat umask=0077 0 1 +# swap was on /dev/nvme0n1p3 during installation + +# (주의!!!) swap 설정 해제 +#UUID=257a989b-d1fa-4a7c-8ae7-9ccad9b9c0c6 none swap sw 0 0 +``` + +### [모든 서버 공통] Kubernetes master /etc/hosts 변경하기 + +```sh +sudo vi /etc/hosts + +127.0.0.1 localhost +# 아래 주석처리. Hdfs 연동시 문제가 생김. +#127.0.1.1 csle1 + +# The following lines are desirable for IPv6 capable hosts +::1 ip6-localhost ip6-loopback +fe00::0 ip6-localnet +ff00::0 ip6-mcastprefix +ff02::1 ip6-allnodes +ff02::2 ip6-allrouters + +# 쿠버네티스 master, node1, node2 정보 등록 +192.168.0.5 csle1 master +192.168.0.6 csle2 +192.168.0.7 csle3 +``` + +### [모든 서버 공통] sysctl kernel parameter값 수정하기 +커널 차원에서 보안 및 최적화 관련 설정을 변경합니다． + +먼저 root계정으로 변경합니다. + +```sh +csle@csle1:~# sudo su - +root@csle1:~# +``` + +아래와 같이 설정 후 반영합니다. + +```sh +root@csle1:~# vi /etc/sysctl.conf +# 아래의 내용을 마지막에 추가합니다. +net.bridge.bridge-nf-call-iptables=1 +net.bridge.bridge-nf-call-ip6tables=1 +net.ipv4.ip_forward=1 +net.netfilter.nf_conntrack_max = 786432 + +root@csle1:~# sysctl -p +``` + +### [모든 서버 공통] kubectl 명령 옵션의 자동 완성 기능 설정하기 +```sh +root@csle1:~# source /etc/profile.d/bash_completion.sh +root@csle1:~# source <(kubectl completion bash) +root@csle1:~# echo "source /etc/profile.d/bash_completion.sh" | tee -a ~/.bashrc +root@csle1:~# echo "source <(kubectl completion bash)" | tee -a ~/.bashrc +``` + +### [모든 서버 공통] Security Enhanced Linux 모드 disable 하기 +갑작스러운 리부팅 이후에 apiserver, etcd 등이 정상 기동되지 않는 경우가 자주 발생을 막기 위해 permissive로 설정합니다. + +```sh +root@csle1:~# apt install -y selinux-utils +root@csle1:~# setenforce 0 +``` + +### [모든 서버 공통] 10-kubeadm.conf 수정하기 +ExecStart= 위의 라인에 Environment 설정값을 추가합니다. + +```sh +root@csle1:~$ vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf + +[Service] +Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" +Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true" +Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin" +Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local" +Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt" +Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0" +Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki" + +# 아래의 내용을 추가합니다. +Environment="KUBELET_EXTRA_ARGS=--fail-swap-on=false --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice" + +ExecStart= +ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS +``` + +아래의 명령을 통해 kubelet을 재시작 합니다. + +```sh +root@csle1:~$ swapoff -a +root@csle1:~$ sudo systemctl daemon-reload +root@csle1:~$ sudo systemctl restart kubelet +root@csle1:~$ sudo systemctl status kubelet + +● kubelet.service - kubelet: The Kubernetes Node Agent + Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled) + Drop-In: /etc/systemd/system/kubelet.service.d + └─10-kubeadm.conf + Active: activating (auto-restart) (Result: exit-code) since 수 2018-07-25 09:55:44 KST; 3s ago + Docs: http://kubernetes.io/docs/ + Process: 10517 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR + Main PID: 10517 (code=exited, status=1/FAILURE) + 7월 25 09:55:44 csle4 systemd[1]: kubelet.service: Unit entered failed state. + 7월 25 09:55:44 csle4 systemd[1]: kubelet.service: Failed with result 'exit-code'. +``` +systemctl status kubelet 실행시 status=1/FAILURE로 나타나지만 무시해도 됩니다. +kubeadm이 정상 실행 되면 정상화됩니다. + +모든 노드에 대해 동일하게 설정하는 부분을 완료하였습니다. + +master와 node들 각각에 대한 설정 방법을 설명합니다. + +## Kubernetes master (csle1) 설정하기 + +### [Master: csle1] kubeadm 초기화하기 + +자신의 ip에 맞도록 수정하고 kubeadm으로 초기화합니다. (예: master ip : 192.168.0.5) + +```sh +root@csle1:~$ kubeadm init --apiserver-advertise-address=192.168.0.5 --pod-network-cidr=10.244.0.0/16 --service-cidr 10.96.0.0/12 --token-ttl 0 +``` + +아래와 같은 로그가 나오면서 초기화 되면 정상입니다. + +``` +[init] Using Kubernetes version: v1.9.9 +[init] Using Authorization modes: [Node RBAC] +[preflight] Running pre-flight checks. + [WARNING FileExisting-crictl]: crictl not found in system path +[certificates] Generated ca certificate and key. +[certificates] Generated apiserver certificate and key. +[certificates] apiserver serving cert is signed for DNS names [csle1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 129.254.xxx.xxx] +[certificates] Generated apiserver-kubelet-client certificate and key. +[certificates] Generated sa key and public key. +[certificates] Generated front-proxy-ca certificate and key. +[certificates] Generated front-proxy-client certificate and key. +[certificates] Valid certificates and keys now exist in "/etc/kubernetes/pki" +[kubeconfig] Wrote KubeConfig file to disk: "admin.conf" +[kubeconfig] Wrote KubeConfig file to disk: "kubelet.conf" +[kubeconfig] Wrote KubeConfig file to disk: "controller-manager.conf" +[kubeconfig] Wrote KubeConfig file to disk: "scheduler.conf" +[controlplane] Wrote Static Pod manifest for component kube-apiserver to "/etc/kubernetes/manifests/kube-apiserver.yaml" +[controlplane] Wrote Static Pod manifest for component kube-controller-manager to "/etc/kubernetes/manifests/kube-controller-manager.yaml" +[controlplane] Wrote Static Pod manifest for component kube-scheduler to "/etc/kubernetes/manifests/kube-scheduler.yaml" +[etcd] Wrote Static Pod manifest for a local etcd instance to "/etc/kubernetes/manifests/etcd.yaml" +[init] Waiting for the kubelet to boot up the control plane as Static Pods from directory "/etc/kubernetes/manifests". +[init] This might take a minute or longer if the control plane images have to be pulled. +[apiclient] All control plane components are healthy after 46.007752 seconds +[uploadconfig] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace +[markmaster] Will mark node csle1 as master by adding a label and a taint +[markmaster] Master csle1 tainted and labelled with key/value: node-role.kubernetes.io/master="" +[bootstraptoken] Using token: a96953.b5d1418a5099b5de +[bootstraptoken] Configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials +[bootstraptoken] Configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token +[bootstraptoken] Configured RBAC rules to allow certificate rotation for all node client certificates in the cluster +[bootstraptoken] Creating the "cluster-info" ConfigMap in the "kube-public" namespace +[addons] Applied essential addon: kube-dns +[addons] Applied essential addon: kube-proxy + +Your Kubernetes master has initialized successfully! + +To start using your cluster, you need to run the following as a regular user: + + mkdir -p $HOME/.kube + sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config + sudo chown $(id -u):$(id -g) $HOME/.kube/config + +You should now deploy a pod network to the cluster. +Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: + https://kubernetes.io/docs/concepts/cluster-administration/addons/ + +You can now join any number of machines by running the following on each node +as root: + + kubeadm join --token a96953.b5d1418a5099b5de 129.254.xxx.xxx:6443 --discovery-token-ca-cert-hash sha256:648c1dd27c51edc0e90ff356f47599e1a8bee800f77ada9f23fdacd8d69e62a0 + +``` + +다른 노드에서 master에 접속하기 위해서 아래의 부분을 저장해 둡니다. +```sh + kubeadm join --token a96953.b5d1418a5099b5de 192.168.0.5:6443 --discovery-token-ca-cert-hash sha256:648c1dd27c51edc0e90ff356f47599e1a8bee800f77ada9f23fdacd8d69e62a0 +``` + +### [Master: csle1] K8s master 노드 kubectl 실행환경 설정하기 + +```sh +root@csle1:~$ sudo su csle +csle@csle1:~$ mkdir -p $HOME/.kube +csle@csle1:~$ yes | sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config +csle@csle1:~$ sudo chown $(id -u):$(id -g) $HOME/.kube/config +csle@csle1:~$ export KUBECONFIG=$HOME/.kube/config +csle@csle1:~$ echo "export KUBECONFIG=$HOME/.kube/config" | tee -a ~/.bashrc +csle@csle1:~$ kubectl get componentstatus +``` + + +## Kubernetes node1, node2 설정하기 (csle2, csle3) + +먼저 root계정으로 변경합니다. + +```sh +csle@csle2:~$ sudo su - +root@csle2:~$ +``` + +### [csle2, csle3] kubernetes master에 join 하기 +kublet을 재부팅합니다. + +```sh +root@csle2:~$ swapoff -a +root@csle2:~$ sudo systemctl daemon-reload +root@csle2:~$ sudo systemctl restart kubelet +root@csle2:~$ sudo systemctl status kubelet +``` + +kubernetes master에서 init시 생성된 script와 추가 옵션을 이용해 master에 join 합니다. + +```sh +kubeadm join --token c8908d.5dc02f87aca87415 192.168.0.5:6443 --discovery-token-ca-cert-hash sha256:756ac632e63878260dc6b3a3497b8ba69d29087ba0428beaea061e4f5241b29d --ignore-preflight-errors=all --discovery-token-unsafe-skip-ca-verification +``` + +## kubernetes master에서 확인하기 (csle1) + +### [Master: csle1] node 및 pod 동작 확인하기 + +node1, node2가 join이 성공했는지 아래의 명령을 이용해서 확인합니다. +```sh +root@csle1:~$ sudo su csle +csle@csle1:~$ kubectl get nodes +NAME STATUS ROLES AGE VERSION +csle1 NotReady master 5m v1.9.6 +csle2 NotReady+ +워크플로우 편집기 소개 를 참고하여 작성한 워크플로우를 실행한 뒤, KSB 웹툴킷 상단의 **Monitoring** 메뉴를 선택하여 "진행내역/상태모니터링" 화면으로 이동합니다. + +## Workflow 탭 +진행내역/상태 모니터링의 *workflow* 탭에서는 KSB 프레임워크에 제출된 워크플로우(워크플로우에 속한 엔진 포함)의 목록 및 상태를 확인할 수 있습니다. 또한 실행 중인 워크플로우를 종료(◼)하거나, 다시 실행(▶)할 수 있습니다. + + + +**➀ 워크플로우 필터링** +워크플로우의 목록을 필터링 하여 볼 수 있습니다. 콤보박스를 클릭하여 필터링 하고자 하는 항목을 선택하고, 값을 입력한 후 돋보기 모양의 버튼을 누르면 필터링 된 워크플로우 목록을 보여줍니다. + +**➁ 워크플로우 개수 조절** +화면에 보여지는 워크플로우의 개수를 조절할 수 있습니다. 콤보박스를 클릭하여 한 화면에서 보고자 하는 워크플로우 개수를 선택합니다. + +**➂ 펼쳐보기/줄여보기** +"펼쳐보기" 를 선택하면 워크플로우에 속한 엔진들의 목록을 일괄적으로 펼쳐서 모두 보여줍니다. "줄여보기" 를 선택하면 워크플로우에 속한 엔진들의 목록을 일괄적으로 접고 워크플로우 목록만 보여줍니다. +각 워크플로우를 개별적으로 "펼쳐보기" 하려면 워크플로우 이름 앞의 (✚) 버튼을 클릭합니다. 각 워크플로우를 개별적으로 "줄여보기" 하려면 워크플로우 이름 앞의 (⁃) 버튼을 클릭합니다. + +**➃ 새로고침 ** +워크플로우 및 엔진의 현재 상태(Status) 를 업데이트 합니다. 상태 정보는 KSB 프레임워크에 요청하여 응답 받은 결과를 보여주는 것입니다. 기본적으로는 모니터링 페이지를 열 때 마다 새로운 정보를 수신하여 표시 합니다. + +**➄ 자동 새로고침 ** +"Auto Reload" 를 체크할 경우 워크플로우 및 엔진의 상태(Status) 를 주기적으로 업데이트 합니다. +참고로, 업데이트 할 주기는 **Management** 메뉴의 **System Configuration** 탭에서 `monitoring.auto.reload.interval` 를 통해 설정합니다. 기본 값은 5000 (5초) 으로 설정되어 있습니다. + +**➅ 개별 펼쳐보기/줄여보기 ** +워크플로우 이름 앞의 (✚) 버튼을 클릭하면 워크플로우에 속한 엔진의 상세 정보를 확인할 수 있습니다 ("펼쳐보기"). 워크플로우 이름 앞의 (⁃) 버튼을 클릭하면 워크플로우에 속한 엔진의 목록을 숨깁니다 ("줄여보기"). + +**➆ 워크플로우 세부 Spec 보기 ** +KSB 웹툴킷에서 워크플로우 Spec 을 작성하여 KSB 프레임워크로 제출한 워크플로우일 경우에 "세부 Speck 보기" 버튼이 활성화 됩니다. (이클립스와 같이 개발자 환경 환경을 통해 워크플로우 Spec 을 작성하여 KSB 프레임워크로 제출하거나, 클라이언트 라이브러리를 이용한 경우 "세부 Speck 보기" 버튼이 보이지 않습니다.) +"세부 Speck 보기" 버튼을 클릭하면 **워크플로우 편집기** 화면을 열어서 작성한 워크플로우의 Spec 을 보여줍니다. 이 경우, 해당 워크플로우는 새로운 워크플로우로 열리며, 수정 및 재제출 시 다른 워크플로우로 인식 됩니다. +참고로, 이 기능은 추후 json 형태의 워크플로우 Spec 을 보여주는 것으로 변경될 예정입니다. + +**➇ 워크플로우/엔진 실행/종료 ** +워크플로우 및 엔진의 Status에 따라 실행 중인 워크플로우 및 엔진을 종료(◼)하거나, 재실행(▶)할 수 있습니다. + +**➈ 워크플로우 삭제** +워크플로우를 목록에서 삭제합니다. + + +## Workflow History 탭 +진행내역/상태 모니터링의 *Workflow Histroy* 탭에서는 최근에 수행한 워크플로우 이력을 엔진 단위로 보여줍니다. (각 엔진은 재실행 될 때 마다 새로운 history id를 부여 받으며, 각 실행이력은 본 Workflow History 탭에서 확인할 수 있습니다.) + + + +**➀ 필터링** +엔진 목록을 필터링 하여 볼 수 있습니다. 콤보박스를 클릭하여 필터링 하고자 하는 항목을 선택하고, 값을 입력한 후 돋보기 모양의 버튼을 누르면 필터링 된 목록을 보여줍니다. + +**➁ 목록 개수 조절** +화면에 보여지는 목록의 개수를 조절할 수 있습니다. 콤보박스를 클릭하여 한 화면에서 보고자 하는 목록의 개수를 선택합니다. + +**➂ 새로고침 ** +엔진의 상태(Status) 를 업데이트 합니다. 상태 정보는 KSB 프레임워크에 요청하여 응답 받은 결과를 보여주는 것입니다. + +**➃ CSV 결과 파일 보기 (차트) ** +FileWriter 를 포함하고 있는 엔진일 경우에 "CSV 결과 파일 보기(차트)" 버튼이 활성화 됩니다. CSV 파일로 결과를 출력한 경우, 결과 파일의 내용을 확인하고 그래프로 시각화 할 수 있습니다. +"CSV 결과 파일 보기(차트)" 버튼을 클릭하면 차트보기 창이 팝업됩니다. 화면 우측에서 파일명을 선택하고 구분자, 헤더 포함 유무 등을 체크한 후 "OK" 버튼을 누릅니다. + + + +화면 좌측에서 "Data" 는 파일의 내용을 표로 보여줍니다. "Statistics" 는 통계 정보를 보여줍니다. "Chart" 는 "Chart Style" 을 선택하여 그래프를 그려줍니다. + +**➂ TEXT 결과 파일 보기 ** +FileWriter 를 포함하고 있는 엔진일 경우에 "TEXT 결과 파일 보기" 버튼이 활성화 됩니다. "TEXT 결과 파일 보기" 버튼을 클릭하면 파일의 내용을 보여주는 창이 팝업됩니다. 화면 우측에서 파일명을 선택하고 최대로 보고자 하는 길이 (Max Length) 를 입력합니다. 디폴트로 1000 바이트가 설정되어 있습니다. + + + +**➂ 로그 보기 ** +"Show log" 버튼(ℹ)을 클릭하면 로그 기록을 보여주는 창이 팝업됩니다. Line 수를 지정하여 보거나 전체 로그 보기가 가능합니다. + + + +### 결과 파일 확인 +워크플로우 실행 결과 생성된 파일은 **Monitoring** 메뉴의 *Workflow Histroy* 탭의 "CSV 결과 파일 보기 (차트)" 버튼과 "TEXT 결과 파일 보기" 버튼을 이용하여 확인할 수 있습니다. + +또한 **Repository** 메뉴의 데이터저장소 관리 화면에서 결과 파일이 있는 위치로 이동하여 파일 이름 옆에 나타나는 "CSV 결과 파일 보기 (차트)" 버튼과 "TEXT 결과 파일 보기" 버튼을 이용하여 확인할 수 있습니다. + + diff --git a/manual1903/2.4.1.EngineTypeList.md b/manual1903/2.4.1.EngineTypeList.md new file mode 100644 index 0000000000000000000000000000000000000000..3539242bcadc9d3bd4952f5224548e0f25f229ab --- /dev/null +++ b/manual1903/2.4.1.EngineTypeList.md @@ -0,0 +1,84 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 엔진유형 목록 (v19.03) +--- + +KSB 인공지능 프레임워크가 기본적으로 제공하는 엔진 유형으로서 크게 배치방식, 스트림방식, 실시간 스트림 방식, 온디맨드 방식으로 동작하는 엔진들과 기타 외부연동용 엔진, GenericType의 엔진 유형이 존재합니다. + +## 배치방식 처리엔진 +엔진 타입 | 설명 | 사용 예제 +--|--|-- +**Batch** | 배치성 처리에 사용되는 엔진컨테이너로서 배치저장소로부터 데이터를 읽어 일괄처리 후 배치저장소로 출력하기 위한 용도로 활용가능.
BatchReader, BatchWriter, BatchOperator, BatchRunner, BatchController로 구성.
대표적으로 딥러닝학습용 엔진컨테이너를 구성하고자 하는 경우 이 엔진을 활용 | • 텐서플로우 모델 주기적으로 학습하기 +**Batchcd Dummy** | Deprecated by Batch
삭제예정 | +**BatchToBatchStream** | 배치성 데이터 처리에 사용되는 컨테이너로서 배치저장소로부터 많은 데이터를 읽어 미니배치 형태의 다양한 처리를 수행한 후 배치저장소에 적재하는데 사용.
BatchReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 | • 배치방식으로 데이터 처리하기
• 비식별 처리하기 + +배치처리 방식의 엔진들은 파일, DB 등의 배치저장소로부터 데이터를 한번 읽은 후 데이터를 가공하고, 배치저장소로 출력합니다. 따라서 엔진이 실행되면 데이터 처리가 끝난 후 자동으로 종료됩니다. 배치방식 처리 엔진들은 한번 실행하거나 주기적으로 실행할 수 있습니다 (엔진의 RUNTYPE 속성 지정). + +배치방식 처리 엔진들이 두 개 이상 포함된 워크플로우의 경우, 워크플로우의 속성 값 중 Batch 를 true 로 선택할 경우, 맨 앞의 엔진부터 실행과 종료가 순차적으로 실행이 됩니다. 반대로 Batch 를 false 로 설정할 경우 동시에 엔진이 실행됩니다. 따라서 앞의 엔진의 처리 결과를 이용해 뒤에 엔진이 처리해야하는 순차적인 실행을 하고자하는 워크플로우는 반드시 Batch 를 true 로 설정하시고 실행하여야 합니다. + + +## 스트림방식 처리엔진 +엔진 타입 | 설명 | 사용 예제 +--|--|-- +**StreamToBatch** | 스트림을 입력받아 처리한 후 배치저장소에 출력하기 위한 엔진컨테이너.
StreamReader, BatchWriter, StreamOperator, StreamRunner, StreamController로 구성 | • 스트림 데이터 적재하기
• 교통속도 스트림 데이터 전처리하기 +**StreamToStream** | 스트림 데이터처리에 사용되는 엔진컨테이너.
StreamReader, StreamWriter, StreamOperator, StreamRunner, StreamController로 구성 | • 스트림 방식으로 MNIST 모델 서빙하기
• 스트림방식으로 ML모델 예측결과 얻기 + +스트림방식 처리 엔진들은 카프카, HTTP 등을 이용해 스트림 데이터를 입력받은 후 일정한 주기 (Mini batch 주기)로 깨어나 미니배치 형태로 동작합니다. 스트림 데이터를 들어온 순서대로 일정한 개수만큼 잘라서 가공하고, 배치저장소에 출력하거나 또는 스트림 형태로 출력합니다. 스트림 처리 엔진은 계속해서 스트림 데이터를 받고 있으므로 사용자가 종료 명령을 내릴 경우 종료됩니다. 종료는 **KSB 웹툴킷** 의 모니터링 화면에서 할 수 있습니다. + +현재 프레임워크 상에 구현되어 있는 대부분의 스트림 처리용 컴퍼넌트들은 Spark Streaming (참고사이트 바로가기) 기반으로 구현되었습니다. + + +스트림방식 처리 엔진들은 데이터를 처리하는 시간이 길 경우 (데이터 처리 오퍼레이터가 많을 경우) delay 가 발생할 수 있습니다. 실시간 처리가 필요할 경우 실시간 스트림방식 처리 엔진을 사용할 것을 권장합니다. + +스트림방식 처리 엔진들이 두 개 이상 포함된 워크플로우의 경우, 워크플로우의 속성 값 중 Batch 를 반드시 false 로 설정하셔야 합니다. Batch 를 true 로 설정할 경우 앞의 엔진이 종료되기 전까지 뒤에 엔진이 실행되지 않습니다. + +## 실시간 스트림방식 처리엔진 +엔진 타입 | 설명 | 사용 예제 +--|--|-- +**StreamJoin** | 실시간 스트림처리를 제공하기 위한 엔진컨테이너로서 하나 이상의 Reader와 Writer 탑재 가능.
StreamController, StreamPipeReader, StreamPipeWriter, StreamPipeOperator, StreamRunner로 구성.
Spark structed-streaming 처리에 사용 | • 실시간 시계열 교통속도 센서스트림 처리 하기 +**StreamPipe** | Deprecated by StreamJoin
삭제예정 | + +실시간 스트림방식 처리 엔진은 카프카 등을 이용해 시간정보가 포함된 스트림 데이터를 계속해서 받고 있고 (입력 테이블은 새로 들어온 데이터를 append 함), trigger 시 입력 테이블에서 데이터를 가져와 쿼리를 수행하고 결과 테이블을 출력하는 방식의 실시간 처리를 합니다. + +현재 프레임워크 상에 구현되어 있는 대부분의 실시간 스트림 컴퍼넌트들은 Spark의 Structred Streaming (참고사이트 바로가기) 기반으로 구현되었습니다. +실시간 스트림방식 처리 엔진은 데이터에 포함된 시간 정보를 기반으로 처리합니다. 현재 시간은 받은 데이터의 시간 중 가장 늦은 시간이 됩니다. 이 시간을 기준으로 늦게 들어오는 데이터를 얼마동안 고려해서 처리할 것인지를 watermark 설정을 통해 할 수 있습니다 (watermark 는 Reader 의 속성으로 설정합니다). 따라서 실시간 스트림방식 처리 엔진에서는 시간 순으로 들어오지 않는 데이터도 처리 가능합니다. +실시간 스트림방식 처리 엔진에서 결과 테이블을 출력하는 방식은 3가지가 존재합니다 (Writer 의 mode 속성으로 설정합니다). "complete" 모드는 결과 테이블의 전체 row 들을 모두 출력합니다. "update" 모드는 결과 테이블에서 쿼리 수행 결과 변화가 있는 row들을 모두 출력합니다. "append" 모드는 변화가 있는 row들 중 앞으로 변화가 더 이상 일어나지 않을 row 들을 출력합니다. "update" 모드와 "append" 모드는 watermark 설정과 관련이 있으며, watermark 설정을 하지 않았을 경우 출력값이 동일합니다. 현재는 "append" 모드를 사용할 것을 권장합니다. + +실시간 스트림방식 처리 엔진은 single 쿼리를 수행하므로 복잡한 가공을 하기는 어렵습니다. window 설정을 통한 총계처리 등을 통해 무작위로 들어오는 데이터를 시간순으로 처리하고, 잡음을 스무딩하고, missing 데이터를 채우는 용도로 사용하고, 복잡한 가공은 스트림 처리 엔진을 통해 미니배치 형태로 수행하는 것을 권장합니다. + +실시간 스트림방식 처리 엔진은 계속해서 데이터를 받고 있으므로 사용자가 종료 명령을 내릴 경우 종료됩니다. 종료는 **KSB 웹툴킷** 의 모니터링 화면에서 할 수 있습니다. 따라서 실시간 스트림 방식 처리 엔진들은 한번 실행할 수 있습니다 (엔진의 RUNTYPE 속성 지정). + +실시간 스트림방식 처리 엔진들이 두 개 이상 포함된 워크플로우의 경우, 워크플로우의 속성 값 중 Batch 를 반드시 false 로 설정하셔야 합니다. Batch 를 true 로 설정할 경우 앞의 엔진이 종료되기 전까지 뒤에 엔진이 실행되지 않습니다. + +## 온디맨드방식 처리엔진 +엔진 타입 | 설명 | 사용 예제 +--|--|-- +**OnDemandServing** | OnDemand 요청에 응답을 제공하기 위한 엔진컨테이너로서, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 | • 온디맨드 방식으로 Inception 모델 서빙하기
• 온디맨드 방식으로 교통속도예측 모델 서빙하기 +**OnDemandStream** | 삭제예정 | +**OnDemandPipeServing** | OnDemand 요청에 하나 이상의 오퍼레이터를 파이프라인 처리하여 응답을 제공하는 엔진으로서 OnDemandPipeReader, OnDemandPipeOperator, OnDemandRunner, OnDemandController로 구성.
주로 **융합서빙** 에 사용 | • 융합 REST API 만들기 +**OnDemandStreamServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandReader, OnDemandOperator, OnDemandRunner, OnDemandController로 구성 | • 스트림 예측하여 REST 방식으로 서빙하기 +**OnDemandExternalServing** | OnDemand 요청에 서비스를 제공하기 위한 엔진컨테이너로서, OnDemandExternalRunner로 구성.
주로 사용자가 작성한 Python 모듈을 API화 하기 위한 엔진 구성시 사용 | • 융합 REST API 만들기 + +온디맨드방식 처리 엔진들은 텐서플로우 기반 딥러닝 모델, 사용자가 작성한 Python 모듈 등을 REST API 형태로 서비스 하는 용도로 사용합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 쿼리를 요청하고, 결과를 응답받는 방식으로 사용합니다. Reader 를 통해 데이터를 받지 않는 경우 데이터를 쿼리에 포함하여 요청합니다. + +텐서플로우 기반 딥러닝 모델은 TensorFlow Serving (참고사이트 바로가기) 을 통해 서비스 합니다. 따라서 사용자는 학습한 딥러닝 모델을 텐서플로우 서빙용으로 export 한 후 프레임워크에서 모델을 서빙합니다. 프레임워크와 연동하고 서빙을 하기 위해 파이썬 기반 텐서플로우 모델을 코딩하는 방법은 KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기 를 참고합니다. + +사용자가 작성한 Python 모듈은 프레임워크에서 제공하는 KSB Dockerize (참고자료 바로가기) 를 이용하여 REST API로 만들고 서비스 합니다. KSB Dockerize 라이브러리는 사용자가 프로그래밍한 Python 함수를 Docker 이미지로 자동 변환할 뿐만 아니라 REST API 기능을 자동으로 추가하여, 사용자 Python 함수로 입력 데이터를 보내고 결과를 받을 수 있게 합니다. + +또한 내부적으로 여러 개의 REST API 를 파이프라인하여 새로운 융합 REST API 를 만드는 것이 가능합니다. 사용자 (클라이언트) 는 프레임워크 외부에서 융합서빙 엔진으로 한번만 쿼리를 요청하면, 내부적으로 여러 개의 REST API 로 쿼리를 보내고 응답받은 결과를 총계처리 하여 사용자 (클라이언트) 에게 보내줍니다. 또는 REST API 로 쿼리를 보내고 응답받은 결과에 따라 다음 REST API 주소를 결정하여 (라우팅 기능) 쿼리를 보내고 응답받은 결과를 사용자 (클라이언트) 에게 보내줍니다. + +온디맨드방식 처리 엔진은 계속해서 쿼리 요청을 대기하고 있으므로 사용자가 종료 명령을 내릴 경우 종료됩니다. 종료는 **KSB 웹툴킷** 의 모니터링 화면에서 할 수 있습니다. 따라서 온디맨드방식 처리 엔진들은 한번 실행할 수 있습니다 (엔진의 RUNTYPE 속성 지정). + +온디맨드 방식 처리 엔진들이 두 개 이상 포함된 워크플로우의 경우, 워크플로우의 속성 값 중 Batch 를 반드시 false 로 설정하셔야 합니다. Batch 를 true 로 설정할 경우 앞의 엔진이 종료되기 전까지 뒤에 엔진이 실행되지 않습니다. + + +## 기타 엔진 +엔진 타입 | 설명 | 사용 예제 +--|--|-- +**External** | 외부 실행플랫폼을 연동하기 위한 엔진컨테이너로서, BatchReader, BatchWriter, 하나 이상의 BatchOperator, BatchRunner, BatchController로 구성.
대표적으로 파이썬 기반 딥러닝학습용 엔진컨테이너의 경우 이 엔진을 활용 | • ML 모델 학습하기
• AutoML 학습하기 +**Generic** | 사용자가 정의할 수 있는 모든 요소를 이용 가능한 엔진컨테이너로서, 모든 종류의 Reader, Writer, Operator, Runner, Controller로 구성.
Generic 타입이므로 자유도가 높은 반면, 개발자가 오류를 범하지 않도록 응용을 만들때 신중히 구성해야 함. diff --git a/manual1903/2.4.2.ComponentList.md b/manual1903/2.4.2.ComponentList.md new file mode 100644 index 0000000000000000000000000000000000000000..5176a965314a1146aaea8aebd1a7c74fc4d785b7 --- /dev/null +++ b/manual1903/2.4.2.ComponentList.md @@ -0,0 +1,272 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# Component List (v19.03) +--- + +KSB 인공지능 프레임워크가 기본적으로 제공하는 컴포넌트의 목록입니다. + +## Reader + +###ksb.csle.component.reader + +| 컴포넌트 이름 | 구현 클래스명 | 설명 | +|-------------|-------------|------------| +| FileReader | ksb.csle.component.reader.
FileReader | 파일 입력기 | | +| HttpClientReader |ksb.csle.component.reader.
HttpClientReader |HTTP 클라이언트 기반 데이터 입력기 | | +| HttpServerReader |ksb.csle.component.reader.
HttpServerReader |HTTP 서버 기반 데이터 입력기 | | +| HttpWeatherClientReader |ksb.csle.component.reader.
HttpWeatherClientReader |HTTP 클라이언트 기반 동네기상 데이터 입력기 | | +| KafkaOnDemandReader |ksb.csle.component.reader.
KafkaOnDemandReader | Kafka 데이터 입력기 | | +| KafkaReader |ksb.csle.component.reader.
KafkaReader | Kafka용 데이터 입력기 | | +| MongodbReader |ksb.csle.component.reader.
MongodbReader |Mongodb 데이터 입력기 | | +| MultipleReaders |ksb.csle.component.reader.
MultipleReaders |다중입력기 | | +| Onem2mHttpReader |ksb.csle.component.reader.
Onem2mHttpReader |OneM2M 데이터 입력기 | | +| PhoenixReader |ksb.csle.component.reader.
PhoenixReader |Phoenix 기반의 HBase 데이터 입력기 | | +| TableReader |ksb.csle.component.reader.
TableReader |JDBC 기반 데이터 입력기 | | + + +###ksb.csle.component.pipe.stream.reader + +| 컴포넌트 이름 | 구현 클래스명 | 설명 | +|-------------|-------------|------------| +| FilePipeReader |ksb.csle.component.pipe.stream.reader.
FilePipeReader | 스트림 처리용 파일 입력기 | | +| KafkaContextQueryPipeReader | ksb.csle.component.pipe.stream.reader.
KafkaContextQueryPipeReader | Kafka 토픽 쿼리 파이프라인 입력기 | | +| KafkaPipeReader | ksb.csle.component.pipe.stream.reader.
KafkaPipeReader |카프카 스트림 입력기 | | + + +
+ +## writer + +###ksb.csle.component.writer + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|FileWriter |ksb.csle.component.writer.
FileWriter |파일 출력기| | +|HttpClientWriter | ksb.csle.component.writer.
HttpClientWriter | HTTP 클라이언트 기반 데이터 출력기 | | +|KafkaWriter |ksb.csle.component.writer.
KafkaWriter | Kafka 데이터 출력기 | | +|MongodbWriter |ksb.csle.component.writer.
MongodbWriter |Mongodb 데이터 출력기| | +|PhoenixWriter |ksb.csle.component.writer.
PhoenixWriter |Phoenix 기반의 HBase 데이터 출력기| | +|StdoutWriter |ksb.csle.component.writer.
StdoutWriter |표준출력(콘솔화면) 데이터 출력기| | +|TableWriter |ksb.csle.component.writer.
TableWriter |JDBC 기반 데이터 출력기 | | + + +###ksb.csle.component.pipe.stream.writer + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|ConsolePipeWriter |ksb.csle.component.pipe.stream.writer.
ConsolePipeWriter |콘솔 스트림 출력기 | | +|FilePipeWriter |ksb.csle.component.pipe.stream.writer.
FilePipeWriter |파일 스트림 출력기 | | +|HBasePipeWriter |ksb.csle.component.pipe.stream.writer.
HBasePipeWriter |HBase 스트림 출력기| | +|KafkaPipeWriter|ksb.csle.component.pipe.stream.writer.
KafkaPipeWriter |카프카 스트림 출력기 | | +|MemoryPipeWriter| ksb.csle.component.pipe.stream.writer.
MemoryPipeWriter |스트림 출력기 | | + + + +
+ +## Operator + +###ksb.csle.component.operator.analysis + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|DLTrainOperator |ksb.csle.component.operator.analysis.
DLTrainOperator |텐서플로우 딥러닝 학습용 처리기 | | +|RandomForestClassifierPredictOperator |ksb.csle.component.operator.analysis.
RandomForestClassifierPredictOperator |RandomForest 분류 모델을 이용하여 label 예측 | | +|RandomForestClassifierTrainOperator |ksb.csle.component.operator.analysis.
RandomForestClassifierTrainOperator |RandomForest 분류 모델 생성 | | +|SparkMLPredictOperator |ksb.csle.component.operator.analysis.
SparkMLPredictOperator |SparkML 예측 처리기 | | +|TensorflowPredictOperator |ksb.csle.component.operator.analysis.
TensorflowPredictOperator |텐서플로우 예측용 오퍼레이터 | | +|AutoSparkMLOperator| -| 기계학습모델 자동학습기| | +|DecisionTreeClassifier | - |Decision Tree Classifier 학습기 | | +|DecisionTreeRegressor | - |Decision Tree Regressor 학습기 | | +|LinearRegressionRegressor | - |Linear Regression Regressor 학습기 | | +|NaiveBayesClassifier | - |Naive Bayes Classifier 학습기 | | +|RandomForestClassifier | - |Random Forests Classifier 학습기 | | +|RandomForestRegressor | - |Random Forests Regressor 학습기 | | + + + +### ksb.csle.component.operator.cleaning + +|컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크| +|---|---|---|---| +|AgglomerativeClusteringOperator |ksb.csle.component.operator.cleaning.
AgglomerativeClusteringOperator |Agglomerative 클러스터링 처리기 | Link | +|DBScanOperator |ksb.csle.component.operator.cleaning.
DBScanOperator |DBSCAN 클러스터링 처리기 | Link | +|EMClusteringOperator |ksb.csle.component.operator.cleaning.
EMClusteringOperator |EM 클러스터링 처리기 | Link | +|EqualDepthBinningOperator |ksb.csle.component.operator.cleaning.
EqualDepthBinningOperator |동일 빈도수 이산화 처리기 | Link | +|EqualWidthBinningOperator |ksb.csle.component.operator.cleaning.
EqualWidthBinningOperator |동일 폭 이산화 처리기 | Link | +|GeneralizedLinearRegressionOperator |ksb.csle.component.operator.cleaning.
GeneralizedLinearRegressionOperator |Generalized Linear Regression 처리기 | Link | +|KMeansOperator |ksb.csle.component.operator.cleaning.
KMeansOperator |Kmeans 클러스터링 처리기 | Link | +|KMedoidsOperator |ksb.csle.component.operator.cleaning.
KMedoidsOperator |KMedoids 클러스터링 처리기 | Link +|LinearRegressionOperator |ksb.csle.component.operator.cleaning.
LinearRegressionOperator |Linear Regression 처리기 | Link | +|MissingValueImputeOperator |ksb.csle.component.operator.cleaning.
MissingValueImputeOperator |데이터 공백 처리기 | Link | + + + +###ksb.csle.component.operator.integration + +|컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크| +|---|---|---|---| +|ConcatAndReshapeOperator |ksb.csle.component.operator.integration.
ConcatAndReshapeOperator |다수의 column을 조합하여 새로운 column 생성기| Link | +|GroupByOperator |ksb.csle.component.operator.integration.
GroupByOperator |특정 조건에 따른 해당 column의 grouping 처리기 | Link | +|OrderByOperator |ksb.csle.component.operator.integration.
OrderByOperator |오름차순, 내림차순에 따라 row 정렬 처리기 | Link | +|TimeIndexAddOperator |ksb.csle.component.operator.integration.
TimeIndexAddOperator |Unix timestamp column 삽입 처리기 | Link | +|VectorAssembleColumnAddOperator |ksb.csle.component.operator.integration.
VectorAssembleColumnAddOperator |Spark ML 동작을 위한 Vector assemble 처리기 | | + + +###ksb.csle.component.operator.reduction +|컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크| +|---|---|---|---| +|AggregateOperator |ksb.csle.component.operator.reduction.
AggregateOperator |숫자형 데이터 통계값 (min, max, avg, std, count) 대체 | Link | +|ChiSquareSelectOperator |ksb.csle.component.operator.reduction.
ChiSquareSelectOperator |Chi-Square test를 이용한 column 선택처리기 | Link | +|ColumnRemoveOperator |ksb.csle.component.operator.reduction.
ColumnRemoveOperator |선택한 column들 삭제 처리기 | Link | +|ColumnSelectOperator |ksb.csle.component.operator.reduction.
ColumnSelectOperator |column 선택 및 재배열 처리기 | Link | +|ColumnSelectWithFileOperator |ksb.csle.component.operator.reduction.
ColumnSelectWithFileOperator |파일로부터 칼럼 선택 및 재배열 처리기 | | +|DecisionTreeInductOperator |ksb.csle.component.operator.reduction.
DecisionTreeInductOperator |Decision Tree Induction을 이용한 column 선택처리기 | Link | +|FilterOperator |ksb.csle.component.operator.reduction.
FilterOperator |특정 조건에 따른 row 필터 처리기 | Link | +|FilterUsingSqlOperator |ksb.csle.component.operator.reduction.
FilterUsingSqlOperator |SQL을 이용한 row 필터 처리기 | Link | +|GroupByFilterOperator |ksb.csle.component.operator.reduction.
GroupByFilterOperator |총계처리 후 필터링 | | +|OrderByFilterOperator |ksb.csle.component.operator.reduction.
OrderByFilterOperator |정렬 후 필터링 | | +|PCAOperator |ksb.csle.component.operator.reduction.
PCAOperator |PCA를 이용한 column 생성 처리기 | Link | +|RandomSamplingOperator |ksb.csle.component.operator.reduction.
RandomSamplingOperator |단순 무작위 표본 추출 처리기 | Link | +|StepwiseBackwardEliminateOperator |ksb.csle.component.operator.reduction.
StepwiseBackwardEliminateOperator |Stepwise Backward Elimination를 이용한 column 선택처리기 | Link | +|StepwiseForwardSelectOperator |ksb.csle.component.operator.reduction.
StepwiseForwardSelectOperator |Stepwise Forward Selection를 이용한 column 선택처리기 | Link | +|StratifiedSamplingOperator |ksb.csle.component.operator.reduction.
StratifiedSamplingOperator |계층화된 샘플에서 표본 추출 처리기 | Link | +|TimeWindowAggregateOperator |ksb.csle.component.operator.reduction.
TimeWindowAggregateOperator |Unit timestamp 정보를 이용하여 시간정보에 따라 aggregation 처리기 | | + + +###ksb.csle.component.operator.service +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|ControlContextQueryOperator |ksb.csle.component.operator.service.
ControlContextQueryOperator |컨텍스트 및 제어 쿼리 처리기 | | +|TensorflowServingOperator |ksb.csle.component.operator.service.
TensorflowServingOperator |텐서플로우 모델 예측 처리기 | | +|WeatherQueryOperator |ksb.csle.component.operator.service.
WeatherQueryOperator |지식베이스 엔진 쿼리 처리기 | | + + + +###ksb.csle.component.operator.transformation +|컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크| +|---|---|---|---| +|AddConditionalColumnOperator |ksb.csle.component.operator.transformation.
AddConditionalColumnOperator |주어진 조건에 의해 새로운 column 생성 | | +|ChangeColumnDataTypeOperator |ksb.csle.component.operator.transformation.
ChangeColumnDataTypeOperator |column의 데이터 타입 변경 | | +|ExplodeColumnOperator |ksb.csle.component.operator.transformation.
ExplodeColumnOperator |array/map 타입 column의 각 element로부터 새로운 row 생성 | | +|FlattenOperator |ksb.csle.component.operator.transformation.
FlattenOperator |선택한 column의 모든 row을 하나의 row로 합치는 처리기 | | +|InterpolateOperator |ksb.csle.component.operator.transformation.
InterpolateOperator |일정한 간격으로 데이터를 보간하여 새로운 데이터프레임 생성 | Link | +|MinMaxScalingOperator |ksb.csle.component.operator.transformation.
MinMaxScalingOperator |최소/최대값을 기준으로 스케일링 처리기 | Link | +|NullReplaceOperator |ksb.csle.component.operator.transformation.
NullReplaceOperator |공백문자나 Zero 값 Null 대체기 | | +|OneHotEncodingOperator |ksb.csle.component.operator.transformation.
OneHotEncodingOperator |One-Hot-Encoding 처리기 | Link | +|PivotOperator |ksb.csle.component.operator.transformation.
PivotOperator | 특정 column 내 값을 row의 schema 정보로 변환 처리기 | Link | +|RenameColumnOperator |ksb.csle.component.operator.transformation.
RenameColumnOperator |column 이름 변경 | | | +|ReshapeWithTimeWindowOperator |ksb.csle.component.operator.transformation.
ReshapeWithTimeWindowOperator |Time window 값에 따라 shift된 row 생성 처리기 || +|SelectWithTimeWindowOperator |ksb.csle.component.operator.transformation.
SelectWithTimeWindowOperator |Time window 값에 따라 shift된 row 선택 처리기 | Link | +|SplitColumnOperator |ksb.csle.component.operator.transformation.
SplitColumnOperator |array/map 타입 column의 element를 각 column으로 분리 | | +|StringIndexOperator |ksb.csle.component.operator.transformation.
StringIndexOperator |문자열 타입의 컬럼에 대한 색인 컬럼을 생성 | | +|TimeSynchronizeOperator |ksb.csle.component.operator.transformation.
TimeSynchronizeOperator |시간(timestamp)을 동기화하여 두 개의 데이터프레임 join | | +|TransposeOperator |ksb.csle.component.operator.transformation.
TransposeOperator |하나의 dataframe column을 row로 변환 처리기| Link | +|VectorizeColumnOperator |ksb.csle.component.operator.transformation.
VectorizeColumnOperator |여러 column들을 모아서 하나의 vector 타입 column을 생성 | | + + +###ksb.csle.component.pipe.query.operator +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|KafkaContextQueryPipeOperator |ksb.csle.component.pipe.query.operator.
KafkaContextQueryPipeOperator |카프카 OnDemand 쿼리용 | | +|OutputAggregatePipeOperator |ksb.csle.component.pipe.query.operator.
OutputAggregatePipeOperator |하나 이상의 질의결과를 축약하는 축약 오퍼레이터 | | +|OutputCumulativePipeOperator |ksb.csle.component.pipe.query.operator.
OutputCumulativePipeOperator |질의를 수행하고 전달되는 결과를 append하여 전달하는 질의 오퍼레이터 | | +|OutputRestfulContextQueryPipeOperator |ksb.csle.component.pipe.query.operator.
OutputRestfulContextQueryPipeOperator |질의를 수행하고 전달되는 결과를 단순전달하는 질의 오퍼레이터 | | +|RouteMappingPipeOperator |ksb.csle.component.pipe.query.operator.
RouteMappingPipeOperator |매핑 기반 경로 변환 오퍼레이터 | | +|RouteRestfulContextQueryPipeOperator |ksb.csle.component.pipe.query.operator.
RouteRestfulContextQueryPipeOperator |쿼리 기반 경로 컨텍스트 변환 오퍼레이터 | | + + + +###ksb.csle.component.pipe.stream.operator +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|FilterOperator |ksb.csle.component.pipe.stream.operator.
FilterOperator |스트림 파이프라인용 필터 | | +|GroupByOperator |ksb.csle.component.pipe.stream.operator.
GroupByOperator |스트림 파이프라인용 그룹 처리기 | | +|OrderByOperator |ksb.csle.component.pipe.stream.operator.
OrderByOperator |스트림 파이프라인용 row 정렬 처리기 | | +|RenameColumnsPipeOperator |ksb.csle.component.pipe.stream.operator.
RenameColumnsPipeOperator |칼럼 이름 및 타입 변경 오퍼레이터 | | +|SelectColumnsPipeOperator |ksb.csle.component.pipe.stream.operator.
SelectColumnsPipeOperator |스트림 파이프라인용 칼럼 선택기 | | +|SparkMLPredictPipeOperator |ksb.csle.component.pipe.stream.operator.
SparkMLPredictPipeOperator | Pipeline기반 ML prediction용 operator | | +|StreamAllJoinOperator |ksb.csle.component.pipe.stream.operator.
StreamAllJoinOperator |스트림 key기반 칼럼결합기 | | +|StreamJoinOperator |ksb.csle.component.pipe.stream.operator.
StreamJoinOperator | 두 개 이상의 입력데이터로부터 같은 keyword의 데이터 결합| | +|StreamTimeJoinOperator |ksb.csle.component.pipe.stream.operator.
StreamTimeJoinOperator |스트림 방식의 시간 조인 파이프라인 오퍼레이터 | | + + +###ksb.csle.didentification.privacy +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|AggregationOperator |ksb.csle.didentification.privacy.
AggregationOperator |선택한 column들에 대한 aggregation 처리기 | | +|BlankImputeOperator |ksb.csle.didentification.privacy.
BlankImputeOperator |특정 위치에 공백 및 별표 처리 | | +|DataRangeOperator |ksb.csle.didentification.privacy.
DataRangeOperator |사용자 입력 기반 범주화 처리 | | +|EncryptionOperator |ksb.csle.didentification.privacy.
EncryptionOperator |SHA-1기반 암호화기 | | +|HeuristicOperator | ksb.csle.didentification.privacy.
HeuristicOperator |랜덤 스트링 기반 가명 처리기 | | +|HidingOperator |ksb.csle.didentification.privacy.
HidingOperator |문자열 데이터 통계값(최빈문자열 또는 ....) 대체 | | +|IdenReductionOperator |ksb.csle.didentification.privacy.
IdenReductionOperator |식별자 제거기 | | +|PartialAggregateOperator | ksb.csle.didentification.privacy.
PartialAggregateOperator |outlier값 갖는 cell 통계값 대체 | | +|PartialIdenReductionOperator |ksb.csle.didentification.privacy.
PartialIdenReductionOperator |식별자 중 ouliter값을 갖는 cell 값 대체 | | +|QuasiReductionOperator |ksb.csle.didentification.privacy.
QuasiReductionOperator |준식별자 제거 | | +|RandomNoiseOperator |ksb.csle.didentification.privacy.
RandomNoiseOperator |특정 위치에 잡음(랜덤값) 삽입 | | +|RandomRoundingOperator |ksb.csle.didentification.privacy.
RandomRoundingOperator |숫자형, 문자열 데이터 올림, 반올림, 내림 | | +|RearrangeOperator |ksb.csle.didentification.privacy.
RearrangeOperator |레코드 교환기 | | +|RecordReductionOperator |ksb.csle.didentification.privacy.
RecordReductionOperator |outlier값 갖는 레코드 전체 값 대체 | | +|RoundingOperator |ksb.csle.didentification.privacy.
RoundingOperator |숫자형 데이터 올림, 반올림, 내림 | | +|SwappingOperator |ksb.csle.didentification.privacy.
SwappingOperator |레코드를 특정 값으로 변환 | | + +
+ +## Runner + +###ksb.csle.component.runner + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|KBEServingRunner |ksb.csle.component.runner.
KBEServingRunner | 지식베이스 엔진 쿼리 서빙 실행기| | +|PySparkRunner |ksb.csle.component.runner.
PySparkRunner |Spark MLlib을 이용한 training과 prediction을 위한 AutoML용 Spark 실행기 | | +|ServingRunner| ksb.csle.component.runner.
ServingRunner |Akka 기반의 REST API Service 용 REST 서버 실행기| | +|SimpleSparkRunner |ksb.csle.component.runner.
SimpleSparkRunner |Spark 범용 실행기| | +|TensorflowServingRunner |ksb.csle.component.runner.
TensorflowServingRunner|텐서플로우 모델 서빙 실행기| | + + +###ksb.csle.component.runner.analysis + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|TensorflowRunner |ksb.csle.component.runner.analysis.
TensorflowRunner |Train과 predict을 위한 텐서플로우 실행기| | + +###ksb.csle.component.pipe.runner + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|ServingPipeRunner |ksb.csle.component.pipe.runner.
ServingPipeRunner |온디멘드 오퍼레이터 파이프라인용 Rest 서버 실행기 | | + + +
+ +## Controller +###ksb.csle.component.controller + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|BatchDummyController|ksb.csle.component.controller.
BatchDummyController|배치 입출력용 컨트롤러| | +|ExternalAnalysisController|ksb.csle.component.controller.
ExternalAnalysisController|데이터 분석기 컨트롤러 (텐서플로우 학습)| | +|KBEServingController|ksb.csle.component.controller.
KBEServingController|지식베이스 엔진 기반 서빙 컨트롤러| | +|ServingWithKbController|ksb.csle.component.controller.
ServingWithKbController | ML/Context 융합 Serving 컨트롤러 | | +|SparkSessionController | ksb.csle.component.controller.
SparkSessionController | Spark기반 제어용 컨트롤러 | | +|SparkSessionOrStreamController |ksb.csle.component.controller.
SparkSessionOrStreamController |SparkSession/Stream 통합 컨트롤러 | | +|SparkStreamController |ksb.csle.component.controller.
SparkStreamController |스트림 데이터 처리를 위한 제어기 | | +|TensorflowServingController |ksb.csle.component.controller.
TensorflowServingController |텐서플로우 기반 서빙 컨트롤러 | | +|WindowedSparkSessionOr
StreamController |ksb.csle.component.controller.
WindowedSparkSessionOrStreamController |윈도우 기능이 있는 Spark과 스트림 데이터 컨트롤러 | | +|PySparkMLTrainer| - |Spark ML 학습용 컨트롤러| | + + +###ksb.csle.component.pipe.controller + +|컴포넌트 이름 | 구현 클래스명 | 설명 | +|---|---|---| +|OnDemandCompositeServingRestfulController |ksb.csle.component.pipe.controller.
OnDemandCompositeServingRestfulController |온디멘드 Rest 방식의 API 융합서빙 컨트롤러 | +|OnDemandGenericController |ksb.csle.component.pipe.controller.
OnDemandGenericController |OnDemand 복합 컨트롤러 | | +|StreamingGenericController |ksb.csle.component.pipe.controller.
StreamingGenericController |스트림 파이프라인용 컨트롤러 | | diff --git a/manual1903/2.5.1.HttpToMongodbExample.md b/manual1903/2.5.1.HttpToMongodbExample.md new file mode 100755 index 0000000000000000000000000000000000000000..2f30179a06ce59d4b348ae88d567e6ed0873e8fa --- /dev/null +++ b/manual1903/2.5.1.HttpToMongodbExample.md @@ -0,0 +1,163 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 스트림 데이터 적재하기 (HttpToMongodbExample) +--- + +HTTP restful 인터페이스를 통해서 스트림으로 입력되는 데이터를 MongoDB에 저장하는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 스트림 데이터를 생성해야 합니다. 이를 위해 **KSB 클라이언트 SDK** 를 다운로드 하십시오. 프로젝트에 포함된 테스트 스크립트를 이용하여 시뮬레이션 할 수 있습니다. + +- 테스트 스크립트에서 사용하는 ubuntu utility를 설치합니다. +```sh +$ sudo apt-get install curl +``` + +- 테스트 스트립트가 위치한 디렉터리로 이동합니다. +```sh +$ cd ~/ksb-csle/examples +``` + +- HTTP 스트림 데이터를 생성합니다. + - HTTP_IP: KSB 인공지능 프레임워크 IP 주소 + - HTTP_PORT: 워크플로우 작성시, 입력한 HTTP 서버 포트번호 +```sh +$ ./send-data-via-http.sh ${HTTP_IP}:${HTTP_PORT} +``` + + +##워크플로우 생성하기 +워크플로우 편집화면을 이용하여 아래의 과정을 통해 워크플로우를 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | HttpToMongodbExample | 워크플로우 이름 +description | 스트림 데이터를 MongoDB에 적재하는 예제 | 워크플로우를 설명하는 글 +isBatch | false | 스트림 처리를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +###엔진 선택 +본 예제에서는 스트림 데이터를 입력받아 처리한 뒤 MongoDB에 적재하므로 **StreamToBatch** 엔진을 드래그앤 드롭합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | StreamToBatch | ProcessingEngine | 즉시실행 | 스트림 데이터를 MongoDB에 적재 + +####Reader +HTTP 서버로부터 전달되어 오는 데이터를 입력 받기 위해 **HttpServerReader** 를 드래그 앤 드롭한 후 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +ip | 0.0.0.0 | HTTP 서버의 주소를 입력합니다. +port | 53001 | HTTP 서버의 포트번호를 입력합니다. + + +####Writer +**MongodbWriter** 를 드래그앤 드롭한 후 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +serverAddress | localhost:27017 | MongoDB 서버 주소 및 포트 +dbName | examples | DB 명 +collectionName | data_from_http | 생성할 테이블 명 +cleaningDataInconsistency | true | 기존 테이블 삭제 및 재생성 여부 + +####Controller +**SparkSessionOrStreamController** 를 드래그앤 드롭한 후 아래 표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +setOperationPeriod | 3 | 스트리밍 처리 주기 (초 단위) + +####Runner +**SimpleSparkRunner** 를 드래그앤 드롭합니다. 디폴트 속성값을 사용합니다. + + +####Operator +본 예제에서는 스트림 입력을 그대로 MongoDB에 적재하므로 Operator를 사용하지 않습니다. 만약 스트림 입력 데이터를 가공해야 할 경우, 필요한 Operator를 드래그앤 드롭하여 속성값을 지정한 후 사용할 수 있습니다. + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. **HttpToMongodbExample** 을 불러오기하여 사용할 수 있습니다. + + + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼(▶)을 클릭합니다. 본 예제는 스트림 데이터를 처리하므로 **Batch** 체크 박스를 해제하고 워크플로우를 실행합니다. + + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단의 **Monitoring** 메뉴를 클릭하여 진행내역/상태모니터링 화면으로 이동합니다. **Workflow** 탭에서 작성한 워크플로우가 실행 중 (Inprogress)인 것을 확인할 수 있습니다. 이 화면에서 실행 중인 워크플로우를 종료(◼)하거나, 다시 실행(▶)할 수 있습니다. + + + +#### 워크플로우 로그 보기 +**WorkFlow History** 탭을 선택하면, KSB 인공지능 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + + + +## 데이터 적재 결과 확인하기 +**입력 데이터 준비하기** 에서 설명한 방법대로 +./send-data-via-http.sh를 이용하여 http로 데이터를 전송합니다. +```sh +csle@csle1:~/ksb-csle/examples$ ./send-data-via-http.sh localhost:53001 +send data to: localhost:53001 +OK! I got it. +``` + +MongoDB 클라이언트 프로그램을 이용하여, 위에서 발생한 스트림 데이터가 MongoDB에 적재되었는지 확인합니다. + + - 먼저 새로운 터미널을 열어 docker 컨테이너에 추가로 접속합니다. + - 그리고, MongoDB 클라이언트 프로그램이 설치된 디렉터리로 이동합니다. + +```sh +docker exec -it csle1 bash +csle@csle1:/$ cd /home/csle/mongodb/bin +``` + - MongoDB에 접속합니다. +```sh +$ mongo +``` + + + - 데이터베이스를 확인한 후 선택합니다. +```sh +> show dbs +> use examples +``` + + + - 테이블 생성을 확인합니다. +```sh +> show collections +``` + + + - 적재된 데이터를 확인합니다. +```sh +> db.data_from_http.find() +``` + + + +## 워크플로우 종료하기 +본 예제는 지속적으로 스트림데이터가 입력되므로 사용자가 워크플로우를 종료해야 합니다. +KSB 웹툴킷 상단의 **Monitoring** 메뉴를 클릭하여 진행내역/상태모니터링 화면으로 이동합니다. **Workflow** 탭에서 실행 중인 워크플로우를 종료(◼)합니다. diff --git a/manual1903/2.5.10.HourlyTensorflowTraining.md b/manual1903/2.5.10.HourlyTensorflowTraining.md new file mode 100755 index 0000000000000000000000000000000000000000..335de65a34c62db5d9f8147373fa68861ab850dc --- /dev/null +++ b/manual1903/2.5.10.HourlyTensorflowTraining.md @@ -0,0 +1,151 @@ +--- +html: + toc: true + offline: true + +export_on_save: + html: true +--- +# 텐서플로우 모델 주기적으로 학습하기 (HourlyTensorflowTraining) +--- +매분, 매시간, 매일, 매주, 매월, 매년 등 주기적으로 파일로부터 데이터셋을 읽어 딥러닝 학습을 수행하고, 그 결과로 새롭게 학습된 모델의 신규버전이 담긴 디렉토리와 파일을 생성하는 예제입니다. + +## 입력 데이터 준비하기 +본 예제에서는 KSB 프레임워크 웹툴킷 화면에서 Repository 탭을 클릭하여 dataset/input 디렉토리를 선택합니다. 해당 디렉토리에 trainset.csv 파일이 있는지 확인합니다. +만약 없다면 /home/csle/ksb-csle/examples/input 폴더에 존재하는 trainset.csv 파일을 사용자 HDFS repository dataset/input 폴더에 등록하여 사용합니다. + + + +## 사용자 파이썬 코드 준비하기 +텐서플로우 기반 딥러닝 모델이 구현된 사용자 파이썬 코드가 있어야 합니다. 사용자 파이썬 코드는 프레임워크와 연동하기 위해 프레임워크에서 전달하는 파라미터를 받는 부분, 학습된 모델을 텐서플로우 서빙용으로 export 하는 부분 등이 구현되어야 합니다. 자세한 내용은 KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기 를 참고합니다. +main 함수를 포함한 사용자 파이썬 코드에서 사용하는 라이브러리 파일 등은 동일한 폴더에 위치 시키거나 1 depth의 하위 폴더까지 작성 가능합니다. + + +##워크플로우 생성하기 +워크플로우 편집화면을 이용하여 아래의 과정을 통해 워크플로우를 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | HourlyTensorflowTraining | 워크플로우 이름 +description | 텐서플로우 기반 딥러닝 모델을 주기적으로 학습하는 예제 | 워크플로우를 설명하는 글 +isBatch | true | 배치 처리를 하는 워크플로우 이므로, true 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +###엔진 선택 +본 예제는 텐서플로우를 이용하여 배치 형태로 딥러닝 모델을 생성하는 워크플로우이므로 배치 엔진을 선택합니다. 그리고 딥러닝 모델을 주기적으로 생성하기 위해 **RUNTYPE** 을 **반복실행** 으로 설정합니다. **주기** 는 한번, 매분, 매시간, 매일, 매주, 매월, 매년 중에 하나로 설정합니다. 본 예제에서는 테스트를 위해 **매분** 으로 설정합니다. 매분은 테스트용으로 5분 단위로 엔진이 submit 되어 실행됩니다. + + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | Batch | TrainEngine | 반복 실행 | 텐서플로우 모델 학습 + +####Reader +FileReader를 선택하고 아래표와 같은 속성을 지정합니다. filePath 에 입력 파일의 경로 및 파일명을 지정합니다. 이 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--input` 파라미터로 전달됩니다. + +field |value | 설명 +--|---|-- +filePath| dataset/input/trainset.csv | 파일 경로 +fileType | CSV | 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +saveMode | | 사용 하지 않음 + + +filePath는 경로 입력창 옆의 "File" 버튼을 클릭하여 아래 그림과 같이 HDFS repository 탐색창을 통해 파일을 선택하여 입력할 수 있습니다. + + + +####Writer +FileWriter를 선택하고 아래표와 같은 속성을 지정합니다. filePath 에 학습한 딥러닝 모델이 최종 저장될 폴더를 지정합니다. 해당 폴더에 자동으로 최신버전의 폴더를 생성한 후 모델이 저장됩니다. 모델의 버전은 0000 부터 시작하여 1씩 증가합니다. filePath 에 입력한 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--output` 파라미터로 전달됩니다. + +본 예제에서는 다른 엔진에서 학습한 딥러닝 모델을 사용하도록 하기 위해 HDFS 절대경로를 지정합니다. 상대경로를 지정할 경우, 동적으로 생성한 **사용자 기본 파일경로** 가 앞에 추가되므로 다른 엔진에서 정확한 파일 경로를 지정하는 것이 어렵습니다. + +field |value | 설명 +--|---|-- +filePath | hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/rnn | 모델 저장 경로 +fileType | CSV | 파일 타입 +delimeter | , | 구분자 +header | false | header 포함 여부 +saveMode | | 사용하지 않음 + +####Controller +텐서플로우와 같은 외부시스템를 제어하기 위한 ExternalAnalysisController를 선택합니다. + +####Runner +TensorflowRunner 를 선택하고 아래표와 같은 속성을 지정합니다. pyEntryPath 에 main 함수를 포함하는 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 경로 및 파일명을 지정합니다. + +field |value | 설명 +--|---|-- +pyEntryPath | file:///home/csle/ksb-csle/components/src/main/python/recurrent/rnn_saved_model_new.py | 텐서플로우 모델 학습을 위한 파이썬 코드 경로 +cluster | false | cluster 환경 실행 여부 +inJson | false | Json 형태 파라미터 전달 여부 +tfVersion | r1.3 | 텐서플로우의 버전 + + +####Operator +DLTrainOperator를 선택하고 아래표와 같은 속성을 지정합니다. modelPath 에 내부적으로 학습된 모델을 저장할 경로를 지정합니다. 이 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--modelPath` 파라미터로 전달됩니다. 로컬 파일시스템 절대경로로 입력합니다. +또한, modelPath를 기준으로 최신버전의 폴더를 자동으로 생성하여 사용자 파이썬 코드의 `--model` 파라미터로 전달합니다. 모델의 버전은 0000 부터 시작하여 1씩 증가합니다. 따라서 예를 들면: + +- (modelPath) file:///home/csle/ksb-csle/{선택한 경로} +- (자동생성되는 model) file:///home/csle/ksb-csle/{선택한 경로}/{모델버전} + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/models/rnn/model | 내부적으로 학습된 모델을 저장할 경로
반드시 로컬 시스템 경로만 지정 +addtionalParams | 아래 설정 참고 | + +additionalParams 설정은 [+] 버튼을 두 번 클릭하여 다음과 같이 합니다. 사용자가 필요한 파라미터의 이름과 값을 세팅하여 사용자 파이썬 코드로 전달합니다. + +field |value | 설명 +--|---|-- +paramName | isTrain | 새롭게 학습할 경우에는 True, 그 외의 경우에는 False. +paramValue | True | + +field |value | 설명 +--|---|-- +paramName | num_epochs | 학습 반복 횟수 +paramValue | 2 | + +
+
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +엔진의 RUNTYPE 을 설정한 후, 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 이 때, 본 예제는 Batch 형태로 실행되는 엔진이므로 Batch 체크 박스를 선택하고 워크플로우를 실행합니다. + + + + + + +### 워크플로우 모니터링 하기 +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + +주기적으로 (5분 마다) 실행되므로, 동작 상태(status) 가 완료(Completed)였다가 실행 중일 때는 실행 중(Inprogress) 으로 바뀌는 것을 확인할 수 있습니다. + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. 본 예제에서는 엔진이 5분 마다 동작한 내역을 확인할 수 있습니다. + + + + +### 학습한 후 export 된 모델 확인하기 +엔진의 FileWriter 에서 지정한 위치 (hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/rnn) 에 학습된 모델이 생성된 것을 확인합니다. +KSB 웹툴킷 상단의 Repository 메뉴에서 model/rnn 위치에 엔진이 5분 마다 실행되어 모델을 주기적으로 생성한 것을 확인할 수 있습니다. 모델의 버전은 0000 부터 자동으로 1씩 증가합니다. + + + + +## 워크플로우 종료하기 +Monitoring 탭에서 동작중(Inprogress)인 상태의 HourlyTensorflowTraining 워크플로우의 정지(◼) 버튼을 눌러 종료시킵니다. diff --git a/manual1903/2.5.11.InceptionServingExample.md b/manual1903/2.5.11.InceptionServingExample.md new file mode 100755 index 0000000000000000000000000000000000000000..1b4928a376f8b0960caed447a576ec429e61b64c --- /dev/null +++ b/manual1903/2.5.11.InceptionServingExample.md @@ -0,0 +1,114 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 온디맨드 방식으로 Inception 모델 서빙하기 (InceptionServingExample) +--- +텐서플로우 기반 Inception 모델을 이용한 이미지 분류 RESTful 서비스 예제를 소개합니다. + +## 모델 등록하기 +웹툴킷 화면에서 [Repository] 탭을 클릭하여, Inception 모델을 등록합니다. + +### 모델 폴더 생성하기 +웹툴킷 화면에서 [New Directory] 메뉴를 클릭하여, Inception 모델을 등록할 폴더를 생성합니다. + + +### 모델 업로드 +웹툴킷 화면에서 [File Upload] 메뉴를 클릭하여, 모델을 등록합니다. + +[파일 입력] 콤보 박스에서 '폴더'를 선택합니다. + +[파일 선택] 버튼을 클릭하여, 등록할 모델을 선택합니다. + + +### 모델 등록 완료 +웹툴킷 화면에서 모델이 등록된 것을 확인할 수 있습니다. + + +## 워크플로우 생성하기 +워크플로우 편집기를 이용하여, 다음의 절차에 따라 워크플로우를 생성합니다. + +### 엔진 선택 +본 예제는 온 디맨드 타입의 분류 서비스를 제공하므로, OnDemandServing 엔진을 선택합니다. + +#### Reader +본 예제에서는 Reader를 사용하지 않습니다. + +#### Writer +본 예제에서는 Writer를 사용하지 않습니다. + +#### Controller +본 예제의 Controller는 TensorflowServingController를 사용하고, 속성을 기본 값으로 설정합니다. + +#### Runner +본 예제의 Runner는 TensorflowServingRunner를 사용하고, 속성을 다음과 같이 설정합니다. +field |value | 설명 +--|---|-- +modelBasePath | models/inception | 모델 경로 +port | 8002 | 이미지 분류 결과를 서비스할 포트 번호 +modelName | inception | 서비스에 사용할 inception 모델의 이름 + +'modelBasePath' 설정은 위에서 등록한 Inception 모델을 선택합니다. + + +#### Operator +본 예제의 Operator는 TensorflowServingOperator를 사용하고, 속성을 기본 값으로 설정합니다. + +완성된 워크플로우는 다음과 같습니다. + + +웹툴킷에 ksbuser@etri.re.kr 계정으로 로그인하면, 본 예제 워크플로우가 이미 만들어져 있는 것을 확인할 수 있습니다. +워크플로우 편집기의 불러오기 메뉴를 통해 본 예제를 실행할 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +워크플로우 편집기 화면 상단의 실행 버튼을 클릭하여, 위에서 작성한 워크플로우를 실행합니다. +본 예제는 온 디맨드 타입의 엔진이므로, Batch 체크박스를 해제하고 Run 버튼을 클릭합니다. + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +웹툴킷 [Monitoring] 화면에서 [Workflow] 탭을 선택하여, 위에서 실행한 워크플로우와 엔진의 동작 상태를 확인할 수 있습니다. +정상적으로 실행되어 Status 값이 Inprogress인 것을 확인할 수 있습니다. + + +#### 워크플로우 로그 보기 +[Workflow History] 탭을 선택하여, 현재 동작 중인 워크플로우의 로그 정보를 확인할 수 있습니다. + + +#### 서빙 서비스 상태 보기 +웹툴킷 [Dashboard] 탭을 선택하면, 화면 하단의 'Services' 테이블에서 위에서 실행한 온 디멘드 서빙 서비스에 대한 정보를 확인할 수 있습니다. + + +## 결과 확인하기 +Postman 프로그램을 이용하여, 본 예제의 이미지 분류 서비스의 기능을 확인하는 과정입니다. + +#### Inception 모델의 메타데이터 조회 +- 웹툴킷 [Dashboard] 화면 'Services' 테이블의 'URL' 정보를 이용하여 Inceptin 모델의 메타데이터를 조회할 수 있습니다. +- 좌측 상단의 콤보박스에서 'GET'을 선택하고, Request-URL 값을 ``http://0.0.0.0:8002/model``로 설정합니다. +- [Send] 버튼을 클릭하여 메타데이터 조회를 요청을 하면, 다음과 같이 모델의 메타데이터를 확인할 수 있습니다. + + +#### 이미지 분류 질의 결과 보기 +- 위에서 조회한 메타데이터를 이용하여 이미지 분류 질의 요청과 그에 대한 결과를 확인할 수 있습니다. +- 좌측 상단의 콤보박스에서 'POST'를 선택하고, Request-URL 값을 ``http://0.0.0.0:8002/model/predict_images/images`` 로 설정합니다. + - predict_images: 이미지 분류 signature 이름 + - images: 입력 tensor의 이름 +- [Headers] 메뉴에서 KEY 필드에서 'Content-Type'"'을 VALUE 필드에서 'image/jpeg'을 입력합니다. + +- [Body] 메뉴에서 [binary] 버튼을 선택하고, [파일 선택] 버튼을 클릭하여 분류하고자 하는 이미지 파일을 선택합니다. + +- [Send] 버튼을 클릭하여 이미지 분류 질의 요청을 하면, 다음과 같이 이미지 분류 결과를 확인할 수 있습니다. +(Inception 모델의 경우, score가 가장 높은 순서로 5개의 분류 카테고리를 알려줍니다.) + + +## 워크플로우 종료하기 +웹툴킷 [Monitoring] 화면의 [Workflow] 탭에서, 현재 Status가 Inprogress인 InceptionServingExample 워크플로우의 정지(◼) 버튼을 클릭하여 종료시킵니다. + +## 워크플로우 저장하기 +워크플로우 편집기에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.5.12.TfStreamPredictionMnist.md b/manual1903/2.5.12.TfStreamPredictionMnist.md new file mode 100755 index 0000000000000000000000000000000000000000..c9d55f8224359ea1abc3140da77aa451da9c86e6 --- /dev/null +++ b/manual1903/2.5.12.TfStreamPredictionMnist.md @@ -0,0 +1,145 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 스트림 방식으로 MNIST 모델 서빙하기 (TfStreamPredictionMnist) +--- + +Kafka 스트림으로 입력받은 이미지 데이터를 텐서플로우 기반의 MNIST 모델을 이용하여 분류한 결과를 Kafka 스트림으로 출력하는 예제를 설명합니다. + +## 모델 등록하기 +웹툴킷 화면에서 [Repository] 탭을 클릭하여, MNIST 모델을 등록합니다. + +### 모델 폴더 생성하기 +웹툴킷 화면에서 [New Directory] 메뉴를 클릭하여, MNIST 모델을 등록할 폴더를 생성합니다. + + +### 모델 업로드 +웹툴킷 화면에서 [File Upload] 메뉴를 클릭하여, 모델을 등록합니다. + +[파일 입력] 콤보 박스에서 '폴더'를 선택합니다. + +[파일 선택] 버튼을 클릭하여, 등록할 모델을 선택합니다. + + +### 모델 등록 완료 +웹툴킷 화면에서 모델이 등록된 것을 확인할 수 있습니다. + + +## 워크플로우 생성하기 +워크플로우 편집기를 이용하여, 다음의 절차에 따라 워크플로우를 생성합니다. + +### 엔진 선택 +본 예제는 스트림 타입의 모델 서빙 서비스를 제공하므로, StreamToStream 엔진을 선택합니다. + +#### Reader +Kafka 스트림을 입력받기 위해 KafkaReader를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +topic | mnist_input | 이미지 데이터를 입력받기 위한 Kafka Topic 이름 +zooKeeperConnect | csle1:2181 | Zookeeper 접속주소 (IP, 포트번호) +groupId | mnist_input | Kafka 통신을 위한 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 서버 접속주소 (IP, 포트번호) + +#### Writer +이미지 분류 결과를 Kafka 스트림으로 출력하기 위해 KafkaWriter를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +topic | mnist_output | 이미지 분류 결과를 출력하기 위한 Kafka Topic 이름 +zooKeeperConnect | csle1:2181 | Zookeeper 접속주소 (IP, 포트번호) +groupId | mnist_output | Kafka 통신을 위한 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 서버 접속주소 (IP, 포트번호) + +#### Controller +Spark 기반의 스트림 데이터 처리를 위해 SparkSessionOrStreamController를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +operationPeriod | 1 | 스트림 데이터를 처리하는 주기 (초 단위) + +#### Runner +Spark 환경 설정을 위해 SimpleSparkRunner를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달 +sparkArgs | 아래 표 참고 | Spark Application 설정 + +sparkArgs 설정은 다음과 같이 합니다. +field | value | 설명 +--|---|-- +master | local[\*] | 마스터 +numExecutors | 4 | Spark Executor 개수 +excuterCores | 2 | 각 Spark Executor의 core 개수 +executerMemory | 1g | 각 Spark Executor의 메모리 크기 +driverMemory | 1g | Spark Driver 메모리 + +#### Operator +본 예제의 경우, 데이터 전처리가 필요 없기에 아래 1개의 Operator를 이용합니다. + +1. **TensorflowPredictOperator** +텐서플로우 기반의 MNIST 모델을 이용하여, 입력 이미지의 분류 결과를 출력합니다. + +field | value | 설명 +--|---|-- +modelServerUri | model/mnist | MNIST 모델 경로 +modelName | mnist | 모델 이름 +signatureName | predict_images | 이미지 분류 signature 이름 + +완성된 워크플로우는 다음과 같습니다. + + +웹툴킷에 ksbuser@etri.re.kr 계정으로 로그인하면, 본 예제 워크플로우가 이미 만들어져 있는 것을 확인할 수 있습니다. +워크플로우 편집기의 불러오기 메뉴를 통해 본 예제를 실행할 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +워크플로우 편집기 화면 상단의 실행 버튼을 클릭하여, 위에서 작성한 워크플로우를 실행합니다. +본 예제는 스트림 타입의 엔진이므로, Batch 체크박스를 해제하고 Run 버튼을 클릭합니다. + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +웹툴킷 [Monitoring] 화면에서 [Workflow] 탭을 선택하여, 위에서 실행한 워크플로우와 엔진의 동작 상태를 확인할 수 있습니다. +정상적으로 실행되어 Status 값이 Inprogress인 것을 확인할 수 있습니다. + + +#### 워크플로우 로그 보기 +[Workflow History] 탭을 선택하여, 현재 동작 중인 워크플로우의 로그 정보를 확인할 수 있습니다. + + +## 결과 확인하기 +KSB 툴박스에 포함된 테스트 스크립트를 이용하여, 스트림 방식의 모델 서빙 기능을 확인하는 과정입니다. + +#### (1) 이미지 분류 결과 수신 대기 +KSB 툴박스에 포함된 ```consume-mnist-output.sh``` 스크립트를 실행하여, MNIST 이미지 분류 결과를 Kafka 서버로부터 수신할 수 있도록 대기합니다. +호스트 PC에서 터미널 창을 열어, 아래의 명령을 수행합니다. +```bash +$ docker exec -it csle1 bash +$ cd ~/ksb-csle/examples/models/mnist/client/kafka-json +$ ./consume-mnist-output.sh +``` + + +#### (2) 분류할 이미지 데이터 전송 +KSB 툴박스에 포함된 ```publish-mnist-input.sh``` 스크립트를 실행하여, MNIST 이미지 데이터를 Kafka 서버로 전송합니다. +호스트 PC에서 터미널 창을 열어, 아래의 명령을 수행합니다. +```bash +$ docker exec -it csle1 bash +$ cd ~/ksb-csle/examples/models/mnist/client/kafka-json +$ ./publish-mnist-input.sh +``` + + +#### (3) 이미지 분류 결과 수신 확인 +위 (1)번 과정에서 실행한 터미널 창에서, MNIST 이미지 데이터와 분류 결과를 확인할 수 있습니다. + + +## 워크플로우 종료하기 +웹툴킷 [Monitoring] 화면의 [Workflow] 탭에서, 현재 Status가 Inprogress인 '2.5.12.TfStreamPredictionMnist' 워크플로우의 정지(◼) 버튼을 클릭하여 종료시킵니다. + +## 워크플로우 저장하기 +워크플로우 편집기에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.5.13.ConvergedServingEndToEndExample.md b/manual1903/2.5.13.ConvergedServingEndToEndExample.md new file mode 100755 index 0000000000000000000000000000000000000000..c3bd2fa2455fa275a5ea72df4ad360ef0daccca6 --- /dev/null +++ b/manual1903/2.5.13.ConvergedServingEndToEndExample.md @@ -0,0 +1,394 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# REST API를 파이프라인하여 새로운 융합 REST API 만들기 (ConvergedServingEndToEndExample) +--- +본 예제에서는 사용자가 프로그래밍한 Python 함수를 KSB Dockerize를 이용하여 REST API로 만들고, 이러한 API 들을 연결하여 서빙하는 융합서빙 예제를 설명합니다. +KSB Dockerize 라이브러리는 사용자가 프로그래밍한 Python 함수를 Docker 이미지로 자동 변환할 뿐만 아니라 REST API 기능을 자동으로 추가하여, 사용자 Python 함수로 입력 데이터를 보내고 결과를 받을 수 있게 합니다. + + +## 입력 데이터 준비하기 +본 예제에서는 다음과 같은 챗봇 시나리오를 가정합니다. + 1. 입력한 문장의 topic 분류 + 2. topic이 일상적 대화일 경우, 일상적 대화들을 학습한 모델로 응답 문장 생성
topic이 여행과 관련된 대화일 경우, 여행 관련 대화들을 학습한 모델로 응답 문장 생성 + +따라서 topic 분류 모델(이하 classify로 칭함), 일상적 대화들을 학습한 모델(이하 chitchat으로 칭함), 여행 관련 대화들을 학습한 모델(이하 travel로 칭함)이 필요합니다. 이러한 모델들을 KSB Dockerize를 이용하여 프레임워크에서 서빙하기 위해 Python 모듈 사용하기 (KSB Dockerize) 매뉴얼에서 제공하는 방법대로 `base.py` 와 `main_func`을 생성해야 합니다. + +### 사용자 파이썬 코드 업로드 +Host PC의 /home/csle/ksb-csle/examples/pyModules/ChatbotServing 폴더에 있는 사용자가 프로그래밍한 파이썬 함수를 HDFS repository에 웹툴킷을 이용하여 업로드 합니다. +dataset/pyModules 위치에 ChatbotServing 폴더를 업로드 합니다. + + + +파이썬 코드가 아래 폴더 구조로 업로드 되어야 합니다. KSB Dockerize를 이용하기 위해서 `__init.py` 파일과 `base.py` 파일을 작성합니다. `base.py` 는 `main_func` 이라는 함수를 포함하고 있어야 합니다. KSB Dockerize 라이브러리는 이 `main_func`을 불러 수행합니다. + + + + +다음은 chitchat 폴더 내의 `base.py` 의 `main_func` 을 보여줍니다. + +```python +def main_func(x): + + # get input + input = x + text = tune_text(input) + + # call your function + output_text = predict(text) + + return str(output_text) +``` + + +## 워크플로우 생성하기 +워크플로우 편집 화면에서 워크플로우를 작성합니다. 본 예제에서는 네 개의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | ConvergedServingEndToEndExample | 워크플로우 이름 +description | 융합서빙 예제 | 워크플로우를 설명하는 글 +isBatch | false | 융합서빙을 위한 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | OnDemandExternalServing | ClassifyDockerizeEngine | 즉시실행 | classify 함수 Dockerize +2 | OnDemandExternalServing | ChitchatDockerizeEngine | 즉시실행 | chitchat 함수 Dockerize +3 | OnDemandExternalServing | TravelDockerizeEngine | 즉시실행 | travel 함수 Dockerize +4 | OnDemandPipeServing | ChatbotServingEngine | 즉시실행 | API들을 연결하여 챗봇 서빙 + +### 첫 번째 엔진 작성하기 +topic 분류 모델(classify) 을 구현한 파이썬 코드를 Dockerize 하고 REST API 로 만들기 위해 OnDemandExternalServing엔진을 선택합니다. 본 예제의 OnDemandExternalServing 엔진은 Runner 만 가집니다. + +#### Runner +PyContainerRunner를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +port | 18001 | REST API 포트 번호 +imgName | classify_image | 생성할 도커 이미지 이름 +codePath | dataset/pyModules/ChatbotServing/classify | 파이썬 코드가 있는 경로 + + +### 두 번째 엔진 작성하기 +일상적 대화들을 학습한 모델(chitchat) 을 구현한 파이썬 코드를 Dockerize 하고 REST API 로 만들기 위해 OnDemandExternalServing엔진을 선택합니다. 본 예제의 OnDemandExternalServing 엔진은 Runner 만 가집니다. + +#### Runner +PyContainerRunner를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +port | 18002 | REST API 포트 번호 +imgName | chitchat_image | 생성할 도커 이미지 이름 +codePath | dataset/pyModules/ChatbotServing/chitchat | 파이썬 코드가 있는 경로 + +### 세 번째 엔진 작성하기 +여행 관련 대화들을 학습한 모델(travel) 을 구현한 파이썬 코드를 Dockerize 하고 REST API 로 만들기 위해 OnDemandExternalServing엔진을 선택합니다. 본 예제의 OnDemandExternalServing 엔진은 Runner 만 가집니다. + +#### Runner +PyContainerRunner를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +port | 18003 | REST API 포트 번호 +imgName | travel_image | 생성할 도커 이미지 이름 +codePath | dataset/pyModules/ChatbotServing/travel | 파이썬 코드가 있는 경로 + +### 네 번째 엔진 작성하기 +여기에서는 하나 이상의 REST API들을 연결하여 상위의 REST API를 제공하기 위한 엔진을 정의합니다. 이를 위해서 융합서빙엔진을 정의하기 위한 과정을 설명합니다. +먼저 융합서빙엔진을 구성하기 위한 엔진컨터이너로서 OnDemandPipeServing 엔진컨테이너를 선택합니다. 참고로 OnDemandPipeServing 엔진은 REST API를 통해서 request를 받아 일련의 오퍼레이터를 거치면서 처리한 결과를 response에 실어서 보냅니다. 따라서 데이터를 입출력하기 위한 Reader 와 Writer는 별도로 필요로 하지 않습니다. + +#### Controller +하나 이상의 REST API를 하나의 로직으로 연결하여 서빙하기 위한, 하나 이상의 오퍼레이터들의 호출흐름을 제어하기 위한 컨트롤러로서 OnDemandCompositeServingRestfulController를 선택합니다. +(OnDemandCompositeServingRestfulController는 restfulActorName과 uri정보를 설정할 수 있으며, 본 예제에서는 별도의 설정없이 기본값을 사용합니다. 요청 uri를 변경하고자 할 경우, 값을 입력하면 됩니다.) + +#### Runner +REST 서비스를 실행하기 위한 Runner로써 ServingPipeRunner를 선택합니다. 사용자가 챗봇 서비스를 받기 위한 REST API에 대한 접근 주소와 포트번호를 설정합니다. (아래 표 참조) + +field | value | 설명 +--|---|-- +host | 0.0.0.0 | 융합 서빙 주소 +port | 18080 | 융합 서빙 포트 번호 + + +#### Operator +본 챗봇 예제에서는 문장으로부터 topic을 분류하기 위한 REST API와 분류된 topic 내에서 문장에 대한 응답을 생성하는 REST API를 엮기 위해 총 3개의 오퍼레이터를 사용합니다. +각각의 오퍼레이터의 역할은 다음과 같습니다: +- **RouteRestfulContextQueryPipeOperator** + - topic 분류기 서비스 REST API (상기 첫번째 엔진을 통해서 생성될 API)를 호출하여 문장에 대한 topic 분류값을 얻어내기위한 질의 오퍼레이터 +- **RouteMappingPipeOperator** + - 얻어낸 topic 분류값을 응답을 질의할 REST 서비스의 주소로 변환하는 매핑 오퍼레이터 +- **OutputRestfulContextQueryPipeOperator** + - 매핑된 REST API 주소로 질의하여 최종 응답문구를 얻어내기위한 질의 오퍼레이터 + +1. **RouteRestfulContextQueryPipeOperator** + +field |value | 설명 +--|---|-- +url | http://SERVER_IP:18001 | REST API 주소 +method | POST | REST API 방식 +header | | 아래의 표 참고 + +header 설정은 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +paramValue | Content-Type | +paramName | text/plain; charset=utf-8 | + + +2. **RouteMappingPipeOperator** + +field |value | 설명 +--|---|-- +routeMap | | 아래의 표 참고 + +routeMap 설정은 [+] 버튼을 두 번 클릭하여 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +idx | 0 | +route | http://SERVER_IP:18002 | '0' 인덱스값에 대한 호출할 REST API 주소 + +field |value | 설명 +--|---|-- +idx | 1 | +route | http://SERVER_IP:18003 | '1' 인덱스값에 대한 호출할 REST API 주소 + +3. **OutputRestfulContextQueryPipeOperator** + +field |value | 설명 +--|---|-- +url | http://SERVER_IP:18002 | route 정보가 넘어오지 않을 경우 디폴트로 호출할 REST API 주소 +method | POST | REST API 방식 +header | | 아래의 표 참고 + +header 설정은 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +paramValue | Content-Type | +paramName | text/plain; charset=utf-8 | + + +
+
+ + + +ksbuser@etri.re.kr 계정으로 로그인하면, 본 예제 워크플로우가 이미 만들어져 있는 것을 확인할 수 있습니다. 불러오기 메뉴를 통해 본 예제를 실행할 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +워크플로우 편집기 화면 상단의 실행 버튼을 눌러서, 위에서 작성한 워크플로우를 실행합니다. REST API를 서빙하는 워크플로우 이므로 Batch 체크박스를 해제하고 Run 버튼을 클릭합니다. + + +### 워크플로우 모니터링 하기 +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어 있습니다. Workflow 탭 화면에서 실행한 워크플로우와 엔진의 동작 상태를 확인할 수 있습니다. 정상적으로 실행되어 Status 값이 Inprogress(실행중)인 것을 확인할 수 있습니다. + + + + +Workflow History 탭을 선택하면 워크플로우가 동작하며 발생시킨 각 엔진의 로그 정보를 확인할 수 있습니다. + + + + + +## 클라이언트에서 융합 REST API 로 쿼리 요청하기 +프레임워크에서 서빙하고 있는 융합 REST API (`http://0.0.0.0:18080`) 로 클라이언트에서 쿼리를 요청하는 방법은 다음과 같습니다. + +**◼ 약속된 Json 형태 : {"input" : "???"}** +"input" 키워드와 함께 보내고자 하는 데이터를 `{"input" : "???"}` 형태의 Json 으로 보냅니다. 이 경우 응답도 json 으로 옵니다. 약속된 Json 형태로 쿼리를 요청하는 것을 권장합니다. + +- **문자열을 보내고자 하는 경우**: + 보내고자 하는 데이터 (예: `aaa`) 를 다음과 같은 형태로 보냅니다. + + ```Json + {"input" : "aaa"} + ``` + 이 경우 내부적으로 쿼리를 해석하여 KSB Dockerize 라이브러리의 `base.py` 의 `main_func` 으로 데이터를 문자열 형태로 보냅니다. 즉 문자열 `'aaa'`를 보냅니다. + 따라서 사용자 파이썬 코드에서는 아래와 같이 입력데이터를 읽을 수 있습니다. + + ```Python + def main_func(x): + # In this example, x is Python string. + input = x + + ... + + ``` + +- **Json 문자열을 보내고자 하는 경우**: + 보내고자 하는 데이터 (예: `{"key1":"aaa", "key2":"bbb", "key3":"ccc"}`) 를 다음과 같은 형태로 보냅니다. + + ```JSON + {"input": "{\"key1\":\"aaa\", \"key2\":\"bbb\", \"key3\":\"ccc\"}"} + ``` + 이 경우 내부적으로 쿼리를 해석하여 KSB Dockerize 라이브러리의 `base.py` 의 `main_func` 으로 Json 문자열 데이터를 Json 문자열 형태로 보냅니다. 즉 `'{"key1":"aaa", "key2":"bbb", "key3":"ccc"}'` 를 보냅니다. + 따라서 사용자 파이썬 코드에서는 아래와 같이 입력데이터를 읽을 수 있습니다. + + ```Python + import json + + def main_func(x): + # In this example, x is Python string containing Json data. + x = json.loads(x) + input1 = x['key1'] + input2 = x['key2'] + input3 = x['key3'] + + ... + + ``` + +**◼ 문자열 형태 ** +보내고자 하는 데이터를 문자열로 보냅니다 (예를 들면, `"aaa"`). 이 경우 응답도 문자열로 옵니다. +문자열 형태로 쿼리를 보낼 경우, 사용자가 작성한 그대로의 문자열을 KSB Dockerize 라이브러리의 `base.py` 의 `main_func` 으로 보냅니다. (예를 들면, `'aaa'` ) +따라서 사용자 파이썬 코드에서는 아래와 같이 입력데이터를 읽을 수 있습니다. + +```Python +def main_func(x): + # In this example, x is Python string. + input = x + + ... + +``` +### 클라이언트 프로그램 구현 가이드 (파이썬) +융합 REST API 로 쿼리를 보내는 클라이언트 프로그램을 파이썬으로 구현한 예제 코드입니다. + +**◼ 약속된 Json 형태 : {"input" : "???"}** + +```Python +import requests + +url = 'http://0.0.0.0:18080' +userId = 'ksbuser@etri.re.kr' +query_str = '{0}/postQuery?userId={1}&password="pw"&key="key"' +query_str = query_str.format(url, userId) + +# data_str = {"input": "hellow"} +# data_str = {"input": "{\"key1\":\"aaa\", \"key2\":\"bbb\", \"key3\":\"ccc\"}"} +data_str = {"input": '{"key1":"aaa", "key2":"bbb", "key3":"ccc"}'} + +r = requests.post(query_str, json=data_str) +print('Status: ', r.status_code) +print('Response: ', r.text) + +``` + +**◼ 문자열 형태 ** + +```Python +import requests + +url = 'http://0.0.0.0:18080' +userId = 'ksbuser@etri.re.kr' +query_str = '{0}/postQuery?userId={1}&password="pw"&key="key"' +query_str = query_str.format(url, userId) + +data_str = 'I want to go LA' + +r = requests.post(query_str, data=data_str) +print('Status: ', r.status_code) +print('Response: ', r.text) + +``` + + +## 융합서빙 서비스 확인하기 +본 예제에서는 클라이언트로 Postman 프로그램을 활용하여 융합서빙 엔진이 제공하는 챗봇 서비스(융합 REST API)를 테스트 합니다. Postman을 실행하여 아래와 같이 설정합니다. (Postman 설명 바로가기) + +- 좌측 상단의 콤보 박스에서 **POST** 를 선택하고, 질의 선택할 URL을 입력합니다. 본 예제에서의 URL은 융합 서빙 엔진이 제공하는 URL (``http://0.0.0.0:18080/postQuery?userId=ksbuser@etri.re.kr&password="pw"&key="key"``)을 사용합니다. +- **Headers** 메뉴에서 Key 필드에 "Content-Type"을, Value 필드에 "text/plain; charset=utf-8" 을 입력합니다. + + + +- **Body** 메뉴에서 **raw** 라디오 버튼을 선택한 후, ``{"input": "TEXT"}`` 형태로 입력 문장을 작성합니다. 약속된 Json 형태로 융합 REST API 에 쿼리를 요청합니다. +- 우측 상단의 **Send** 버튼을 클릭하면 쿼리 요청이 제출되고, 결과가 화면 하단에 표시됩니다. 입력 문장에 대한 응답 문장이 표시 됩니다. + + + +
+ + + + +## 생성된 Docker 이미지 확인하기 +커맨드 창에서 아래 명령어를 실행합니다. + +```sh +docker container ls +``` + +아래 그림과 같이 Docker 이미지가 생성된 것을 확인할 수 있습니다. + + + + +## KSB Dockerize를 통해 생성된 REST API 동작 확인하기 +커맨드 창에서 아래 명령어를 실행하여 KSB Dockerize를 통해 생성된 REST API 가 잘 동작하는 지 테스트할 수 있습니다. + +```sh +curl -d '{"input": "TEXT"}' http://0.0.0.0:PORT +``` + + +- topic 분류 모델(classify) + - PORT 번호 : 18001 + - 입력 문장의 topic을 분류한 결과 리턴 (0: chitchat, 1: travel) + - 본 예제에서는 dummy 코드로 입력 문장에 'go' 가 포함될 경우 1, 그 밖에는 0을 리턴함 +- 일상적 대화들을 학습한 모델(chitchat) + - PORT 번호 : 18002 + - 입력 문장에 대응하는 문장 리턴 + - 본 예제에서는 dummy 코드로 'Hi, I am chitchat'을 리턴함 +- 여행 관련 대화들을 학습한 모델(travel) + - PORT 번호 : 18003 + - 입력 문장에 대응하는 문장 리턴 + - 본 예제에서는 dummy 코드로 'Hi, I am travel agency'를 리턴함 + +## 워크플로우 종료하기 +KSB 웹툴킷 Monitoring 화면의 Workflow 탭에서, 현재 Status가 Inprogress인 ConvergedServingEndToEndExample 워크플로우의 정지(◼) 버튼을 눌러 종료 시킵니다. + + +## 워크플로우 재실행 시 유의사항 +동일한 워크플로우를 재실행하기 위해서 기존 생성된 chitchat_image, classify_image, travel_image 도커 이미지와 컨테이너를 지운 후 워크플로우를 재실행 합니다. + +아래 명령어를 이용하여 Docker 이미지 목록을 확인합니다. + +```sh +docker images +``` + +아래 명령어를 이용하여 Docker 컨테이너를 삭제합니다. + +```sh +docker rm -f {IMAGE_ID} +``` + +아래 명령어를 이용하여 Docker 이미지를 삭제합니다. + +```sh +docker rmi {IMAGE_ID} +``` + +```sh +csle@csle1:~$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +chitchat_image latest 054e56309341 2 hours ago 221MB +classify_image latest a4fd33bd0ba6 2 hours ago 221MB +travel_image latest 6c3bff27b0f5 2 hours ago 221MB + +csle@csle1:~$ docker rm -f chitchat_image classify_image travel_image +csle@csle1:~$ docker rmi chitchat_image classify_image travel_image +``` diff --git a/manual1903/2.5.14.TrafficPeriodicTrainAndK8sServingExample.md b/manual1903/2.5.14.TrafficPeriodicTrainAndK8sServingExample.md new file mode 100644 index 0000000000000000000000000000000000000000..235f5f40a73ae4a50081c581930286882b54c777 --- /dev/null +++ b/manual1903/2.5.14.TrafficPeriodicTrainAndK8sServingExample.md @@ -0,0 +1,268 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 쿠버네티스를 이용한 주기적인 모델학습 및 예측모델 서빙하기 (TrafficPeriodicTrainAndK8sServingExample) +--- +교통센서 데이터 파일을 이용하여 주기적으로 텐서플로우 모델을 학습한 후, 쿠버네티스를 이용해 최신 모델을 서빙하는 예제를 설명합니다. + +## 쿠버네티스와 연동 환경 준비하기 + 쿠버네티스 클러스터 설치하기를 참고하여 쿠버네티스 클러스터를 구성합니다. + +## 입력 데이터 준비하기 +본 예제에서는 KSB 프레임워크 웹툴킷 화면에서 Repository 탭을 클릭하여 dataset/input 디렉토리를 선택합니다. 해당 디렉토리에 traffic_processing.csv 파일이 있는지 확인합니다. + +만약 없다면 /home/csle/ksb-csle/examples/input 폴더에 존재하는 traffic_processing.csv 파일을 사용자 HDFS repository dataset/input 폴더에 등록하여 사용합니다. + + + +## 사용자 파이썬 코드 준비하기 +텐서플로우 기반 딥러닝 모델이 구현된 사용자 파이썬 코드가 있어야 합니다. 사용자 파이썬 코드는 프레임워크와 연동하기 위해 프레임워크에서 전달하는 파라미터를 받는 부분, 학습된 모델을 텐서플로우 서빙용으로 export 하는 부분 등이 구현되어야 합니다. 자세한 내용은 KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기 를 참고합니다. +main 함수를 포함한 사용자 파이썬 코드에서 사용하는 라이브러리 파일 등은 동일한 폴더에 위치 시키거나 1 depth의 하위 폴더까지 작성 가능합니다. + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficPeriodicTrainAndK8sServingExample | 워크플로우 이름 +description | 강남교통데이터에 대한 주기적 학습 및 쿠버네티스를 이용한 서빙 예제 | 워크플로우를 설명하는 글 +isBatch | true | 배치 처리를 하는 워크플로우이므로, true 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | Batch | TrainEngine | 반복실행 | 딥러닝 모델 학습 +2 | OnDemandServing | K8sServingEngine | 반복실행 | 최신 모델을 이용한 쿠버네티스 서빙 + +### 첫 번째 엔진 생성하기 + +텐서플로우를 이용하여 딥러닝 학습을 위해 Batch 엔진을 선택합니다. + +####Reader +FileReader를 선택하고 아래표와 같은 속성을 지정합니다. filePath 에 입력 파일의 경로 및 파일명을 지정합니다. 이 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--input` 파라미터로 전달됩니다. + +field |value | 설명 +--|---|-- +filePath| dataset/input/traffic/traffic_processing.csv | 파일 경로 +fileType | CSV | 파일 형태 + + +filePath의 경로 입력창 옆의 "File" 버튼을 클릭하여 HDFS repository 탐색창을 통해 파일을 선택하여 업로드할 수 있습니다. 아래의 그림은 업로드된 후 결과 화면을 나타냅니다. + + + +####Writer +처리 결과를 파일 형태로 저장할 것이므로 FileWriter를 선택합니다. filePath 에 학습한 딥러닝 모델이 최종 저장될 폴더를 지정합니다. 해당 폴더에 자동으로 최신버전의 폴더를 생성한 후 모델이 저장됩니다. 모델의 버전은 0000 부터 시작하여 1씩 증가합니다. filePath 에 입력한 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--output` 파라미터로 전달됩니다. + +본 예제에서는 두번째 엔진인 OnDemandServing 엔진에서 쿠버네티스를 이용한 모델 서빙을 하기 위해 HDFS 절대경로를 지정합니다. 상대경로를 지정할 경우, 동적으로 생성한 **사용자 기본 파일경로** 가 앞에 추가되므로 OnDemandServing 엔진에서 정확한 파일 경로를 지정하는 것이 어렵습니다. + +field |value | 설명 +--|---|-- +filePath | hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam | 모델 저장 경로 +fileType | CSV | 파일 타입 +delimeter | , | 구분자 +header | false | header 포함 여부 +saveMode | | 사용하지 않음 + +####Controller +본 예제에서 Controller는 텐서플로우와 같은 외부시스템를 제어하기 위한 ExternalAnalysisController를 선택합니다. + +####Runner +tensorflowRunner 를 선택합니다. pyEntryPath 에 main 함수를 포함하는 사용자 파이썬 코드(강남 교통 데이터를 학습하기 위한 코드)의 경로 및 파일명을 지정합니다. + +field |value | 설명 +--|---|-- +pyEntryPath | file:///home/csle/ksb-csle/components/src/main/python/kangnam/tensorflow_train.py | 텐서플로우 모델 학습을 위한 파이썬 코드 경로 +cluster | false | cluster 환경 실행 여부 +inJson | false | Json 형태 파라미터 전달 여부 +tfVersion | r1.6 | 텐서플로우의 버전 + + +pyEntryPath 에는 아래와 같이 3가지 경로가 입력 가능합니다. + +1. 로컬 파일시스템 절대경로 지정 + file:///home/csle/ksb-csle/components/src/main/python/kangnam/tensorflow_train.py +2. hdfs 절대경로 지정 + hdfs://csle1:9000/user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam/tensorflow_train.py +3. hdfs 상대경로 지정 + dataset/tensorflowTrainSource/kangnam/tensorflow_train.py + +사용자는 로컬 파일시스템에 원하는 이름(예: kangnam) 폴더를 생성하고 해당 폴더 내에 main 함수를 포함하는 사용자 python 파일(예:tensorflow_train.py)을 작성합니다. +그리고, 관련된 라이브러리 파일 등은 동일한 폴더에 위치 시키거나 1 depth의 하위 폴더까지 작성 가능합니다. + +이렇게 작성된 kangnam 폴더를 KSB 웹툴킷 repository내 dataset/tensorflowTrainSource 폴더내에 업로드합니다. + + + + + +결과적으로 KSB 인공지능 프레임워크는 엔진 실행시, 로컬 파일시스템의 사용자 repository에 있는 kangnam 폴더 및 하위 1 depth 폴더를 file:///home/csle/ksb-csle/components/src/main/python/로 copy 후 tensorflow를 실행합니다. + +####Operator +DLTrainOperator를 선택하고 아래표와 같은 속성을 지정합니다. modelPath 에 내부적으로 학습된 모델을 저장할 경로를 지정합니다. 이 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--modelPath` 파라미터로 전달됩니다. 로컬 파일시스템 절대경로로 입력합니다. +또한, modelPath를 기준으로 최신버전의 폴더를 자동으로 생성하여 사용자 파이썬 코드의 `--model` 파라미터로 전달합니다. 모델의 버전은 0000 부터 시작하여 1씩 증가합니다. 따라서 예를 들면: + +- (modelPath) file:///home/csle/ksb-csle/models/kangnam/model +- (자동생성되는 model) file:///home/csle/ksb-csle/models/kangnam/model/0000 + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/models/kangnam/model | 학습모델 저장 경로 +addtionalParams | 아래 설정 참고 | + +addtionalParams 를 클릭하여 아래의 값을 추가 설정합니다. 사용자가 필요한 파라미터의 이름과 값을 세팅하여 사용자 파이썬 코드로 전달합니다. + +field |value | 설명 +--|---|-- +isTrain | True | 새롭게 학습할 경우에는 True, 그 외의 경우에는 False. +num_epochs | 1 | 학습 반복 횟수 + +####엔진 RunType +매분 주기적으로 실행하기 위해 해당 파라미터를 설정하고 Apply를 누릅니다. 현재 테스트를 위해 주기 : '매분' 설정은 내부적으로 5분 단위의 주기적 실행을 하게 설정되어 있습니다. + + + +
+ +### 두 번째 엔진 생성하기 +두번째 엔진은 강남교통속도 예측모델을 이용하여 텐서플로우 서빙을 동작하기 위한 엔진입니다. 또한 쿠버네티스를 이용하여 온디맨드 서비스를 제공하기 위해 OnDemandServing 엔진을 선택합니다. +OnDemandServing 엔진에서는 데이터를 입출력하기 위한 Reader 와 Writer를 사용하지 않습니다. 데이터는 request 에 실어서 보냅니다. + +#### Controller +본 예제의 Controller는 TensorflowServingController를 사용합니다. + +#### Runner +본 예제의 Runner는 TensorflowServingRunner를 사용합니다. + +field |value | 설명 +--|---|-- +modelBasePath | hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam| 학습 모델 경로 +port | 8001 | 교통속도 예측 RESTful 서비스 포트번호 +modelName | kangnam| 교통속도 예측 모델의 이름 + +쿠버네티스를 이용하여 엔진을 구동하는 경우, 8001번 포트는 쿠버네티스 동작에 의해 외부로 노출되지 않으며, 외부에서 엔진에 접속하기 위해서는 쿠버네티스 마스터에 ingress에 할당된 30100번 포트를 이용합니다. + +#### Operator +본 예제의 Operator는 TensorflowServingOperator를 사용합니다. + + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +####엔진 RunType + +매분 주기적으로 실행하기 위해 해당 파라미터를 설정하고 Apply를 누릅니다. 단, 첫번째 엔진에서 생성된 모델을 이용하여 서빙을 하기 때문에 첫번째 엔진의 시작시간에서 5분 후에 tensorflow 서빙 엔진을 시작하도록 설정합니다. + + + +## 워크플로우 실행 및 모니터링하기 + +### ksb.conf 수정하기 +쿠버네티스를 이용하기 위해 ksb.conf 파일에 쿠버네티스 환경설정 정보를 수정합니다. 그리고 enable을 true로 설정한 후, ./startKsbApiServing.sh 를 실행합니다. + +```sh +vi /home/csle/ksb-csle/conf/ksb.conf +``` +``` +kubernetes { + enable = "true" # 수정필요 + baseUrl = "http://SERVICENAME.ksb.local:30100" + imgRepositoryUrl = "docker.io" + kubernetes_yaml_path = "/kubernetes" + masterIp = "csle1" + masterPort = "2243" + nodesIp = "csle2,csle3" + user = "csle" + externalKafka { + brokerHostName = "csle1" + brokerHostIp = "192.168.0.5" + } +``` + +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 주기적으로 엔진을 배치방식으로 처리하므로 Batch 체크 박스는 체크하고 워크플로우를 제출합니다. + + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에는 위에서 실행한 두 엔진들의 동작 상태 (status) 가 실행 중(Inprogress)인 것을 확인 할 수 있습니다. Batch엔진은 주기적으로 동작하는 시점에만 Ingress 상태를 확인할 수 있으며 OnDemandServing 엔진인 경우 항상 Ingress 상태에서 주기적으로 서빙모델을 업데이트 합니다. + + + +### 주기적으로 학습한 모델 확인하기 +첫 번째 엔진의 FileWriter 에서 지정한 위치에 학습된 모델이 생성된 것을 확인합니다. 첫 번째 엔진이 5분 마다 실행되어 모델을 주기적으로 생성하는 것을 확인할 수 있습니다. 모델의 버전은 0000 부터 자동으로 1씩 증가합니다. + + + + + +### 쿠버네티스 서빙엔진 동작 확인하기 + +쿠버네티스 Dashboard에 접속하여 서빙 엔진 pod들이 동작하는지 확인합니다. Dashboad에 접속하는 방법은 Kubernetes 클러스터 설치하기를 참고합니다. +Dashboaddml Pod 부분에 kangnam-server의 pod가 2개 생성되는지 확인합니다. + +또한, Pode의 로그 아이콘을 콜릭하여 현재 쿠버네티스가 서빙하고 있는 모델의 버전을 확인합니다. 그림에서는 0010 폴더의 모델을 이용해서 텐서플로우 서빙을 하고 있는 것을 확인합니다. + + +5분 후 자동적으로 OnDemandServing 엔진을 다시 실행하게 되므로 기존은 pod들은 점차 삭제되고 새로 생기는 pod들은 다시 새로운 모델 버전을 이용해서 서빙을 하게 됩니다. + +아래 그림과 같이 0011 폴더의 새로운 모델을 이용해서 서빙을 하는 것을 확인할 수 있습니다. + + + +### 결과 확인하기 + +#### /etc/hosts 에 dns 이름 등록하기 +쿠버네티스의 ingress는 도메인 주소와 포트를 이용해 쿠버네티스 내부의 pod로 데이터를 전달합니다. +OnDemandServing 엔진 생성시, TensorflowServingRunner에서 지정한 modelname : "kangnam" 정보를 이용하여 kangnam.ksb.local 주소로 자동 proxy 되도록 설정됩니다. +따라서, host pc의 /etc/hosts를 아래와 같이 수정한 후, 쿠버네티스에서 동작하는 tensorflow 서빙에게 query를 전달하여야 합니다. (쿠버네티스 마스터의 IP는 192.168.0.5로 가정합니다. 자신의 쿠버네티스 클러스터 IP에 맞게 설정합니다.) + +```sh +sudo vi /etc/hosts + +127.0.0.1 localhost +# 아래 주석처리. Hdfs 연동시 문제가 생김. +#127.0.1.1 csle1 + +# The following lines are desirable for IPv6 capable hosts +::1 ip6-localhost ip6-loopback +fe00::0 ip6-localnet +ff00::0 ip6-mcastprefix +ff02::1 ip6-allnodes +ff02::2 ip6-allrouters + +# 쿠버네티스 master, node1, node2 정보 +192.168.0.5 csle1 master +192.168.0.6 csle2 +192.168.0.7 csle3 +# 쿠버네티스 kangnam 서빙 주소 설정 +192.168.0.5 kangnam.ksb.local +``` + +#### 교통속도 예측 질의 및 서비스 결과 보기 +클라이언트 SDK 내의 아래의 디렉터리로 이동합니다. 테스트 스트립트를 실행하여 교통속도 예측 질의를 요청합니다. + +```sh +cd /home/csle/ksb-csle/examples/models/kangnam/client/rest-csv +./predict-speed.sh kangnam.ksb.local:30100 in1.csv +``` + + + +테스트 스크립트를 실행한 결과로 교통속도 예측값을 확인할 수 있습니다. + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficPeriodicTrainAndK8sServingExample 워크플로우를 종료(◼)할 수 있습니다. + + + + diff --git a/manual1903/2.5.15.EdgexDemoSimpleHue.md b/manual1903/2.5.15.EdgexDemoSimpleHue.md new file mode 100755 index 0000000000000000000000000000000000000000..eee2e6976fb1d289bbe75bb667eb2907a47c0b08 --- /dev/null +++ b/manual1903/2.5.15.EdgexDemoSimpleHue.md @@ -0,0 +1,205 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# EdgeX 연동을 통한 장치 제어하기 +--- +EdgeX로부터 센싱 데이터를 수집하고, 이를 전처리한 후, 규칙 기반으로 장치를 제어하는 예제를 소개합니다. + +## EdgeX 연동 환경 +아래 그림과 같이, EdgeX에는 온도 센서 장치와 스마트 전구가 등록되어 있습니다. +EdgeX에 등록된 온도 센서 장치로부터 온도 센서 데이터를 수집한 후, 온도 값에 따라 스마트 전구를 제어하는 메시지를 EdgeX로 전송하는 워크플로우를 작성해보도록 하겠습니다. + + + + +### 온도 센서 데이터 +EdgeX로부터 수신하는 센싱 데이터 메시지는 다음과 같습니다. +```json +{ + "pushed": 0, + "device": "dht22-virtual", + "readings": [ + { + "pushed": 0, + "name": "temperature", + "value": "22", + "device": "dht22-virtual", + "id": "5b6a81b9e4b0e3fa2f07d372", + "created": 1533706681767, + "modified": 1533706681767, + "origin": 0 + }, + { + "pushed": 0, + "name": "packetcount", + "value": 22, + "device": "dht22-virtual", + "id": "5b6a81b9e4b0e3fa2f07d373", + "created": 1533706681832, + "modified": 1533706681832, + "origin": 0 + } + ], + "id": "5b6a81b9e4b0e3fa2f07d374", + "created": 1533706681841, + "modified": 1533706681841, + "origin": 0 +} +``` + +### 스마트 전구 제어 메시지 +EdgeX로 전송할 스마트 전구 제어 메시지는 다음과 같습니다. +```json +{ + "id": "2", + "state": { + "on": true, + "hue": 21845 + } +} +``` + +## 워크플로우 생성하기 +워크플로우 편집기를 이용하여, 다음의 절차에 따라 워크플로우를 생성합니다. + +### 엔진 선택 +본 예제는 EdgeX로부터 발생되는 센서 스트림 데이터를 처리하므로, StreamToStream 엔진을 선택합니다. + +### Reader +HttpServerReader를 선택하고, 아래 표와 같이 속성을 설정합니다. +field |value | 설명 +--|---|-- +port | 57071 | EdgeX로부터 HTTP 스트림 데이터를 수신할 서버의 포트번호를 입력합니다. + +### Writer +HttpClientWriter를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +url | http://{EdgeX-IP}:{EdgeX-Port}}/api/v1/device/5b8756529f8fc2000183fe08/
command/5b8752139f8fc2000183fded | 스마트 전구 제어 메시지를 전달할 URL +method | PUT | HTTP Method 유형 +SrcColumnName | hueCommand | 스마트 전구 제어 메시지를 담고 있는 컬럼의 이름 +headr | 아래 표 참고 | HTTP header 설정 + +header 속성을 아래 표와 같이 설정합니다. +field | value | 설명 +--|---|-- +key | Content-Type | HTTP Content-Type header 이름 +value | application/json | 스마트 전구 제어 메시지의 타입 + +#### Controller +SparkStreamController를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +operationPeriod | 1 | 스트림 데이터를 처리하는 주기 (초 단위) + +#### Runner +SimpleSparkRunner를 선택하고, 아래 표와 같이 속성을 설정합니다. +field | value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달 +sparkArgs | 아래 표 참고 | Spark Application 설정 + +sparkArgs 설정은 다음과 같이 합니다. +field | value | 설명 +--|---|-- +master | local[\*] | 마스터 +numExecutors | 4 | Spark Executor 개수 +excuterCores | 2 | 각 Spark Executor의 core 개수 +executerMemory | 1g | 각 Spark Executor의 메모리 크기 +driverMemory | 1g | Spark Driver 메모리 + +#### Operator +아래의 5개의 Operator를 이용하여, 스트림 데이터를 처리하여 스마트 전구를 제어할 메시지를 생성합니다. + +1. **ExplodeColumnOperator** +온도 센서 메시지를 추출하기 위해, Array 타입의 "readings" 컬럼의 각 요소를 row로 변환합니다. + +field | value | 설명 +--|---|-- +srcColumnName | readings | 온도 센서 메시지를 포함하는 컬럼의 이름 + +2. **SplitColumnOperator** +온도 센서 값을 추출하기 위해, Array 타입의 "readings" 컬럼을 분해합니다. + +field | value | 설명 +--|---|-- +srcColumnName | readings | 온도 센서 값을 포함하는 컬럼의 이름 + +3. **FilterOperator** +온도 센서 값을 제외한 나머지 데이터를 제거합니다. + +field | value | 설명 +--|---|-- +colName | name | 컬럼명 +condition | EXIST | 필터 조건 +pattern | temperature | 온도 센서 키 값 + +4. **ChangeColumnDataTypeOperator** +string 타입의 온도 센서 컬럼을 double 타입을로 변환합니다. + +field | value | 설명 +--|---|-- +columnName | value | 변환할 컬럼의 이름 +dataType | DOUBLE | 변환할 데이터 타입 + +5. **AddConditionalColumnOperator** +온도 센서 값에 따라 스마트 전구 제어 메시지에 대한 규칙을 설정합니다. + +field | value | 설명 +--|---|-- +newColumnName | hueCommand | 스마트 전구 제어 메시지 컬럼의 이름 +rules | 아래 표 참고 | 스마트 전구 제어 규칙 설정 + +rules 설정은 아래와 같이, 3가지 규칙을 입력합니다. +rule | field | value | 설명 +--|--|---|-- +1 | condition | name = 'temperature' and value >= 30 | 첫번째 규칙의 조건 +1 | value | {"id":"2","state":{"on":true,"hue":65535}} | 첫번째 규칙을 만족하는 경우의 스마트 전구 제어 메시지 +2 | condition | name = 'temperature' and (value > 15 and value < 30) | 두번째 규칙의 조건 +2 | value | {"id":"2","state":{"on":true,"hue":21845}} | 두번째 규칙을 만족하는 경우의 스마트 전구 제어 메시지 +3 | condition | name = 'temperature' and value <= 15 | 세번째 규칙의 조건 +3 | value | {"id":"2","state":{"on":true,"hue":43690}} | 세번째 규칙을 만족하는 경우의 스마트 전구 제어 메시지 + + +완성된 워크플로우는 다음과 같습니다. + + +웹툴킷에 ksbuser@etri.re.kr 계정으로 로그인하면, 본 예제 워크플로우가 이미 만들어져 있는 것을 확인할 수 있습니다. +워크플로우 편집기의 불러오기 메뉴를 통해 본 예제를 실행할 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +워크플로우 편집기 화면 상단의 실행 버튼을 클릭하여, 위에서 작성한 워크플로우를 실행합니다. +본 예제는 스트림 타입의 엔진이므로, Batch 체크박스를 해제하고 Run 버튼을 클릭합니다. + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +웹툴킷 [Monitoring] 화면에서 [Workflow] 탭을 선택하여, 위에서 실행한 워크플로우와 엔진의 동작 상태를 확인할 수 있습니다. +정상적으로 실행되어 Status 값이 Inprogress인 것을 확인할 수 있습니다. + + +#### 워크플로우 로그 보기 +[Workflow History] 탭을 선택하여, 현재 동작 중인 워크플로우의 로그 정보를 확인할 수 있습니다. + + +## 결과 확인하기 +위에서 작성한 워크플로우를 테스트하기 위해, Postman을 이용하여 온도 센서 데이터를 전송하고 워크플로우 로그 정보를 통해 스마트 전구 제어 메시지가 EdgeX로 전송되는지를 확인하도록 하겠습니다. + +1. Postman 프로그램을 이용하여, EdgeX로부터 발생하는 온도 센서 메시지를 전송합니다. + + +2. 위에서 설정한 규칙에 따라, 스마트 전구 제어 메시지를 EdgeX로 전송하는지를 로그 정보를 통해 확인합니다. + + +## 워크플로우 종료하기 +웹툴킷 [Monitoring] 화면의 [Workflow] 탭에서, 현재 Status가 Inprogress인 EdgexDemoSimpleHue 워크플로우의 정지(◼) 버튼을 클릭하여 종료시킵니다. + +## 워크플로우 저장하기 +워크플로우 편집기에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.5.2.KMeansExample.md b/manual1903/2.5.2.KMeansExample.md new file mode 100755 index 0000000000000000000000000000000000000000..55dfa0ef1a81a1e399c737e3587991328e057745 --- /dev/null +++ b/manual1903/2.5.2.KMeansExample.md @@ -0,0 +1,127 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 배치방식으로 데이터 처리하기 (KMeansExample) +--- + +KMeans 클러스터링을 수행하는 배치데이터 처리 예제를 설명합니다. + +## 입력 데이터 준비하기 + +본 예제에서는 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 input_kmeans.csv 파일을 사용자 HDFS repository에 등록하여 사용합니다. KSB 웹툴킷 상단의 **Repository** 메뉴를 클릭하여 데이터 저장소 관리화면으로 이동합니다. 파일을 업로드할 폴더(dataset/input)에서 File Upload 버튼을 클릭하여 input_kmeans.csv 파일을 업로드 합니다. 이 때 입력파일을 설명하는 이름(Name)과 설명(Description)을 함께 입력할 수 있습니다. + + + +dataset/input 폴더에 파일이 업로드 된 것을 확인할 수 있습니다. 최상위 폴더는 콤보박스로 선택하여 이동할 수 있습니다. + + + +## 워크플로우 생성하기 +워크플로우 편집화면을 이용하여 아래의 과정을 통해 워크플로우를 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | KMeansExample | 워크플로우 이름 +description | KMeans 클러스터링을 수행하는 배치데이터 처리 예제 | 워크플로우를 설명하는 글 +isBatch | true | 배치 처리를 하는 워크플로우 이므로, true 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +### 엔진 선택 +KSB 인공지능 프레임워크 저장소에 등록된 파일을 입력 받아 전처리를 수행한 후 로컬 파일에 저장하기 위해 **BatchToBatchStream** 엔진을 드래그앤 드롭합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | BatchToBatchStream | ProcessingEngine | 즉시실행 | KMeans 클러스터링 수행 + + +##### Reader +KSB 인공지능 프레임워크 데이터 저장소에 등록된 파일을 읽기 위해 **FileReader** 를 드래그 앤 드롭한 후 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | dataset/input/input_kmeans.csv | 입력 파일 경로 +fileType | CSV | 입력 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +filed | DATA1 / DOUBLE
DATA2 / DOUBLE
DATA3 / INTEGER
DATA4 / DOUBLE
DATA5 / DOUBLE | 파일에서 읽을 칼럼(key)과 타입(type) + +- filePath 입력방법 +File 버튼을 클릭하여 사용자 HDFS repository에 등록된 파일을 선택합니다. + + + + +##### Writer +**FileWriter** 를 드래그 앤 드롭한 후 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | output/result_kmeans | 저장 파일 경로 +fileType | CSV | 저장 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +saveMode | OVERWRITE | 파일 저장 방식 + +##### Controller +**SparkSessionOrStreamController** 를 선택합니다. +**SparkSessionOrStreamController** 는 Spark 환경에서 배치 처리나 스트림 처리에 범용적으로 사용하는 컨트롤러입니다. + +field |value | 설명 +--|---|-- +operationPeriod | 0 | 컨트롤러 실행 주기. 배치처리일 경우, 0. stream 처리의 경우, 실행 주기값 (초단위). + +##### Runner +**SimpleSparkRunner** 를 선택한 후 디폴트 속성값을 사용합니다. + +field |value | 설명 +--|---|-- +master | local [ * ] | Spark 모드. +executerMemory | 1g | Spark의 executor 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +cores | 2 | Spark 현재 할당 코어수 +numExecutors | 2 | Spark의 executor 갯수 +sparkVersion | 2.3.0 | Spark 버전 정보 +driverMemory | 1g | Spark 드라이버에 할당할 메모리 정보 + + +##### Operator +KMeans 클러스터링을 수행하기 위하여 **KMeansOperator** 를 선택한 후 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +k_value | 2 | 클러스터 개수 +maxIterations | 100 | 최대 반복 회수 +maxRuns | 1 | + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 KMeansExample 이름으로 저장되어 있으며, 워크플로우를 불러올 수 있습니다. + + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼(▶)을 클릭합니다. 본 예제는 배치형태로 실행되는 엔진을 사용하였으므로 **Batch** 체크 박스를 체크하고 워크플로우를 실행합니다. + + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단의 **Monitoring** 메뉴를 클릭하여 진행내역/상태모니터링 화면으로 이동합니다. **Workflow** 탭에서 작성한 워크플로우 및 각 엔진의 상태를 확인할 수 있습니다. 또한 실행 중인 워크플로우를 종료(◼)하거나, 다시 실행(▶)할 수 있습니다. + + + + +## 결과 확인하기 +KSB 웹툴킷 데이터 저장소 관리 메뉴에서 해당 폴더에 결과 파일이 생성된 것을 확인 할 수 있습니다. diff --git a/manual1903/2.5.3.DeidentificationExample.md b/manual1903/2.5.3.DeidentificationExample.md new file mode 100644 index 0000000000000000000000000000000000000000..ade0e03bbf5069974c20f2f1372ecb37d2a622f8 --- /dev/null +++ b/manual1903/2.5.3.DeidentificationExample.md @@ -0,0 +1,256 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 비식별 처리하기 (DeidentificationExample) +--- + +2016년 6월 정부합동부처는 개인 정보 보호 및 활용성 증대를 위해 '개인정보비식별 조치 가이드라인'을 발간하여, 가명처리, 총계처리, 데이터삭제, 데이터범주화, 잡음추가로 분류되는 총 17가지의 비식별 처리 기능을 정의하고 이를 활용하여 개인정보 데이터를 비식별 처리할 것을 권고하고 있습니다. + +본 예제에서는 위의 가이드라인에 기반하여, 개인정보 및 개인민감정보가 담겨있는 데이터에 다양한 비식별 처리 기능을 적용하여 개인 정보를 보호하는 방법을 보여줍니다. + +## 입력 데이터 준비하기 +실행을 위해서 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 `adult.csv` 파일(성별, 나이 등의 개인정보가 담겨 있습니다)을 사용자 HDFS repository에 웹툴킷을 이용하여 dataset/input 폴더에 등록합니다. + +## 워크플로우 생성하기 +워크플로우 편집화면을 이용하여 아래의 과정을 통해 개인정보를 비식별처리하는 워크플로우를 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | DeidentificationExample | 워크플로우 이름 +description | 원본 데이터에 총계처리, 가명처리, 부분식별자삭제, 암호화 비식별화 기능을 적용한 예제 | 워크플로우를 설명하는 글 +isBatch | true | 배치 처리를 하는 워크플로우 이므로, true 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +### 엔진 선택 +비식별 처리는 기본적으로 파일 및 대용량의 데이터를 한꺼번에 읽어 들여 비식별 처리 및 적정성 검증을 수행한 후 그 결과를 파일 및 기타 저장공간에 저장하는 형식으로 이루어집니다. 모든 작업이 배치성으로 동작하기에, 배치성 작업을 수행할 수 있는 BatchToBatchStream 엔진을 드래그앤 드롭합니다. + +각 엔진에는 어떤 데이터를 읽어올 것인지 (reader), 읽은 데이터를 어떤 방법으로 처리할 건지 (operator), 처리된 데이터는 어디에 저장할 것인지 (writer), 전체적인 작업을 어떤 식으로 제어하며 (controller), 구동할 것인지 (runner) 등의 정보를 입력해야 합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | BatchToBatchStream | DeIdentificationEngine | 즉시실행 | 비식별 처리 + +#### Reader + +KSB 프레임워크 데이터 저장소에 등록된 성별, 주소 등의 개인정보가 담겨있는 `adult.csv` 파일을 읽어들입니다. 파일을 읽어들이기에, FileReader를 선택하고 아래와 같이 속성을 지정해줍니다. + +field |value | 설명 +--|---|-- +filePath | dataset/input/adult.csv | 입력 파일 경로를 입력합니다. +fileType | CSV | 읽을 파일의 타입을 입력합니다. +delimiter | ; | 컬럼간 구분자를 지정합니다. +filed | 입력없음 | 컬럼의 정보를 입력합니다 (헤더를 포함하여 읽어들였기에 여기선 입력을 안합니다). +header | true | 파일의 header 포함 유무를 입력합니다. +saveMode | OVERWRITE | 사용하지 않음 + + +#### Writer +최종 비식별 처리된 결과를 어떻게 저장할 건지 지정합니다. 여기선 파일로 저장할 것이기에, FileWriter를 선택하고 아래와 같이 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | output/didentification.csv | 결과 파일의 저장경로를 입력합니다. +fileType | CSV | 저장파일의 타입을 입력합니다. +delimiter | , | 컬럼간 구분자를 지정합니다. +header | true | 저장파일의 header 포함 유무를 입력합니다. +saveMode | OVERWRITE | 파일 저장 방식을 선택합니다. + +#### Controller +Controller 로는 SparkSessionOrStreamController 를 선택합니다. +SparkSessionOrStreamController는 Spark 환경에서 배치 처리나 스트림 처리에 범용적으로 사용하는 컨트롤러입니다. +field |value | 설명 +--|---|-- +operationPeriod | 0 | 컨트롤러 실행 주기를 입력합니다. 배치처리이므로 0 을 입력합니다. stream 처리의 경우 실행 주기값을 입력합니다. + +#### Runner +SimpleSparkRunner를 선택합니다. +field |value | 설명 +--|---|-- +master | local [ * ] | Spark local 모드를 입력합니다. +numExecutors | 2 | Spark의 executor 갯수를 입력합니다. +executorCores | 2 | Spark의 현재 할당된 코어수를 입력합니다. +executerMemory | 1g | Spark의 executor 메모리 정보를 입력합니다. +driverMemory | 1g | Spark 드라이버에 할당할 메모리 정보를 입력합니다. +totalCores | 2 | Spark의전체 할당 가능한 코어수를 입력합니다. +sparkVersion | 2.3.0 | Spark 버전 정보를 입력합니다. + +#### Operator +`adult.csv` 파일은 sex, age, race, marital-status, education, native-country, workclass, occupation, salary-class, 이렇게 총 9개의 컬럼으로 이루어져 있습니다. + +본 예제에서는 위의 컬럼 중 age 컬럼에는 총계처리 기법(AggregationOperator)을, race 컬럼에는 휴리스틱 가명화 기법(HeuristicOperator)을, marital-status 컬럼에는 데이터 삭제 기법 중 식별자 부분 삭제 기법(PartialIdenReductionOperator)을, occupation 컬럼에는 가명처리 기법 중 암호화 기법(EncryptionOperator)을 적용하여 비식별 처리하는 방법을 보여줍니다. + +비식별 처리 관련 모든 Operator에는 필수적으로 1) 처리할 컬럼에 대한 속성정보와, 2) 비식별 처리 후 적정성을 검증할 방법에 대한 정보를 포함하게 됩니다. + +먼저, 데이터 컬럼에 대한 속성정보는 Operator의 fieldInfo를 클릭하여 설정합니다. fieldInfo는 아래와 같은 형식으로 정의되며, 여기서는 총계처리를 예제로 들어 설명합니다. +field |value | 설명 +--|---|-- +key | 1 | 총계처리 기능을 적용할 칼럼 ID를 입력합니다. +type | INTEGER | 컬럼의 타입을 명시합니다 (ex., STRING, DOUBLE, ...). +value | age | 컬럼의 이름을 입력합니다. +attrType | SENSITIVE | 컬럼의 속성을 정의합니다 (IDENTIFIER,QUASI-IDENTIFIER, ...). +autoConfigured | true | 컬럼의 hierarchy를 자동으로 생성할건지, 파일로 읽어올것인지 결정합니다. +nLevels | 5 | 자동으로 컬럼 hierarchy 생성시 최대 level을 몇으로 할건지 정의합니다. +filePath | 입력없음 | 컬럼 내 데이터 hierarchy를 파일로 읽어올 경우, 그 파일의 위치를 명시해줍니다. + +컬럼의 hierarchy는 데이터를 어떤 형식으로 일반화할건지 나타내는 것으로, 일반화 기법 적용시 필수적으로 정의되어야 합니다. 가령, '55132'라는 zip code 데이터가 주어진 경우 한번 일반화를 수행하면 '5514*'로 변경될 수 있습니다. 일반화 후에도 적정성 평가를 통과 못하면 추가적으로 일반화를 더 수행하여 '551**''와 같은 데이터로 변경을 하게 됩니다. 일반화 단계에 따른 데이터의 변화를 일반화 단계 정보라 하며, 이 정보는 사용자가 직접 파일 형식으로 저장하여 그 파일로부터 읽어들이게 됩니다. 또는 autoConfigured true 설정을 통해 자동적으로 일반화 단계 정보를 구성할 수도 있습니다 (자동 구성시, 데이터의 syntatic 정보는 고려되지 않은 채, 숫자 값의 크기 또는 문자열의 길이를 기반으로 단순히 일반화 단계가 정의됩니다) + +데이터 처리자는 비식별 처리 후 개인정보 및 민감정보 제거여부에 대해 적정성 검증을 수행해야 합니다 (6월 발간된 비식별 조치가이드라인에서는 k-익명성 기반 적정성 검증만이라도 필수적으로 수행하길 권고하고 있습니다). 적정성 검증에 대한 정보는 다음과 같은 형식으로 정의됩니다. Operator 내 check라는 버튼을 클릭한 후 아래와 같이 설정합니다. +field |value | 설명 +--|---|-- +measureLoss | AECS | 원본 데이터 대비 비식별 처리된 데이터의 데이터 손실량을 측정합니다. +measureRisk | UNIQUENESS | 비식별 처리된 데이터의 재식별 위험성을 측정합니다. +checkAnonymity | KANONYMITYCHECK | 적정성 검증 수행 방법을 정의합니다. + +비식별 처리 Operator들은 위의 컬럼 속성 정보와 적정성 검증 방법을 필수적으로 설정해야 합니다. + + 1. **AggregationOperator** +age 컬럼은 개인의 속성을 나타내는 민감정보에 해당하기에, 다음의 설정을 통해 총계 처리 기능을 적용합니다. + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | 총계처리 기능을 적용할 칼럼 ID를 입력합니다. +method | AVG | 어떤방법으로 총계처리할지를 입력합니다 (ex., MIN, MAX, AVG...). +fieldInfo | 아래의 표 참고 | 컬럼의 속성을 정의합니다. +check | 위의 공통 설정 | 적정성 평가를 어떻게 수행할지 정의합니다. + +fieldInfo 설정은 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +key | 1 | 총계처리 기능을 적용할 칼럼 ID를 입력합니다. +type | INTEGER | 컬럼의 타입을 명시합니다 (ex., STRING, DOUBLE, ...). +value | age | 컬럼의 이름을 입력합니다. +attrType | SENSITIVE | 컬럼의 속성을 정의합니다 (IDENTIFIER,QUASI-IDENTIFIER, ...). +autoConfigured | true | 컬럼의 hierarchy를 자동으로 생성할건지, 파일로 읽어올것인지 결정합니다. +nLevels | 5 | 자동으로 컬럼 hierarchy 생성시 최대 level을 몇으로 할건지 정의합니다. +filePath | 입력없음 | 컬럼 내 데이터 hierarchy를 파일로 읽어올 경우, 그 파일의 위치를 명시해줍니다. + +위와 같이 설정하면 age 컬럼은 평균값으로 대체됩니다. + + 2. **HeuristicOperator** +race 컬럼을 개인 민감정보로 가정하고, 다음의 설정을 통해 휴리스틱 가명처리 기능을 적용할 수 있습니다. 가명처리는 데이터 처리자가 manually 입력하거나, 랜덤문자열로 대체할 수 있습니다. + +field |value | 설명 +--|---|-- +selectedColumnId | 2 | 가명처리 기능을 적용할 칼럼 ID를 입력합니다. +method | HEUR_RANDOM | 가명처리 방법을 선택합니다 (HEUR_RANDOM, HEUR_MANUAL, HEUR_FILE). +manualInfo | - | 특정 데이터를 원하는 값으로 변경합니다. +randInfo | 아래의 표 참고 | 데이터를 랜덤 문자열로 변경합니다. +fieldInfo | 아래의 표 참고 | 컬럼의 속성을 정의합니다. +check | 위의 공통 설정 | 적정성 평가를 어떻게 수행할지 정의합니다. + +본 예제에서는 데이터를 랜덤 문자열로 변경합니다. 랜덤 문자열을 생성을 위해, randInfo 클릭 후 다음과 같이 설정합니다. +field |value | 설명 +--|---|-- +randMethod | MIXED | 숫자, 문자를 섞어서 랜덤문자를 생성합니다. +length | 5 | 랜덤 문자열의 길이는 5로 정합니다. + +fieldInfo 설정은 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +key | 2 | 기능을 적용할 칼럼 ID를 입력합니다. +type | STRING | 컬럼의 타입을 명시합니다. +value | race | 컬럼의 이름을 입력합니다. +attrType | SENSITIVE | 컬럼의 속성을 정의합니다. +autoConfigured | true | 컬럼의 hierarchy를 자동으로 생성할건지, 파일로 읽어올것인지 결정합니다. +nLevels | 5 | 자동으로 컬럼 hierarchy 생성시 최대 level을 몇으로 할건지 정의합니다. +filePath | 입력없음 | 컬럼 내 데이터 hierarchy를 파일로 읽어올 경우, 그 파일의 위치를 명시해줍니다. + + +위와 같이 설정하면 race 컬럼의 각 데이터는 숫자, 문자 5글자로 이루어진 랜덤 문자로 대체되게 됩니다. + + 3. **PartialIdenReductionOperator** +marital-status 컬럼에 식별자 부분 삭제 기능을 적용합니다. 가이드라인에 제시된 예시 ('서울특별시 송파구 가락본동 78번지 → 서울시 송파구'로 변경)에 기반하여 이 기능을 외국에서 사용하는 일반화 기법으로 간주합니다. + +field |value | 설명 +--|---|-- +method | DELETE | 삭제할건지 대체할 건지를 나타내는 필드이지만, 현재는 사용되지 않습니다. +columnHandlePolicy | ONEBYONE | 식별자 컬럼 각각에 적용합니다. +generalizedColumnInfo | 아래의 표 참고 | 일반화를 어떻게 수행할건지 정의합니다. +fieldInfo | 아래의 표 참고 | 컬럼의 속성을 정의합니다. +check | 위의 공통 설정 | 적정성 평가를 어떻게 수행할지 정의합니다. + +일반화 기법 적용시 일반화 단계에 대한 정보가 제공되어야 합니다. generalizedColumnInfo 를 다음과 같이 입력합니다. + +field |value | 설명 +--|---|-- +selectedColumnId | 3 | 일반화 기능을 적용할 칼럼 ID를 입력합니다. +numLevels | 4 | 컬럼 hierarchy 생성시 최대 level을 몇으로 할건지 정의합니다. +curLevel | 2 | 수행하고자 하는 일반화 단계를 입력합니다. + +fieldInfo 설정은 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +key | 3 | 기능을 적용할 칼럼 ID를 입력합니다. +type | STRING | 컬럼의 타입을 명시합니다. +value | marital-status | 컬럼의 이름을 입력합니다. +attrType | IDENTIFIER | 컬럼의 속성을 정의합니다. +autoConfigured | true | 컬럼의 hierarchy를 자동으로 생성할건지, 파일로 읽어올것인지 결정합니다. +nLevels | 5 | 자동으로 컬럼 hierarchy 생성시 최대 level을 몇으로 할건지 정의합니다. +filePath | 입력없음 | 컬럼 내 데이터 hierarchy를 파일로 읽어올 경우, 그 파일의 위치를 명시해줍니다. + +위와 같이 설정시, marital-status의 데이터를 총 4단계로 구분하여 2단계로 일반화 기법을 적용하게 됩니다. 가령 marital-status내의 한 데이터가 8자리 문자열로 이루어진 'abcdefgh'라면, 1단계 일반화는 'abcdef*', 2단계 일반화는 'abcd*', 3단계 일반화는 'ab*'가 됩니다. + + 4. **EncryptionOperator** +occupation 컬럼에 암호화 기법을 적용합니다. + +field |value | 설명 +--|---|-- +selectedColumnId | 7 | 암호화 기능을 적용할 칼럼 ID를 입력합니다. +key | SHA1 | key 생성시 사용할 알고리즘을 선택합니다. +method | AES | 암호화 방법을 선택합니다. +fieldInfo | 아래의 표 참고 | 컬럼의 속성을 정의합니다. +check | 위의 공통 설정 | 적정성 평가를 어떻게 수행할지 정의합니다. + +fieldInfo 설정은 다음과 같이 합니다. + +field |value | 설명 +--|---|-- +key | 7 | 기능을 적용할 칼럼 ID를 입력합니다. +type | STRING | 컬럼의 타입을 명시합니다. +value | occupation | 컬럼의 이름을 입력합니다. +attrType | IDENTIFIER | 컬럼의 속성을 정의합니다. +autoConfigured | true | 컬럼의 hierarchy를 자동으로 생성할건지, 파일로 읽어올것인지 결정합니다. +nLevels | 5 | 자동으로 컬럼 hierarchy 생성시 최대 level을 몇으로 할건지 정의합니다. +filePath | 입력없음 | 컬럼 내 데이터 hierarchy를 파일로 읽어올 경우, 그 파일의 위치를 명시해줍니다. + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 DeidentificationExample의 이름의 예제 워크플로우를 불러올 수 있습니다. + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 이 때, BatchToBatchStream 엔진은 배치형태로 실행되는 엔진이므로 Batch 체크 박스를 체크하고 워크플로우를 제출합니다. + + +### 워크플로우 모니터링 하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 작성한 워크플로우가 실행 중 (Inprogress)인 것을 확인할 수 있습니다. 이 화면에서 실행 중인 워크플로우를 종료(◼)하거나, 다시 실행(▶)할 수 있습니다. 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + + +"WorkFlow History" 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +### 결과 파일 확인하기 +"WorkFlow History" 탭에서 "TEXT 결과 파일 보기" 버튼을 클릭하여 didentification.csv 파일이 생성된 것을 확인할 수 있습니다. + + + +KSB 웹툴킷 데이터 저장소 관리 메뉴에서도 FileWriter 에서 지정한 위치에 didentification.csv 파일이 생성된 것을 확인할 수 있습니다. + + diff --git a/manual1903/2.5.4.BatchMLTrainInSingleEngine.md b/manual1903/2.5.4.BatchMLTrainInSingleEngine.md new file mode 100755 index 0000000000000000000000000000000000000000..2b17c4f5179cbdeb6f0d4995a413bf0f6eb6078f --- /dev/null +++ b/manual1903/2.5.4.BatchMLTrainInSingleEngine.md @@ -0,0 +1,139 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# ML 모델 학습하기 (BatchMLTrainInSingleEngine) +--- + +이 예제에서는 기계학습모델을 학습하는 방법을 설명합니다. + +KSB 프레임워크는 다수의 기계학습모델 학습기능을 제공합니다. 제공하는 모델은 Classification 3종, Regression 3종으로 각각 아래와 같습니다. + +Type | 기계학습모델 +--|-- +Classification | + | Naive Bayes | + | Decision Tree | + | Random Forests | +Regression | + | Decision Tree + | Linear Regression + | Random Forests + +이 예제에서는 Decision Tree 모델을 학습하는 과정을 보여줍니다. + +## 입력 데이터 준비하기 + +입력데이터는 Apache Spark이 제공하는 DataFrame 을 저장하고 있는 parquet 파일이어야 합니다. 이 때 DataFrame은 "features" 칼럼과 "label" 칼럼을 반드시 포함하고 있어야 합니다. "features" 칼럼은 VectorAssembler 형태의 자료여야 합니다 (참고: https://spark.apache.org/docs/latest/ml-features.html#vectorassembler). "label" 칼럼은 Classification의 경우에는 수치 혹은 문자열이어야 하며 (예: "cat", "dog"), Regression의 경우에는 수치값이어야 합니다. + +본 예제에서는 Host PC의 "/home/csle/ksb-csle/pyML/autosparkml/datasets/iris_dataset" 폴더를 사용자 HDFS repository 의 "dataset/iris_dataset" 로 업로드하여 사용합니다. 이 자료는 DataFrame 을 저장하고 있는 parquet 형태의 자료입니다. + +참고: 입력데이터가 CSV 형태일 때 parquet로 변환하는 예제는 이 매뉴얼을 참고하면 됩니다: CSV 파일 Parquet 변환 + +## 워크플로우 생성하기 +워크플로우 편집화면을 이용하여, 아래 과정을 거쳐 워크플로우를 생성합니다. + +### 엔진 선택 +기계학습모델 학습기능을 사용하기 위해 External 엔진을 드래그앤 드롭합니다. "Workflow Property"는 아래와 같이 지정합니다. + +field |value | 설명 +--|---|-- +name | BatchMLTrainInSingleEngine | 워크플로우 이름 +description | DecisionTree 분류 예제 | 워크플로우 설명 +isBatch | true | Batch 실행여부 + +#### Reader +파일형태의 입력자료를 읽기위해 FileReader를 드래그앤 드롭하고, 아래표와 같이 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | dataset/iris_dataset | 파일경로 +fileType | CSV | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | false | 헤더포함여부 + +filePath는 직접 입력할 수도 있으며, 아래 화면처럼 GUI를 이용해 선택할 수도 있습니다 (filePath 속성에 "File" 버튼 클릭). 기타 속성은 기본값으로 두면 됩니다. 참고: 상기하였듯이, 입력파일 형태는 parquet 만 지원하기 때문에 기타 속성을 변경하여도 적용되지 않습니다. + + + +#### Writer +학습결과물을 파일형태로 저장하기 위해 FileWriter를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +filePath | autosparkml | 저장경로 +fileType | CSV | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | false | 헤더포함여부 + +Reader의 경우와 마찬가지로 filePath는 직접 입력할 수도 있으며, GUI를 이용해 선택할 수도 있습니다. 이 외의 속성은 기본값으로 설정합니다. + +#### Controller +Controller로는 PySparkMLTrainer를 드래그앤 드롭합니다. + +#### Runner +PySparkRunner를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +pyEntry | file:////home/csle/ksb-csle/pyML/autosparkml/bridge/call_trainer.py | 실행 Python 스크립트 +sparkArgs | | Spark 상세설정 +inJason | false | Jason 형태 파라미터 전달여부 + +sparkArgs 버튼을 누르면 아래와 같이 Apache Spark 실행환경을 설정할 수 있는 창이 뜹니다. 이 예제에서는 기본값을 사용합니다. + + + +#### Operator +Decision Tree 모델을 학습하기 위해 DecisionTreeClassifier를 드래그앤 드롭합니다. 속성값은 따로 설정하지 않아도 KSB 프레임워크가 자동으로 최적의 값을 찾아 최적모델을 학습합니다. 이는 위 테이블에서 나열한 Classification 3종 및 Regression 3종 모델의 경우에도 마찬가지입니다. + +field |value | 설명 +--|---|-- +maxDepth | 0 보다 큰 값 | Tree node의 최대 깊이 +maxBins | 0 보다 큰 값 | Tree 최대 Bin 개수 + +maxDepth 값이 클수록 좋은 성능의 모델이 학습될 가능성은 높아지지만 학습속도는 느려집니다. maxBins은 입력자료값을 이산화하는 최대 개수를 나타냅니다. 입력샘플 수보다는 작아야 합니다. maxBins 값이 클수록 모델성능이 높아질 가능성이 있지만, 학습속도는 느려집니다. + +### 워크플로우 완성 화면 + +아래 그림은 위 과정을 거쳐 완성된 워크플로우 화면입니다. ksbuser@etri.re.kr 계정으로 접속하면 동일한 이름의 워크플로우가 이미 만들어져있으며 (BatchMLTrainInSingleEngine), 이 워크플로우를 불러와 실행해 볼 수도 있습니다. + + 참고: 이미 만들어진 워크플로우를 사용할 때에도, iris_dataset 은 HDFS 에 따로 업로드해야 합니다. + + + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행버튼 (▶)을 누릅니다. 이 예제의 엔진은 배치형태로 실행되므로 "Batch" 체크박스를 체크하고 워크플로우를 제출합니다. + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 작성한 워크플로우가 실행 중 (Inprogress)인 것을 확인할 수 있습니다. 이 화면에서 실행 중인 워크플로우를 종료(◼)할 수 있으며, 종료된 워크를로우를 다시 실행(▶)할 수도 있습니다. + + + +#### 워크플로우 로그 보기 +위 화면에서 "WorkFlow History" 탭을 선택하면, KSB 프레임워크가 수행한 워크플로우들의 목록 및 각각의 로그 (목록 최우측의 i 버튼 클릭)를 확인할 수 있습니다. + + + +위 화면에서 "Text 결과 파일 보기" 버튼을 누르면 학습성능 파일을 아래처럼 열어볼 수 있습니다. Classification 경우에는 $F_1$ 스코어가 기록됩니다. Regression의 경우에는 MAE (Mean Absolute Error), MSE (Mean Squared Error) 및 MAPE (Mean Absolute Percentage Error)가 기록됩니다. + + + + +## 결과 확인하기 + +### 최적학습모델 확인하기 +워크플로우 실행의 결과물인 최적학습모델은 FileWriter 속성에서 설정한 저장경로에 저장되어 있으며, KSB 웹툴킷 상단의 "Repository" 메뉴에서 확인할 수 있습니다. 먼저 "applications" 폴더 안의 워크플로우 ID 폴더로 들어갑니다 (워크플로우 ID는 Monitoring 메뉴에서 확인 가능합니다). 해당 저장경로 ("autosparkml") 안에 모델을 포함하는 폴더 및 파일이 생성되어 있으면 워크플로우가 성공적으로 수행된 것입니다 (아래 그림 참조). 동일한 폴더 아래에 있는 "acc.csv" 파일은 위에서 설명한 "Text 결과 파일 보기" 버튼을 눌러 보이는 결과를 포함하는 파일입니다. + + diff --git a/manual1903/2.5.5.BatchAutoMLTrainInSingleEngine.md b/manual1903/2.5.5.BatchAutoMLTrainInSingleEngine.md new file mode 100755 index 0000000000000000000000000000000000000000..ead0279baf8c13031110b62785a2940036dceefb --- /dev/null +++ b/manual1903/2.5.5.BatchAutoMLTrainInSingleEngine.md @@ -0,0 +1,123 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# AutoML 학습하기 (BatchAutoMLTrainInSingleEngine) +--- + +이 예제에서는 자동기계학습 (**AutoML**: Automated Machine Learning)을 이용하여 최적모델을 학습하는 방법을 설명합니다. + +자동기계학습은 기계학습 전문가의 도움없이 주어진 입력자료에 대해 최적의 기계학습모델을 자동으로 찾아내는 기술입니다. KSB 프레임워크는 독자적으로 개발된 Auto-SparkML (Automated Machine Learning for Apache Spark)을 통해 Big-Data 분석용 AutoML 기능을 제공합니다. + +## 입력 데이터 준비하기 + +입력데이터는 Apache Spark이 제공하는 DataFrame 을 저장하고 있는 parquet 파일이어야 합니다. 이 때 DataFrame은 "features" 칼럼과 "label" 칼럼을 반드시 포함하고 있어야 합니다. "features" 칼럼은 VectorAssembler 형태의 자료여야 합니다 (참고: https://spark.apache.org/docs/latest/ml-features.html#vectorassembler). "label" 칼럼은 Classification의 경우에는 수치 혹은 문자열이어야 하며 (예: "cat", "dog"), Regression의 경우에는 수치값이어야 합니다. + +본 예제에서는 Host PC의 "/home/csle/ksb-csle/pyML/autosparkml/datasets/iris_dataset" 폴더를 사용자 HDFS repository 의 "dataset/iris_dataset" 로 업로드하여 사용합니다. 이 자료는 DataFrame 을 저장하고 있는 parquet 형태의 자료입니다. + +참고: 입력데이터가 CSV 형태일 때 parquet로 변환하는 예제는 이 매뉴얼을 참고하면 됩니다: CSV 파일 Parquet 변환 + +## 워크플로우 생성하기 +워크플로우 편집화면을 이용하여 아래 과정을 거쳐 워크플로우를 생성합니다. + +### 엔진 선택 +AutoML 기능을 사용하기 위해 External 엔진을 드래그앤 드롭합니다. "Workflow Property"는 아래와 같이 지정합니다. + +field |value | 설명 +--|---|-- +name | BatchAutoMLTrainInSingleEngine | 워크플로우 이름 +description | AutoML 학습 예제 | 워크플로우 설명 +isBatch | true | Batch 실행여부 + +#### Reader +파일형태의 입력자료를 읽기위해 FileReader를 드래그앤 드롭하고, 아래표와 같이 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | dataset/iris_dataset | 파일경로 +fileType | CSV | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | false | 헤더포함여부 + +filePath는 직접 입력할 수도 있으며, 아래 화면처럼 GUI를 이용해 선택할 수도 있습니다 (filePath 속성에 "File" 버튼 클릭). 기타 속성은 기본값으로 두면 됩니다. 참고: 상기하였듯이, 입력파일 형태는 parquet 만 지원하기 때문에 기타 속성을 변경하여도 적용되지 않습니다. + + + +#### Writer +학습결과물을 파일형태로 저장하기 위해 FileWriter를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +filePath | autosparkml | 저장경로 +fileType | CSV | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | false | 헤더포함여부 + +Reader의 경우와 마찬가지로 filePath는 직접 입력할 수도 있으며, GUI를 이용해 선택할 수도 있습니다. 이 외의 속성은 기본값으로 설정합니다. + +#### Controller +Controller는 PySparkMLTrainer를 사용합니다. + +#### Runner +PySparkRunner를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +pyEntry | file:////home/csle/ksb-csle/pyML/autosparkml/bridge/call_trainer.py | 실행 Python 스크립트 +sparkArgs | | Spark 상세설정 +inJason | false | Jason 형태 파라미터 전달여부 + +sparkArgs 버튼을 누르면 아래와 같이 Apache Spark 실행환경을 설정할 수 있는 창이 뜹니다. 이 예제에서는 기본값을 사용합니다. + + + +#### Operator +AutoML 기능을 사용하기 위해 AutoSparkMLOperator를 드래그앤 드롭합니다. AutoML은 모든 과정이 자동으로 수행되지만 기계학습 유형은 선택해야 합니다 (예: Classification 혹은 Regression). + +field |value | 설명 +--|---|-- +type | Classification | 기계학습 유형 + +### 워크플로우 완성 화면 + +아래 그림은 위 과정을 거쳐 완성된 워크플로우 화면입니다. ksbuser@etri.re.kr 계정으로 접속하면 동일한 이름의 워크플로우가 이미 만들어져있으며 (BatchAutoMLTrainInSingleEngine), 이 워크플로우를 불러와 실행해 볼 수도 있습니다. + +참고: 이미 만들어진 워크플로우를 사용할 때에도, iris_dataset 은 HDFS 에 따로 업로드하여야 합니다. + + + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행버튼 (▶)을 누릅니다. 이 예제의 엔진은 배치형태로 실행되므로 "Batch" 체크박스를 체크하고 워크플로우를 제출합니다. + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 작성한 워크플로우가 실행 중 (Inprogress)인 것을 확인할 수 있습니다. 이 화면에서 실행 중인 워크플로우를 종료(◼)할 수 있으며, 종료된 워크를로우를 다시 실행(▶)할 수도 있습니다. + + + +#### 워크플로우 로그 보기 +위 화면에서 "WorkFlow History" 탭을 선택하면, KSB 프레임워크가 수행한 워크플로우들의 목록 및 각각의 로그 (목록 최우측의 i 버튼 클릭)를 확인할 수 있습니다. + + + +위 화면에서 "Text 결과 파일 보기" 버튼을 누르면 학습성능 파일을 아래처럼 열어볼 수 있습니다. Classification 경우에는 $F_1$ 스코어가 기록됩니다. Regression의 경우에는 MAE (Mean Absolute Error), MSE (Mean Squared Error) 및 MAPE (Mean Absolute Percentage Error)가 기록됩니다. + + + + +## 결과 확인하기 + +### 최적학습모델 확인하기 +워크플로우 실행의 결과물인 최적학습모델은 FileWriter 속성에서 설정한 저장경로에 저장되어 있으며, KSB 웹툴킷 상단의 "Repository" 메뉴에서 확인할 수 있습니다. 먼저 "applications" 폴더 안의 워크플로우 ID 폴더로 들어갑니다 (워크플로우 ID는 Monitoring 메뉴에서 확인 가능합니다). 해당 저장경로 ("autosparkml") 안에 모델을 포함하는 폴더 및 파일이 생성되어 있으면 워크플로우가 성공적으로 수행된 것입니다 (아래 그림 참조). 동일한 폴더 아래에 있는 "acc.csv" 파일은 위에서 설명한 "Text 결과 파일 보기" 버튼을 눌러 보이는 결과를 포함하는 파일입니다. + + diff --git a/manual1903/2.5.6.BatchMLPredictInSingleEngine.md b/manual1903/2.5.6.BatchMLPredictInSingleEngine.md new file mode 100755 index 0000000000000000000000000000000000000000..acceca60b09e145470989e27ac2c14b2b0877680 --- /dev/null +++ b/manual1903/2.5.6.BatchMLPredictInSingleEngine.md @@ -0,0 +1,118 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 배치방식으로 ML 모델 예측결과 얻기 (BatchMLPredictInSingleEngine) +--- + +KSB 프레임워크는 기존에 학습된 모델을 이용하여, 예측하는 기능을 제공합니다. 이 예제에서는 자료를 Batch 형태로 입력받아 예측하는 과정을 설명합니다. + +## 입력 데이터 준비하기 +입력데이터는 Apache Spark이 제공하는 DataFrame 을 저장하고 있는 parquet 파일이어야 합니다. 이 때 DataFrame은 "features" 칼럼과 "label" 칼럼을 반드시 포함하고 있어야 합니다. "features" 칼럼은 VectorAssembler 형태의 자료여야 합니다 (참고: https://spark.apache.org/docs/latest/ml-features.html#vectorassembler). "label" 칼럼은 Classification의 경우에는 수치 혹은 문자열이어야 하며 (예: "cat", "dog"), Regression의 경우에는 수치값이어야 합니다. + +본 예제에서는 Host PC의 "/home/csle/ksb-csle/pyML/autosparkml/datasets/iris_dataset" 폴더를 사용자 HDFS repository 의 "dataset/iris_dataset" 로 업로드하여 사용합니다. + +## 워크플로우 생성하기 +워크플로우 편집화면을 이용하여, 아래 과정을 거쳐 워크플로우를 생성합니다. + +### 엔진 선택 +기계학습모델 학습기능을 사용하기 위해 BatchToBatchStream 엔진을 드래그앤 드롭합니다. "Workflow Property"는 아래와 같이 지정합니다. + +field |value | 설명 +--|---|-- +name | BatchMLPredictInSingleEngine | 워크플로우 이름 +description | AutoML로 학습된 모델로부터 예측하는 예제 | 워크플로우 설명 +isBatch | true | Batch 실행여부 + +#### Reader +파일을 읽기위해 FileReader를 드래그앤 드롭하고, 아래표와 같이 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | dataset/iris_dataset | 파일경로 +fileType | PARQUET | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | false | 헤더포함여부 + +filePath는 직접 입력할 수도 있으며, 아래 화면처럼 GUI를 이용해 선택할 수도 있습니다 (filePath 속성에 "File" 버튼 클릭). 기타 속성은 기본값으로 두면 됩니다. 참고: 상기하였듯이, 입력파일 형태는 parquet 만 지원하기 때문에 기타 속성을 변경하여도 적용되지 않습니다. + + + +#### Writer +예측결과물을 파일형태로 저장하기 위해 FileWriter를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +filePath | autosparkml | 저장경로 +fileType | CSV | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | false | 헤더포함여부 + +Reader의 경우와 마찬가지로 filePath는 직접 입력할 수도 있으며, GUI를 이용해 선택할 수도 있습니다. + +#### Controller +Controller 로는 SparkSessionOrStreamController를 드래그앤 드롭합니다. + +#### Runner +SimpleSparkRunner 를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +inJason | false | Jason 형태 파라미터 전달여부 +sparkArgs | | Spark 상세설정 + +sparkArgs 버튼을 누르면 아래와 같이 Apache Spark 실행환경을 세부설정할 수 있는 창이 뜹니다. 이 예제에서는 기본값을 사용합니다. + + + +#### Operator +SparkMLPredictOperator 를 드래그앤 드롭합니다. 속성값을 아래와 같이 설정합니다. + +field |value | 설명 +--|---|-- +modelPath | 모델 Path | 학습된 모델 경로 +clsNameForModel | org.apache.spark.ml.PipelineModel | 모델 Class 명 + +modelPath는 모델경로입니다. 따라서 반드시 기존에 학습된 모델이 존재해야 합니다. 이 예쩨에서는 BatchMLTrainInSingleEngine 혹은 BatchAutoMLTrainInSingleEngine 예제에서 생성된 모델의 경로를 지정합니다 (예: applications/ksbuser_etri_re_kr-ffc6cf5e-b929-4acc-9527-a6d78d2fd026_1/model/autosparkml/0000). 수동으로 입력할 수도 있고, "File" 버튼을 눌러 GUI를 이용해 선택할 수도 있습니다. + +### 워크플로우 완성 화면 + +아래 그림은 위 과정을 거쳐 완성된 워크플로우 화면입니다. ksbuser@etri.re.kr 계정으로 접속하면 동일한 이름의 워크플로우가 이미 만들어져있으며 (BatchMLPredictInSingleEngine), 이 워크플로우를 불러올 수도 있습니다. 참고: 이미 만들어진 워크플로우를 사용할 때에도, iris_dataset 은 HDFS 에 따로 업로드하여야 합니다. 또한 예측에 사용할 모델이 미리 학습되어 있어야 합니다. + + + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행버튼 (▶)을 누릅니다. 이 예제의 엔진은 배치형태로 실행되므로 "Batch" 체크박스를 체크하고 워크플로우를 제출해야합니다. + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 작성한 워크플로우가 실행 중 (Inprogress)인 것을 확인할 수 있습니다. 이 화면에서 실행 중인 워크플로우를 종료(◼)할 수 있으며, 종료된 워크를로우를 다시 실행(▶)할 수도 있습니다. + + + +#### 워크플로우 로그 보기 +위 화면에서 "WorkFlow History" 탭을 선택하면, KSB 프레임워크가 수행한 워크플로우들의 목록 및 각각의 로그 (목록 최우측의 i 버튼 클릭)를 확인할 수 있습니다. + + + +위 화면에서 "Text 결과 파일 보기" 버튼을 누르면 학습성능 파일을 아래처럼 열어볼 수 있습니다. Classification 경우에는 $F_1$ 스코어가 기록됩니다. Regression의 경우에는 MAE (Mean Absolute Error), MSE (Mean Squared Error) 및 MAPE (Mean Absolute Percentage Error)가 기록됩니다. + + + + +## 결과 확인하기 + +### 최적학습모델 확인하기 +워크플로우 실행의 결과물은 KSB 웹툴킷 상단의 "Repository" 메뉴에서 확인할 수 있습니다. 먼저 "applications" 폴더 안의 워크플로우 ID 폴더로 들어갑니다 (워크플로우 ID는 Monitoring 메뉴에서 확인 가능합니다). 해당 경로안에 "output" 폴더가 생성되어 있고 FileWriter 에서 설정한 "autosparkml" 파일이 생성되어 있으면 워크플로우가 성공적으로 수행된 것입니다 (아래 그림 참조). 생성된 파일은 파일은 위에서 설명한 "Text 결과 파일 보기" 버튼을 눌러 보이는 결과를 포함하는 파일입니다. + + diff --git a/manual1903/2.5.7.RealtimeIngestToPredictInSingleEngine.md b/manual1903/2.5.7.RealtimeIngestToPredictInSingleEngine.md new file mode 100755 index 0000000000000000000000000000000000000000..627f219c5516cd83e5df349fc6e9c42697f0f6dc --- /dev/null +++ b/manual1903/2.5.7.RealtimeIngestToPredictInSingleEngine.md @@ -0,0 +1,171 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 스트림 방식으로 ML모델 예측결과 얻기 (RealtimeIngestToPredictInSingleEngine) +--- + +온도센서 데이터를 수집한 후 전처리를 수행하여 Kafka 스트림으로 내보내는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 온도 센서 스트림 데이터를 HTTP로 입력 받는 것을 가정합니다. 이를 위해 Jmeter 도구를 활용합니다. + +Jmeter 설명 바로가기 + + +### 온도 스트림데이터 생성하기 +워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야 합니다. Jmeter를 활용한 온도 스트림 데이터 생성 방법은 메뉴얼 하단의 "결과 확인하기" 를 확인해 주시기 바랍니다. + + +##워크플로우 생성하기 +워크플로우 편집 화면을 이용하여 아래의 과정을 통해 워크플로우를 생성합니다. + +### 엔진 생성하기 +####엔진 선택 +본 예제에서는 스트림형태로 입력되는 온도 데이터를 입력받아 실시간 온도를 예측해서 스트림 형태로 출력하므로 StreamToStream엔진을 선택합니다. + +#####Reader +HTTP 서버로부터 전달되어 오는 센서데이터를 입력 받기 위해 HttpServerReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +ip | 0.0.0.0 | HTTP 서버의 IP 주소 +path | / | HTTP 서버의 URL +port | 53002 | HTTP 서버의 포트 번호 + + +#####Writer +StreamToStream엔진에서 처리된 결과를 Kafka topic 으로 출력 할 것이므로 KafkaWriter를 선택합니다. +field |value | 설명 +--|---|-- +topic | test3 | 온도 예측 결과를 받아서 저장할 때 사용할 Kafka 큐의 이름 +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | group3 | Kafka writer topic 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 접속 주소(IP, 포트번호) + + +#####Controller +Controller 로는 WindowedSparkSessionOrStreamController 를 선택합니다. WindowedSparkSessionOrStreamController 는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. +field |value | 설명 +--|---|-- +operationPeriod | 2 | Reader로 부터 데이터를 읽어올 주기 | 53002 | HTTP 서버의 포트번호 +inputQueSize | 1 | 입력큐의 크기 | | +selectedColumnName | temperature | Spark dataframe에서 추출할 컬럼의 이름 | | +windowSize | 10 | 큐에서 사용할 윈도우의 크기 | | + +#####Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | master | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +executerMemory | 1g | Spark 의 익스큐터 메모리 +numExecutors | 4 | 익스큐터 개수 +sparkVersion | 2.3.0 | KSB프레임워크의 현재 Spark 버전 +driverMemory | 1g | Spark 드라이버 메모리 + + + +#####Operator +센서로부터 입력되는 온도 데이터를 여섯가지 전처리 기법을 적용하여 정제합니다. 본 예제에서 사용한 전처리 기법은 ColumnSelectOperator, MinMaxScalingOperator, TransposeOperator, SparkMLPredictOperator, MinMaxScalingOperator, ColumnSelectOperator 입니다. + +- ColumnSelectOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | 선택할 칼럼 ID + +- MinMaxScalingOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 0 | 선택할 칼럼 ID +max | 0.5 | 입력되는 값이 scaling 될 때 최대값 +min | -0.5 | 입력되는 값이 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +minRealValue | -20 | 온도 값에서 정상 범위로 사용할 최소값 +maxRealValue | 50 | 온도 값에서 정상 범위로 사용할 최대값 + +- TransposeOperator + +field |value | 설명 +--|---|-- +selectedColumnName | temperature | transpose 연산을 적용할 컬럼의 이름 + +- SparkMLPredictOperator + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/examples/autosparkml/test/automl_test | 학습 모델의 모델 경로 +clsNameForModel | org.apache.spark.ml.PipelineModel | 학습 모델의 형식 + + + +- MinMaxScalingOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 13 | 선택할 칼럼 ID +max | 50 | 입력되는 값이 rescaling 될 때 최대값 +min | -20 | 입력되는 값이 rescaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +minRealValue | -0.5 | 온도값에서 정상 범위로 사용할 최소값 +maxRealValue | 0.5 | 온도값에서 정상 범위로 사용할 최대값 + + +- ColumnSelectOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 13 | 선택할 칼럼 ID + + + +
+
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 이 때, StreamToStream 엔진은 배치형태로 실행되지 않는 엔진들이므로 Batch 체크 박스는 해제하고 워크플로우를 실행해야합니다. + + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에는 위에서 실행한 두 엔진의 동작 상태 (status) 가 실행 중(Inprogress)인 것을 확인 할 수 있습니다. + + + +#### 워크플로우 로그 보기 +WorkFlow History 탭을 선택하면, KSB프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +##결과 확인하기 +#### 온도 스트림데이터 생성하기 +워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야 합니다. 이를 위해 위에서 설명한 Jmeter 도구를 활용합니다. + + + + +#### 스트림 형태의 온도 예측결과 받아오기 +Kafka writer를 통해서 예측 결과가 Kafka topic 에 잘 저장되었는지 확인하기 위해서는 Kafka consumer를 이용합니다. Kafka consumer 명령은 아래와 같습니다. + + + +## 워크플로우 종료하기 + +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 RealtimeIngestToPredictInSingleEngine 워크플로우를 종료(◼)할 수 있습니다. diff --git a/manual1903/2.5.8.RealtimeIngestToServingInTwoEngines.md b/manual1903/2.5.8.RealtimeIngestToServingInTwoEngines.md new file mode 100755 index 0000000000000000000000000000000000000000..cd21d93ba2415c12a1604bdfba9cb12aa7511b8a --- /dev/null +++ b/manual1903/2.5.8.RealtimeIngestToServingInTwoEngines.md @@ -0,0 +1,221 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 스트림 방식으로 예측하여 REST 방식으로 서빙하기 (RealtimeIngestToServingInTwoEngines) +--- +온도센서 데이터를 수집한 후 전처리를 수행하고, 기계학습 모델에 의해 예측된 온도값을 클라이언트로 전달하는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 온도 센서 스트림 데이터를 HTTP로 입력 받는 것을 가정합니다. 이를 위해 Jmeter 도구를 활용합니다. + +Jmeter 설명 바로가기 + +### 온도 스트림데이터 생성하기 +워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야합니다. Jmeter를 활용한 온도 스트림데이터 생성하는 방법은 메뉴얼 하단의 "결과 확인하기" 를 확인해 주시기 바랍니다. + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다. + +### 첫 번째 엔진 생성하기 +####엔진 선택 +본 예제에서는 스트림형태로 입력되는 온도 데이터를 입력받아 실시간 온도 예측을 하는 서빙 엔진으로 전달하기 위해 Streamtostream 엔진을 선택합니다. +#####Reader +HTTP 서버로부터 전달되어 오는 센서데이터를 입력 받기 위해 HttpServerReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +ip | 0.0.0.0 | HTTP 서버의 IP 주소 +path | / | HTTP 서버의 URL +port | 53002 | HTTP 서버의 포트 번호 + + +#####Writer +StreamToStream엔진에서 처리된 결과를 다음 엔진에게 Stream 형태로 전달할 것이므로, KafkaWriter를 선택합니다. +field |value | 설명 +--|---|-- +topic | test3 | 온도 예측 결과를 받아 올때 사용할 Kafka 큐의 이름 +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | group3 | Kafka writer topic 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 접속 주소(IP, 포트번호) + + +#####Controller +Controller 로는 WindowedSparkSessionOrStreamController 를 선택합니다. WindowedSparkSessionOrStreamController 는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. +field |value | 설명 +--|---|-- +operationPeriod | 2 | Reader로 부터 데이터를 읽어올 주기 | 53002 | HTTP 서버의 포트번호 +inputQueSize | 1 | 입력 큐의 크기 | | +selectedColumnName | temperature | Spark dataframe에서 추출할 컬럼의 이름 | | +windowSize | 10 | 큐에서 사용할 윈도우의 크기 | | + +#####Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | master | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +executerMemory | 1g | Spark 의 익스큐터 메모리 +numExecutors | 4 | 익스큐터 개수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 +driverMemory | 1g | Spark 드라이버 메모리 + + + +#####Operator +첫번째 엔진에서는 센서로부터 입력되는 온도 데이터를 여섯가지 전처리 기법을 적용하여 정제합니다. 본 예제에서 사용한 전처리 기법은 ColumnSelectOperator, MinMaxScalingOperator, TransposeOperator, SparkMLPredictOperator, MinMaxScalingOperator, ColumnSelectOperator 입니다. + +- ColumnSelectOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | 선택할 칼럼 ID + +- MinMaxScalingOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 0 | 선택할 칼럼 ID +max | 0.5 | 입력되는 값이 scaling 될 때 최대값 +min | -0.5 | 입력되는 값이 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min값 사용 여부 +minRealValue | -20 | 온도 값에서 정상 범위로 사용할 실제 최소값 +maxRealValue | 50 | 온도 값에서 정상 범위로 사용할 실제 최대값 + +- TransposeOperator + +field |value | 설명 +--|---|-- +selectedColumnName | temperature | transpose 연산을 적용할 컬럼의 이름 + +- SparkMLPredictOperator + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/examples/autosparkml/test/automl_test | 학습 모델 경로 +clsNameForModel | org.apache.spark.ml.PipelineModel | 학습 모델 형식 + + + +- MinMaxScalingOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 13 | 선택할 칼럼 ID +max | 50 | 입력되는 값이 rescaling 될 때 최대값 +min | -20 | 입력되는 값이 rescaling 될 때 최소값 +withMinMaxRange | true | 실제 최대/최소값 범위를 이용하여 rescaling 합니다. +minRealValue | -0.5 | 온도값에서 정상범위로 사용할 최소값 +maxRealValue | 0.5 | 온도값에서 정상범위로 사용할 최대값 + + +- ColumnSelectOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 13 | 선택할 칼럼 ID + +### 두 번째 엔진 생성하기 +####엔진 선택 +스트림 형태로 전달되는 온도 예측값의 온디맨드 서빙을 하기 위해 OnDemandStreamServing 엔진을 선택합니다. (KSB프레임워크에서는 도커 컨테이너 내부의 지식베이스(KB)가 실행되고 있습니다.) + +#####Reader +첫번째 엔진에서 입력되는 실시간 온도 예측값을 입력 받기 위해 KafkaOnDemandReader 를 선택합니다. +field |value | 설명 +--|---|-- +topic | test3 | 실시간 온도 예측값을 받아올때 사용할 Kafka 큐의 이름 +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호)를 +groupId | group3 | Kafka writer topic 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 접속 주소(IP, 포트번호) + + +#####Writer +이 엔진에서는 별도의 Writer를 사용하지 않습니다. + + + +#####Controller +Controller 로는 servingWithkbController를 선택합니다. ServingWithkbController는 추가적인 속성을 설정하지 않습니다. +field |value | 설명 +--|---|-- +restfulActorName | ksb.csle.component.pipe.controller.actor.CompositiveServingActor | +url | postQuery | + +#####Runner +REST 방식으로 엔진을 실행 하기위해서 ServingRunner를 선택합니다. +field |value | 설명 +--|---|-- | +port | 18080 | 최적의 제어값을 서빙할 포트번호 | +host | 0.0.0.0 | 최적의 제어값을 서빙할 IP | + + + +#####Operator +이 엔진에서는 별도의 Operator를 설정하지 않습니다. + + +
+
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 이 때, StreamToStream 엔진과 OnDemandStreamServing 엔진은 배치형태로 실행되지 않는 엔진들이므로 Batch 체크 박스는 해제하고 워크플로우를 제출해야합니다. + + + + +#### 서빙 URL 확인하기 +Dashboard 탭으로 이동하면, 위에서 실행한 OnDemandStreamServing엔진이 서비스 하고있는 URL을 확인할 수 있습니다. + + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에는 위에서 실행한 두 엔진의 동작 상태 (status) 가 실행 중(Inprogress)인 것을 확인 할 수 있습니다. + + + +#### 워크플로우 로그 보기 +WorkFlow History 탭을 선택하면, KSB프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + + + +##결과 확인하기 +#### 온도 스트림데이터 생성하기 +워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야 합니다. 이를 위해 위에서 설명한 Jmeter 도구를 활용합니다. + + + + +#### 서빙 기능을 이용해 예측결과 받아오기 +실시간으로 예측된 온도값을 받아오기 위해서는 예측 모델이 서빙 되고 있는 서버에 접근하여 예측결과를 받아와야합니다. REST 형태로 실시간 서빙되고 있는 모델에 접근하기 위해 Postman을 이용합니다. +서빙 중인 모델의 URL 은 "서빙 URL 확인하기" 에서 확인할 수 있습니다. +``` +Method: GET +URL: http://localhost:18080/query +``` + +Postman 설명 바로가기 + + + +## 워크플로우 종료하기 + +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 RealtimeIngestToServingInTwoEngines 워크플로우를 종료(◼)할 수 있습니다. diff --git a/manual1903/2.5.9.RealtimeIngestToServingWithKbInTwoEngines.md b/manual1903/2.5.9.RealtimeIngestToServingWithKbInTwoEngines.md new file mode 100755 index 0000000000000000000000000000000000000000..772a9246410a772f7ce12c190eb01c90309be3a2 --- /dev/null +++ b/manual1903/2.5.9.RealtimeIngestToServingWithKbInTwoEngines.md @@ -0,0 +1,238 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 스트림 예측결과를 지식추론하여 REST 방식으로 서빙하기 (RealtimeIngestToServingWithKbInTwoEngines) +--- + +온도센서 데이터를 수집한 후 전처리를 수행하고, 기계학습 모델에 의해 예측된 온도 값으로부터 최적의 제어를 추론하여 제어 메세지를 클라이언트로 전달하는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 온도 센서 스트림 데이터를 HTTP로 입력 받는 것을 가정합니다. 이를 위해 Jmeter 도구를 활용합니다. + +Jmeter 설명 바로가기 + +### 온도 스트림데이터 생성하기 +워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야합니다. Jmeter를 활용한 온도 스트림데이터 생성하는 방법은 메뉴얼 하단의 "결과 확인하기" 를 확인해주시기 바랍니다. + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다. + +### 첫 번째 엔진 생성하기 +####엔진 선택 +스트림형태로 제공되는 온도 데이터를 입력받아 실시간 온도 예측을 하는 서빙 엔진으로 전달하기 위해 Streamtostream 엔진을 선택합니다. +#####Reader +HTTP 서버로부터 전달되어 오는 센서데이터를 입력 받기 위해 HttpServerReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +ip | 0.0.0.0 | HTTP 서버의 IP 주소 +path | / | HTTP 서버의 URL +port | 53002 | HTTP 서버의 포트 번호 + + +#####Writer +StreamToStream엔진에서 처리된 결과를 다음 엔진에게 Stream 형태로 전달해야 하므로 KafkaWriter를 선택합니다. +field |value | 설명 +--|---|-- +topic | test3 | 온도 예측 결과를 받아 올때 사용할 Kafka 큐의 이름 +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | group3 | Kafka writer topic 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 접속 주소(IP, 포트번호) + + +#####Controller +Controller 로는 WindowedSparkSessionOrStreamController 를 선택합니다. WindowedSparkSessionOrStreamController 는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. +field |value | 설명 +--|---|-- +operationPeriod | 2 | Reader로 부터 데이터를 읽어올 주기 | 53002 | HTTP 서버의 포트번호를 입력합니다. +inputQueSize | 1 | 입력 큐의 크기 | | +selectedColumnName | temperature | Spark dataframe에서 추출할 컬럼의 이름 | | +windowSize | 10 | 큐에서 사용할 윈도우의 크기 | | + +#####Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드 라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | master | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +executerMemory | 1g | Spark 의 익스큐터 메모리 +numExecutors | 4 | 익스큐터 개수. +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 +driverMemory | 1g | Spark 드라이버 메모리 + + + +#####Operator +첫번째 엔진에서는 센서로부터 입력되는 온도 데이터를 여섯가지 전처리 기법을 적용하여 정제합니다. 본 예제에서 사용한 전처리 기법은 ColumnSelectOperator, MinMaxScalingOperator, TransposeOperator, SparkMLPredictOperator, MinMaxScalingOperator, ColumnSelectOperator 입니다. + +- ColumnSelectOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | 선택할 칼럼 ID + +- MinMaxScalingOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 0 | 선택할 칼럼 ID +max | 0.5 | 입력되는 값이 scaling 될 때 최대값 +min | -0.5 | 입력되는 값이 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 mxx, min값 사용 여부 +minRealValue | -20 | 온도 값의 정상 범위로 사용할 실제 최소값 +maxRealValue | 50 | 온도 값의 정상 범위로 사용할 실제 최대값 + +- TransposeOperator + +field |value | 설명 +--|---|-- +selectedColumnName | temperature | transpose 연산을 적용할 컬럼의 이름을 입력합니다. + +- SparkMLPredictOperator + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/examples/autosparkml/test/automl_test | 학습 모델 경로 +clsNameForModel | org.apache.spark.ml.PipelineModel | 학습 모델 형식 + + + +- MinMaxScalingOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 13 | 선택할 칼럼 ID +max | 50 | 입력되는 값이 rescaling 될 때 최대값 +min | -20 | 입력되는 값이 rescaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +minRealValue | -0.5 | 온도 값의 정상 범위로 사용할 최소값 +maxRealValue | 0.5 | 온도 값의 정상 범위로 사용할 최대값 + + +- ColumnSelectOperator + +field |value | 설명 +--|---|-- +selectedColumnId | 13 | 선택할 칼럼 ID + +### 두 번째 엔진 생성하기 +####엔진 선택 +스트림 형태로 전달되는 온도 예측값을 온디맨드 서빙을 하기 위해 OnDemandStreamServing 엔진을 선택합니다. (KSB프레임워크에서는 도커 컨테이너 내부의 지식베이스(KB)가 실행되고 있습니다.) + +#####Reader +첫번째 엔진에서 입력되는 실시간 온도 예측값을 입력 받기 위해 KafkaOnDemandReader 를 선택합니다. +field |value | 설명 +--|---|-- +topic | test3 | 실시간 온도 예측값을 받아올때 사용할 Kafka 큐의 이름 +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | group3 | Kafka writer topic 그룹 아이디 +bootStrapServer | csle1:9092 | Kafka 접속 주소(IP, 포트번호) + + +#####Writer +이 엔진에서는 Writer를 사용하지 않습니다. + + + +#####Controller +Controller 로는 servingWithkbController를 선택합니다. servingWithkbController는 추가적인 속성을 설정하지 않습니다. + + + +#####Runner +REST 방식으로 엔진을 실행 하기위해서는 ServingRunner를 선택합니다. +field |value | 설명 +--|---|-- | +port | 18080 | 최적의 제어값을 서빙할 포트번호 | +host | 0.0.0.0 | 최적의 제어값을 서빙할 IP | + + + +#####Operator +두 번째 엔진에서는 ControlContextQueryOperator를 사용합니다. + +field |value | 설명 +--|---|-- | +controlQuery | 18080 | 세부 설정 아래 참고 | +URI | recommendDeviceControl | 최적의 제어값을 서빙할 URI | + +ControlQuery 의 세부 설정은 아래와 같이 합니다. + +field |value | 설명 +--|---|-- | +resourceID | temperature | 센서의 리소스명 | +thingId | a1234 | 센서의 아이디 | +values(name) | temperature | 질의 속성 | +|values(value) | ? | 예측된 센서 온도가 계속 변경되므로 물음표를 입력 +|values(time) | ? | 예측된 센서 데이터값이 입력되는 시간이 계속 변경되므로 물음표를 입력 | + + +
+
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +##워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 이 때, StreamToStream 엔진과 OnDemandStreamServing 엔진은 배치형태로 실행되지 않는 엔진들이므로 Batch 체크 박스는 해제하고 워크플로우를 제출해야합니다. + + + + + +#### 서빙 URL 확인하기 +Dashboard 탭으로 이동하면, 위에서 실행한 OnDemandStreamServing엔진이 서비스 하고있는 URL을 확인할 수 있습니다. + + + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면, Workflow 탭이 선택되어 있습니다. Workflow 탭에는 위에서 실행한 두 엔진의 동작 상태 (status) 가 실행 중(Inprogress)인 것을 확인 할 수 있습니다. + + + +#### 워크플로우 로그 보기 +WorkFlow History 탭을 선택하면, KSB프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + + + +##결과 확인하기 +#### 온도 스트림데이터 생성하기 +워크플로우 실행 결과를 확인하기 위해서는 온도데이터를 스트림 형태로 발생시켜야 합니다. 이를 위해 위에서 설명한 Jmeter 도구를 활용합니다. + + + + +#### 서빙 기능 이용해 예측결과 받아오기 +실시간으로 예측된 온도값을 받아오기 위해서는 예측 모델이 서빙 되고 있는 서버에 접근하여 예측결과를 받아와야합니다. REST 형태로 실시간 서빙되고 있는 모델에 접근하기 위해 Postman 을 이용합니다. +서빙 중인 모델의 URL 은 "서빙 URL 확인하기" 에서 확인할 수 있습니다. + +``` +Method: GET +URL: http://localhost:18080/query +``` + +Postman 설명 바로가기 + + + +## 워크플로우 종료하기 + +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 RealtimeIngestToServingWithKbInTwoEngines 워크플로우를 종료(◼)할 수 있습니다. diff --git a/manual1903/2.6.1.TrafficPreprocessing.md b/manual1903/2.6.1.TrafficPreprocessing.md new file mode 100755 index 0000000000000000000000000000000000000000..2aeeba6f3b7b1e07bf8b8f24c9b668fed47889f0 --- /dev/null +++ b/manual1903/2.6.1.TrafficPreprocessing.md @@ -0,0 +1,234 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 교통속도 스트림 데이터 전처리하기 (TrafficPreprocessing) +--- +교통센서로부터 시계열 속도 데이터를 수집하여 전처리를 수행하고, 파일로 저장하는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 교통센서로부터 시계열 속도 데이터(LINK_ID, 속도, 날짜)를 Kafka로 입력 받는 것을 가정합니다. 5분 단위로 측정된 센서 데이터가 시간 순으로 들어온다고 가정합니다. + +### 시계열 속도 스트림데이터 생성하기 +본 예제를 위해 준비된 파일로부터 시계열 속도 데이터를 한줄씩 읽어 Kafka로 보내주는 파이썬 프로그램을 제공합니다. + +입력파일은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 ``201601_kangnam.csv`` 파일입니다. 5분 단위로 LINK_ID 와 속도가 시간순으로 정렬되어 있습니다. + +- 입력파일 형태 및 내용 + +PRCS_DATE | LINK_ID | PRCS_SPD +--|---|-- +2016-01-01 00:00:00 | 1210006200 | 61 +2016-01-01 00:00:00 | 1210006300 | 66.8 +2016-01-01 00:00:00 | 1210011200 | 49.8 +... | ... | ... + + +파이썬 프로그램은 Host PC의 /home/csle/ksb-csle/examples 폴더에 존재하는 kangnam_producer.py 입니다. 파이썬 프로그램이 있는 폴더로 이동하여 아래 명령어를 실행합니다. + +``` +cd /home/csle/ksb-csle/examples +python3 kangnam_producer.py ./input/201601_kangnam.csv localhost:9092 traffic 0.01 + +첫번째 arg: 보내려는 csv 파일 경로 +두번째 arg: 카프카 서버 접속 주소 +세번째 arg: 토픽명 +네번째 arg: 각 row 를 전송하는 주기 (초 단위) +``` + +아래 그림과 같이 파일로 부터 데이터를 한줄씩 읽어 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +### 기타 입력파일 업로드 +전처리에 필요한 파일들을 HDFS repository에 웹툴킷을 이용하여 dataset/input/traffic 위치에 업로드 합니다. 아래 파일들은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 있습니다. +- traffic_kangnam_clos2.txt + + + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 하나의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficPreprocessing | 워크플로우 이름 +description | 강남 교통 전처리 예제 | 워크플로우를 설명하는 글 +isBatch | false | 스트림 처리를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + + +### 엔진 생성하기 +스트림형태로 입력되는 속도 데이터를 입력 받아 가공한 뒤 배치형태의 파일로 내보내므로 StreamToBatch엔진을 선택합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | StreamToBatch | PreprocessingEngine | 즉시실행 | 딥러닝 모델 학습을 위한 전처리 + + +#### Reader +KafkaReader를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | traffic | Kafka topic 그룹 아이디 +topic | traffic | Kafka 큐의 이름 + + +#### Writer +FileWriter를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | file:///home/csle/ksb-csle/examples/output/traffic_processing.csv | 출력 파일 경로 +fileType | CSV | 출력 파일 타입 +delimiter | , | 구분자 +header | false | 헤더 포함 유무 +saveMode | APPEND | 파일 저장 방식 + +- 출력 파일 경로 지정 +HDFS 의 상대경로를 지정할 경우, 상대경로 앞에 **사용자 기본 파일경로** 가 워크플로우 실행 시 동적으로 생성되어 적용됩니다. **사용자 기본 파일경로** 는 ``hdfs://{host}:{port}/user/{user_id}/applications/{workflow_id}/output/`` 입니다. +스트림 처리를 통해 주기적으로 파일을 생성하는 경우 HDFS 를 지원하지 않습니다. 따라서 본 예제에서는 로컬파일 시스템 경로를 사용합니다. 로컬파일 시스템 경로를 지정할 경우, ``file:///`` 키워드를 앞에 붙여서 사용합니다. + +#### Controller +SparkStreamController를 선택하고 아래표와 같은 속성을 지정합니다. +SparkStreamController는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. + +field |value | 설명 +--|---|-- +operationPeriod | 10 | Reader로 부터 데이터를 읽어올 주기, 초 단위 +windowSize | 1530 | 큐에서 사용할 윈도우 크기
170 x 9 +slidingSize | 1360 | 윈도우를 sliding 하는 크기
170 x 8 + +본 예제에서는 10초 주기마다 1530 개의 데이터를 잘라서 operator에게 전달합니다. 입력데이터는 총 170개의 LINK_ID 를 가집니다. 따라서 5분 간격으로 170개의 데이터가 들어오는 셈입니다. 그런데 스트림 데이터는 계속해서 들어오고 있으므로 첫 시작 데이터가 어디일지 가늠하기 어렵습니다. 따라서 필요한 8 주기 보다 한 주기를 더 가져와서 처리하고 (170 x 9 = 1530 개), 8 주기 씩 슬라이딩 합니다 (170 x 8 = 1360 개). 아래에서 설명할 GroupByFilterOperator 및 OrderByFilterOperator 를 이용하여 170 x 8 = 1360 개 데이터를 필터링해서 사용합니다. + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +총 6 개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **ColumnSelectOperator** + +field |value | 설명 +--|---|-- +selectedColumnName | PRCS_DATE
LINK_ID
PRCS_SPD | 선택할 칼럼 이름 + +2. **GroupByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 총계처리를 할 key 칼럼 이름 +groupby | COUNT | 총계처리 방법 선택 +condition | EQUAL | 총계처리 후 Filter 방법 선택 +value | 170 | Filter 의 값 입력 + +1530 개 데이터에서 LINK_ID 가 170 개가 되지 않는 시간의 데이터를 버리기 위해서, PRCS_DATE 칼럼을 COUNT 하여 170 이 되는 조건의 데이터만 남깁니다. 그러면 170 x 8 = 1360 개의 데이터만 남습니다. 그런데 우연히 데이터를 시작시점부터 잘 받았을 경우, 170 x 9 = 1530 개의 데이터가 남습니다. + +3. **OrderByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 정렬을 할 key 칼럼 이름 +method | ASC | 정렬 방법 선택 (ASC: 오름차순, DESC: 내림차순) +value | 1360 | 선택할 Row 의 개수 + +PRCS_DATE 칼럼을 정렬하여 8 주기의 데이터 (170 x 8 = 1360 개) 만 남깁니다. + +4. **MinMaxScalingOperator** + +field |value | 설명 +--|---|-- +selectedColumnId | 2 | 선택할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +max | 0.5 | 데이터가 scaling 될 때 최대값 +min | -0.5 | 데이터가 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +maxRealValue | 100 | 데이터에서 정상 범위로 사용할 최소값 +minRealValue | 0 | 데이터에서 정상 범위로 사용할 최대값 + + +5. **PivotOerator** + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | Pivot 할 칼럼 ID, LINK_ID 선택 (0부터 시작) +groupByColumn | 0 | 총계처리를 할 key 칼럼 ID, PRCS_DATE 선택 (0부터 시작) +valueColumn | 2 | 총계처리를 할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +method | AVG | 총계처리 방법 선택 + +시간 및 170 개의 LINK_ID 값을 칼럼으로 가지고, 시간에 따른 평균속도를 행으로 가지도록 DataFrame 을 변경합니다. + + + +6. **ColumnSelectWithFileOperator** + +field |value | 설명 +--|---|-- +columnIdPath | dataset/input/traffic/
traffic_kangnam_cols2.txt | 선택할 칼럼 이름이 정의된 텍스트파일 경로 및 이름 입력 + +텐서플로우 기반 속도 예측 모델의 입력 순서에 맞도록 칼럼을 선택합니다. 본 예제에서는 칼럼의 개수가 많으므로 ColumnSelectOperator 를 사용하여 선택할 칼럼 이름을 일일이 입력하는 것이 매우 번거로우므로 ColumnSelectWithFileOperator 를 사용합니다. 칼럼 이름을 쉼표(,) 로 구분하여 입력한 텍스트파일로 부터 칼럼 이름을 읽어들여 칼럼을 선택합니다. + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 스트림 데이터를 처리하므로 Batch 체크 박스는 해제하고 워크플로우를 제출합니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +### 결과 파일 확인 + +FileWriter 에서 지정한 위치(home/csle/ksb-csle/examples/output)에 결과 파일이 생성된 것을 확인할 수 있습니다. + + + +"APPEND" 모드로 파일을 저장하는 경우, 기존의 데이터에 새로 가공한 데이터가 추가되어 저장됩니다. 그러나 시간 순으로 정렬이 되어 추가되지 않으므로 데이터를 활용할 때 주의가 필요합니다. + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficPreprocessing 워크플로우를 종료(◼)할 수 있습니다. + +## 워크플로우 저장하기 +워크플로우 편집 화면에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.6.2.TrafficTraining.md b/manual1903/2.6.2.TrafficTraining.md new file mode 100755 index 0000000000000000000000000000000000000000..e480c87ae2c11266e1c9b8eb2e6476669c1689c0 --- /dev/null +++ b/manual1903/2.6.2.TrafficTraining.md @@ -0,0 +1,187 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 교통속도예측 텐서플로우 모델 학습하기 (TrafficTraining) +--- +일정 기간 수집하여 전처리한 시계열 속도 데이터를 이용하여 텐서플로우 기반 딥러닝 모델을 학습하여 서빙용 모델을 만드는 예제를 설명합니다. + +## 입력 데이터 준비하기 +교통속도 스트림 데이터 전처리하기 매뉴얼에서 만든 결과 파일(``traffic_processing.csv``) 이 있다고 가정합니다. 또한 텐서플로우 기반의 15분 뒤 속도를 예측하는 모델이 파이썬 코드로 구현되어 있다고 가정합니다. + + +### 입력파일 업로드 +``traffic_processing.csv`` 파일을 HDFS repository에 웹툴킷을 이용하여 dataset/input/traffic 위치에 업로드 합니다. + + + +### 사용자 파이썬 코드 업로드 +Host PC의 /home/csle/ksb-csle/components/src/main/python/kangnam 폴더를 HDFS repository에 웹툴킷을 이용하여 업로드 합니다. +dataset/tensorflowTrainSource 위치에 폴더를 업로드 합니다. + + + + + +`tensorflow_train.py` 파일은 텐서플로우 기반의 15분 뒤 속도를 예측하는 모델을 학습하는 코드가 구현되어 있는 파일입니다. (본 예제에서는 LSTM 알고리즘을 이용하여 15분 뒤 속도를 예측하는 모델을 사용합니다.) 프레임워크와 연동하여 학습이 되도록 파이썬 코드에 input 과 output 경로 등을 argument 로 받는 부분이 코딩되어야 합니다. 자세한 내용은 KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기 를 참고합니다. +main 함수를 포함한 사용자 파이썬 코드에서 사용하는 라이브러리 파일 등은 동일한 폴더에 위치 시키거나 1 depth의 하위 폴더까지 작성 가능합니다. + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 하나의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficTraining | 워크플로우 이름 +description | 강남 교통 학습 예제 | 워크플로우를 설명하는 글 +isBatch | true | 배치 처리를 하는 워크플로우 이므로, true 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + + +### 엔진 생성하기 +텐서플로우를 이용하여 배치 형태로 딥러닝 모델을 생성하기 위해 Batch 엔진을 선택합니다. + + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | Batch | TrainEngine | 즉시실행 | 딥러닝 모델 학습 + + +#### Reader +FileReader를 선택하고 아래표와 같은 속성을 지정합니다. filePath 에 입력 파일의 경로 및 파일명을 지정합니다. 이 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--input` 파라미터로 전달됩니다. + +field |value | 설명 +--|---|-- +filePath | dataset/input/traffic/traffic_processing.csv | 파일 경로 +fileType | CSV | 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +saveMode | | 사용 하지 않음 + +filePath 에는 아래와 같이 3가지 경로가 입력 가능합니다. + +1) 로컬 파일시스템 절대경로 + file:///home/csle/ksb-csle/examples/input/{선택한 경로 및 파일명} +2) hdfs 절대경로 + hdfs://{host}:{port}/user/{user_id}/dataset/{선택한 경로 및 파일명} +3) Hdfs 상대경로 + dataset/{선택한 경로 및 파일명} + +#### Writer +FileWriter를 선택하고 아래표와 같은 속성을 지정합니다. filePath 에 학습한 딥러닝 모델이 최종 저장될 폴더를 지정합니다. 해당 폴더에 자동으로 최신버전의 폴더를 생성한 후 모델이 저장됩니다. 모델의 버전은 0000 부터 시작하여 1씩 증가합니다. filePath 에 입력한 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--output` 파라미터로 전달됩니다. + + +field |value | 설명 +--|---|-- +filePath | hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam | 저장 경로 +fileType | CSV | 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +saveMode | | 사용 하지 않음 + +filePath 에는 아래와 같이 3가지 경로가 입력 가능합니다. + +1) 로컬 파일시스템 절대경로 + file:///home/csle/ksb-csle/{선택한 경로} +2) hdfs 절대경로 + hdfs://{host}:{port}/user/{user_id}/model/{선택한 경로} +3) hdfs 상대경로 + model/{선택한 경로} + 위와 같이 입력하는 경우, 자동으로 **사용자 기본 파일경로** 가 앞에 추가됩니다. 따라서 아래와 같은 위치에 모델이 저장됩니다. hdfs://{host}:{port}/user/{user_id}/applications/{workflow_id}/output/model/{선택한 경로} + +그러나, 본 예제에서는 다른 엔진에서 학습한 딥러닝 모델을 사용하도록 하기 위해 HDFS 절대경로를 지정합니다. 상대경로를 지정할 경우, 동적으로 생성한 **사용자 기본 파일경로** 가 앞에 추가되므로 다른 엔진에서 정확한 파일 경로를 지정하는 것이 어렵습니다. + +#### Controller +Controller는 외부 Tensorflow 호출하기 위해 ExternalAnalysisController을 선택합니다. + +#### Runner +TensorflowRunner를 선택합니다. pyEntryPath 에 main 함수를 포함하는 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 경로 및 파일명을 지정합니다. + +field |value | 설명 +--|---|-- +pyEntryPath | dataset/tensorflowTrainSource/kangnam/tensorflow_train.py | 사용자 파이썬 코드 경로 +cluster | false | cluster 환경 실행 여부 +inJson | false | Json 형태 파라미터 전달 유무 +tfVersion | r1.6 | Tensorflow 버전 정보 + +pyEntryPath 에는 아래와 같이 3가지 경로가 입력 가능합니다. + +1) 로컬 파일시스템 절대경로 + file:///home/csle/ksb-csle/{선택한 경로 및 파일명} +2) hdfs 절대경로 + hdfs://{host}:{port}/user/{user_id}/{선택한 경로 및 파일명} +3) hdfs 상대경로 + {선택한 경로 및 파일명} + +사용자는 로컬 파일시스템에 원하는 이름(예: kangnam) 폴더를 생성하고 해당 폴더 내에 main 함수를 포함하는 사용자 python 파일(예:tensorflow_train.py)을 작성합니다. +그리고, 관련된 라이브러리 파일 등은 동일한 폴더에 위치 시키거나 1 depth의 하위 폴더까지 작성 가능합니다. + +결과적으로 KSB 인공지능 프레임워크는 엔진 실행시, 로컬 파일시스템의 사용자 repository에 있는 kangnam 폴더 및 하위 1 depth 폴더를 file:///home/csle/ksb-csle/components/src/main/python/로 copy 후 tensorflow를 실행합니다. + +#### Operator +DLTrainOperator를 선택하고 아래표와 같은 속성을 지정합니다. modelPath 에 내부적으로 학습된 모델을 저장할 경로를 지정합니다. 이 값은 사용자 파이썬 코드(텐서플로우 모델을 정의하고 학습하는 코드)의 `--modelPath` 파라미터로 전달됩니다. 로컬 파일시스템 절대경로로 입력합니다. +또한, modelPath를 기준으로 최신버전의 폴더를 자동으로 생성하여 사용자 파이썬 코드의 `--model` 파라미터로 전달합니다. 모델의 버전은 0000 부터 시작하여 1씩 증가합니다. 따라서 예를 들면: + +- (modelPath) file:///home/csle/ksb-csle/{선택한 경로} +- (자동생성되는 model) file:///home/csle/ksb-csle/{선택한 경로}/{모델버전} + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/examples/output/kangnam/model | 내부적으로 학습된 모델을 저장할 경로
반드시 로컬 시스템 경로만 지정 +additionalParams | | 아래의 표 참고 + +additionalParams 설정은 [+] 버튼을 두 번 클릭하여 다음과 같이 합니다. 사용자가 필요한 파라미터의 이름과 값을 세팅하여 사용자 파이썬 코드로 전달합니다. + +field |value | 설명 +--|---|-- +paramName | isTrain | 학습 유무 +paramValue | True | + +field |value | 설명 +--|---|-- +paramName | num_epochs | 학습 반복 횟수 +paramValue | 2 | + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +### 학습한 후 export 된 모델 확인하기 +FileWriter 에서 지정한 위치 (hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam) 에 학습된 모델이 생성된 것을 확인합니다. +KSB 웹툴킷 상단의 Repository 메뉴에서 model/kangnam 위치에 최신버전인 0000 폴더를 만들고 학습된 모델(saved_model.pb 파일 및 variables 폴더)이 저장된 것을 확인할 수 있습니다. 만약 0000 폴더가 이미 있었다면, 0001 폴더를 만들고 학습된 모델이 저장됩니다. + + + +**❖ 참고** +학습 후 export 한 모델을 프레임워크에서 REST API 서비스가 가능하도록 띄우고, 클라이언트는 쿼리를 통해 예측 결과를 받을 수 있습니다. 사용자는 온디맨드 방식으로 서비스를 구성하거나 (온디맨드 방식으로 교통속도예측 모델 서빙하기 참고) 스트림 방식으로 서비스를 구성할 수 있습니다 (스트림 방식으로 교통속도예측 모델 서빙하기 참고). + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficTraining 워크플로우를 종료(◼)할 수 있습니다. + +## 워크플로우 저장하기 +워크플로우 편집 화면에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.6.3.TrafficOnDemandServing.md b/manual1903/2.6.3.TrafficOnDemandServing.md new file mode 100755 index 0000000000000000000000000000000000000000..a5974ed16626b40d629b83a8ebf5d9341c0033e7 --- /dev/null +++ b/manual1903/2.6.3.TrafficOnDemandServing.md @@ -0,0 +1,101 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 온디맨드 방식으로 교통속도예측 모델 서빙하기 (TrafficOnDemandServing) +--- +텐서플로우 기반 딥러닝 모델을 이용한 교통 속도 예측 RESTful 서비스 예제를 설명합니다. + +## 입력 데이터 준비하기 +교통속도예측 텐서플로우 모델 학습하기 매뉴얼에서 학습한 후 export 된 모델이 ``hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam`` 위치에 저장되어 있다고 가정합니다. + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 하나의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficOnDemandServing | 워크플로우 이름 +description | 강남 교통 RESTful 서비스 예제 | 워크플로우를 설명하는 글 +isBatch | false | RESTful 서비스를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + + +### 엔진 생성하기 +텐서플로우를 이용하여 온 디맨드 형태로 교통속도 예측 서비스를 생성하는 워크플로우이므로, OnDemandServing 엔진을 선택합니다. OnDemandServing 엔진에서는 데이터를 입출력하기 위한 Reader 와 Writer를 사용하지 않습니다. 데이터는 request 에 실어서 보냅니다. + + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | OnDemandServing | ServingEngine | 즉시실행 | Restful 서비스 제공 + + +#### Controller +TensorflowServingController 를 선택합니다. + + +#### Runner +TensorflowServingRunner 를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +port | 8001 | RESTful 서비스 포트번호 +modelName | kangnam_traffic | 모델의 이름 +modelBasePath | model/kangnam | 모델 경로 + + +#### Operator +TensorflowServingOperator 를 선택합니다. + + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +### 서빙 서비스 상태 보기 +KSB 웹툴킷 Dashboard 화면을 선택하면, 화면 하단의 Services 테이블에서 본 예제에서 실행한 서빙 서비스에 대한 정보를 확인할 수 있습니다. + + + +### 서빙 서비스 확인하기 +Postman 프로그램을 활용하여 서빙 엔진이 제공하는 RESTful 서비스를 테스트할 수 있습니다. Postman을 실행하여 아래와 같이 설정합니다. +- 좌측 상단의 콤보 박스에서 **POST** 를 선택하고, 질의 선택할 URL을 입력합니다. 본 예제에서의 URL은 서빙 엔진이 제공하는 URL (``http://0.0.0.0:8001/model/predict_speed/in1``)을 사용합니다. "predict_speed" 는 모델 export 시 정의한 signature 이름이고, "in1" 은 입력 tensor 로 정의한 이름입니다. +- **Headers** 메뉴에서 Key 필드에 "Content-Type"을, Value 필드에 "text/csv" 을 입력합니다. + + + +- **Body** 메뉴에서 **binary** 라디오 버튼을 선택한 후, **파일 선택** 버튼을 클릭하여 입력 파일을 선택합니다. 입력파일은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 있는 ``traffic_serving_input1.csv`` 또는 ``traffic_serving_input2.csv`` 를 사용합니다. +- 우측 상단의 **Send** 버튼을 클릭하면 질의 요청이 제출되고, 결과가 화면 하단에 표시됩니다. 입력 데이터에 대한 15분 뒤 예측된 교통 속도가 리턴됩니다. + + + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficOnDemandServing 워크플로우를 종료(◼)할 수 있습니다. + +## 워크플로우 저장하기 +워크플로우 편집 화면에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.6.4.TrafficStreamServing.md b/manual1903/2.6.4.TrafficStreamServing.md new file mode 100755 index 0000000000000000000000000000000000000000..8b41576df7885bd4fdee1142aba1c49079d256da --- /dev/null +++ b/manual1903/2.6.4.TrafficStreamServing.md @@ -0,0 +1,264 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 스트림 방식으로 교통속도예측 모델 서빙하기 (TrafficStreamServing) +--- +교통센서로부터 시계열 속도 데이터를 수집한 후 전처리를 수행하고, 텐서플로우 기반 딥러닝 모델에 의해 예측된 속도를 클라이언트로 전달하는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 교통센서로부터 시계열 속도 데이터(LINK_ID, 속도, 날짜)를 Kafka로 입력 받는 것을 가정합니다. 5분 단위로 측정된 센서 데이터가 시간 순으로 들어온다고 가정합니다. 또한, 교통속도예측 텐서플로우 모델 학습하기 매뉴얼에서 학습한 후 export 된 모델이 ``hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam`` 위치에 저장되어 있다고 가정합니다. + +### 시계열 속도 스트림데이터 생성하기 +본 예제를 위해 준비된 파일로부터 시계열 속도 데이터를 한줄씩 읽어 Kafka로 보내주는 파이썬 프로그램을 제공합니다. + +입력파일은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 ``201601_kangnam.csv`` 파일입니다. 5분 단위로 LINK_ID 와 속도가 시간순으로 정렬되어 있습니다. + +- 입력파일 형태 및 내용 + +PRCS_DATE | LINK_ID | PRCS_SPD +--|---|-- +2016-01-01 00:00:00 | 1210006200 | 61 +2016-01-01 00:00:00 | 1210006300 | 66.8 +2016-01-01 00:00:00 | 1210011200 | 49.8 +... | ... | ... + + +파이썬 프로그램은 Host PC의 /home/csle/ksb-csle/examples 폴더에 존재하는 kangnam_producer.py 입니다. 파이썬 프로그램이 있는 폴더로 이동하여 아래 명령어를 실행합니다. + +``` +cd /home/csle/ksb-csle/examples +python3 kangnam_producer.py ./input/201601_kangnam.csv localhost:9092 traffic 0.01 + +첫번째 arg: 보내려는 csv 파일 경로 +두번째 arg: 카프카 서버 접속 주소 +세번째 arg: 토픽명 +네번째 arg: 각 row 를 전송하는 주기 (초 단위) +``` + +아래 그림과 같이 파일로 부터 데이터를 한줄씩 읽어 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +### 기타 입력파일 업로드 +전처리에 필요한 파일들을 HDFS repository에 웹툴킷을 이용하여 dataset/input/traffic 위치에 업로드 합니다. 아래 파일들은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 있습니다. + +- traffic_kangnam_clos.txt + + + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 하나의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficStreamServing | 워크플로우 이름 +description | 강남 교통 스트림 서빙 예제 | 워크플로우를 설명하는 글 +isBatch | false | 스트림 처리를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + + +### 엔진 생성하기 +스트림형태로 입력되는 속도 데이터를 입력 받아 전처리 한 후, 15분 뒤 속도를 예측해서 스트림 형태로 내보내므로 StreamToStream엔진을 선택합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | StreamToStream | PredictEngine | 즉시실행 | 데이터 전처리 후 딥러닝 모델 기반 예측 + + +#### Reader +KafkaReader를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | traffic | Kafka topic 그룹 아이디 +topic | traffic | Kafka 큐의 이름 + + +#### Writer +KafkaWriter를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | traffic | Kafka topic 그룹 아이디 +topic | kangnam_output | Kafka 큐의 이름 + + +#### Controller +SparkStreamController를 선택하고 아래표와 같은 속성을 지정합니다. +SparkStreamController는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. + +field |value | 설명 +--|---|-- +operationPeriod | 5 | Reader로 부터 데이터를 읽어올 주기, 초 단위 +windowSize | 1530 | 큐에서 사용할 윈도우 크기
170 x 9 +slidingSize | 170 | 윈도우를 sliding 하는 크기 + +본 예제에서는 5초 주기마다 1530 개의 데이터를 잘라서 operator에게 전달합니다. 입력데이터는 총 170개의 LINK_ID 를 가집니다. 따라서 5분 간격으로 170개의 데이터가 들어오는 셈입니다. 그런데 스트림 데이터는 계속해서 들어오고 있으므로 첫 시작 데이터가 어디일지 가늠하기 어렵습니다. 따라서 필요한 8 주기 보다 한 주기를 더 가져와서 처리하고 (170 x 9 = 1530 개), 1 주기 씩 슬라이딩 합니다. 아래에서 설명할 GroupByFilterOperator 및 OrderByFilterOperator 를 이용하여 170 x 8 = 1360 개 데이터를 필터링해서 사용합니다. + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +총 9개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **ColumnSelectOperator** + +field |value | 설명 +--|---|-- +selectedColumnName | PRCS_DATE
LINK_ID
PRCS_SPD | 선택할 칼럼 이름 + +2. **GroupByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 총계처리를 할 key 칼럼 이름 +groupby | COUNT | 총계처리 방법 선택 +condition | EQUAL | 총계처리 후 Filter 방법 선택 +value | 170 | Filter 의 값 입력 + +1530 개 데이터에서 LINK_ID 가 170 개가 되지 않는 시간의 데이터를 버리기 위해서, PRCS_DATE 칼럼을 COUNT 하여 170 이 되는 조건의 데이터만 남깁니다. 그러면 170 x 8 = 1360 개의 데이터만 남습니다. 그런데 우연히 데이터를 시작시점부터 잘 받았을 경우, 170 x 9 = 1530 개의 데이터가 남습니다. + +3. **OrderByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 정렬을 할 key 칼럼 이름 +method | ASC | 정렬 방법 선택 (ASC: 오름차순, DESC: 내림차순) +value | 1360 | 선택할 Row 의 개수 + +PRCS_DATE 칼럼을 정렬하여 8 주기의 데이터 (170 x 8 = 1360 개) 만 남깁니다. + +4. **MinMaxScalingOperator** + +field |value | 설명 +--|---|-- +selectedColumnId | 2 | 선택할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +max | 0.5 | 데이터가 scaling 될 때 최대값 +min | -0.5 | 데이터가 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +maxRealValue | 100 | 데이터에서 정상 범위로 사용할 최소값 +minRealValue | 0 | 데이터에서 정상 범위로 사용할 최대값 + + +5. **PivotOerator** + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | Pivot 할 칼럼 ID, LINK_ID 선택 (0부터 시작) +groupByColumn | 0 | 총계처리를 할 key 칼럼 ID, PRCS_DATE 선택 (0부터 시작) +valueColumn | 2 | 총계처리를 할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +method | AVG | 총계처리 방법 선택 + +시간 및 170 개의 LINK_ID 값을 칼럼으로 가지고, 시간에 따른 평균속도를 행으로 가지도록 DataFrame 을 변경합니다. + + + +6. **ColumnSelectWithFileOperator** + +field |value | 설명 +--|---|-- +columnIdPath | dataset/input/traffic/
traffic_kangnam_cols.txt | 선택할 칼럼 이름이 정의된 텍스트파일 경로 및 이름 입력 + +텐서플로우 기반 속도 예측 모델의 입력 순서에 맞도록 칼럼을 선택합니다. 본 예제에서는 칼럼의 개수가 많으므로 ColumnSelectOperator 를 사용하여 선택할 칼럼 이름을 일일이 입력하는 것이 매우 번거로우므로 ColumnSelectWithFileOperator 를 사용합니다. 칼럼 이름을 쉼표(,) 로 구분하여 입력한 텍스트파일로 부터 칼럼 이름을 읽어들여 칼럼을 선택합니다. + +7. **VectorAssembleColumnAddOperator** + +field |value | 설명 +--|---|-- +vectorAssembleColumnName | in1 | 추가할 벡터 칼럼 이름 입력 + +DataFrame의 모든 칼럼을 하나의 벡터로 만들어서 벡터타입의 칼럼을 마지막에 추가합니다. + +8. **FlattenOperator** + +field |value | 설명 +--|---|-- +columnName | in1 | 칼럼 이름 입력 + +선택한 칼럼의 데이터를 하나의 벡터로 만들어서 벡터 값만 남깁니다. 텐서플로우 모델의 입력형태로 데이터를 변환하는 과정입니다. + +9. **TensorflowPredictOperator** + +field |value | 설명 +--|---|-- +modelServerUri | model/kangnam | 모델 경로 +modelName | kangnam_traffic | 모델 이름 +signatureName | predict_speed | 모델 시그네쳐 이름 + +텐서플로우 서빙용으로 export한 모델의 경로, TensorflowPredictOperator를 정의할때 내부적으로 모델을 구분하기 위한 이름, 텐서플로우 모델을 export할때 정의한 시그네쳐 이름에 대한 정보를 입력하여 텐서플로우 모델을 서빙용으로 띄웁니다 (처음에 한번만 수행함). 그리고 서빙용 모델에 데이터를 보내고 예측된 속도 값을 리턴받아서 내부적으로 DataFrame 형태로 변환합니다. + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 스트림 데이터를 처리하므로 Batch 체크 박스는 해제하고 워크플로우를 제출합니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + + + +### 속도 예측 결과 확인하기 +Kafka의 consumer를 이용하여 속도 예측 결과를 확인합니다. 이를 위해 카프카가 설치된 폴더로 이동하여 아래 명령어를 실행합니다. 카프카는 ``home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1`` 위치에 설치되어 있습니다. + +``` +cd /home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1 +./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --bootstrap-server localhost:9092 --topic kangnam_output +``` + +아래 그림과 같이 예측된 속도값을 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficStreamServing 워크플로우를 종료(◼)할 수 있습니다. + +## 워크플로우 저장하기 +워크플로우 편집 화면에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.6.5.TrafficTimeseriesProcessing.md b/manual1903/2.6.5.TrafficTimeseriesProcessing.md new file mode 100755 index 0000000000000000000000000000000000000000..2dcf22c409d185c7db021f27864209de645da4de --- /dev/null +++ b/manual1903/2.6.5.TrafficTimeseriesProcessing.md @@ -0,0 +1,346 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 실시간 시계열 교통속도 센서스트림 처리 하기 (TrafficTimeseriesProcessing) +--- +교통센서로부터 동시에 무작위로 들어오는 시계열 속도 데이터를 수집하여 시간 순으로 데이터를 처리해서 내보내는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 교통센서로부터 시계열 속도 데이터(LINK_ID, 속도, 날짜)를 Kafka로 입력 받는 것을 가정합니다. 초 단위로 측정된 센서 데이터가 무작위로 들어온다고 가정합니다. + +### 시계열 속도 스트림데이터 생성하기 +본 예제를 위해 준비된 파일로부터 시계열 속도 데이터를 한줄씩 읽어 Kafka로 보내주는 파이썬 프로그램을 제공합니다. + +입력파일은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 ``201601_kangnam_orgarnized_new.csv`` 파일입니다. 초 단위로 측정한 LINK_ID 와 속도가 무작위로 섞여있습니다. + +- 입력파일 형태 및 내용 + +PRCS_DATE | LINK_ID | PRCS_SPD +--|---|-- +2016-01-01 00:00:27 | 1220034700 | 32.8 +2016-01-01 00:00:12 | 1220019900 | 15.9 +2016-01-01 00:00:08 | 1220025800 | 21.1 +... | ... | ... + + +파이썬 프로그램은 Host PC의 /home/csle/ksb-csle/examples 폴더에 존재하는 kangnam_producer.py 입니다. 파이썬 프로그램이 있는 폴더로 이동하여 아래 명령어를 실행합니다. + +``` +cd /home/csle/ksb-csle/examples +python3 kangnam_producer.py ./input/201601_kangnam_orgarnized_new.csv localhost:9092 traffic 0.01 + +첫번째 arg: 보내려는 csv 파일 경로 +두번째 arg: 카프카 서버 접속 주소 +세번째 arg: 토픽명 +네번째 arg: 각 row 를 전송하는 주기 (초 단위) +``` + +아래 그림과 같이 파일로 부터 데이터를 한줄씩 읽어 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +### 기타 입력파일 업로드 +전처리에 필요한 파일들을 HDFS repository에 웹툴킷을 이용하여 dataset/input/traffic 위치에 업로드 합니다. 아래 파일들은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 있습니다. + +- trafficStreamingSplitSample.json + + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 두 개의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficTimeseriesProcessing | 워크플로우 이름 +description | 강남 교통 실시간 센서스트림 처리 예제 | 워크플로우를 설명하는 글 +isBatch | false | 스트림 처리를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + + +### 첫 번째 엔진 생성하기 +스트림형태로 입력되는 교통 데이터를 입력받아 실시간으로 전처리를 수행하기 위해 StreamJoin 엔진을 선택합니다. StreamJoin 엔진은 내부적으로 Spark의 Structured Streaming을 사용합니다. +시간이 순차적으로 들어오지 않아도 처리 가능하고, 입력데이터의 누락없이 데이터를 실시간으로 처리합니다. Trigger는 Writer에 있으며, Trigger 시점에 들어와있는 입력데이터를 가공하여 내보냅니다. + +카프카로부터 속도 데이터를 입력받아서 LINK_ID 별로 1분 동안의 속도를 평균하여 내보냅니다. 30초 단위로 오버랩하여 missing value를 채우고, 잡음을 smoothing 하는 역할을 합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | StreamJoin | StreamProcessingEngine | 즉시실행 | 1분 단위로 속도 aggregation + + +#### Reader +KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic | Kafka 큐의 이름 +addTimestamp | false | 입력데이터를 받은 시간을 DataFrame 에 추가하고 싶을 경우, true 로 지정 +timestampName | PRCS_DATE | 윈도우, watermark 등을 설정할 시간 정보가 들어있는 칼럼 이름 입력 +watermark | 2 minutes | 늦게 들어오는 입력데이터를 얼마동안 기다릴 것인지 입력 +sampleJsonPath | dataset/input/traffic/
trafficStreamingSplitSample.json | 입력데이터 형태 지정 +failOnDataLoss | false | + + + +#### Writer +KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +mode | append | 새로 들어온 입력데이터에 대해서 처리함 +trigger | 5 seconds | 5초 동안 들어온 입력데이터에 대해서 처리함 +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output1 | Kafka 큐의 이름 +checkpointLocation | file:///home/csle/ksb-csle/examples/
output/kangnam/checkpoint/kafka1 | checkpoint 파일을 저장할 폴더 지정 +failOnDataLoss | true | + + +#### Controller +StreamingGenericController 를 선택합니다. + + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +첫번째 엔진에서는 3개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **GroupByOperator** + +field |value | 설명 +--|---|-- +timeColName | PRCS_DATE | 시간정보가 들어있는 칼럼 이름 +keyColName | LINK_ID | key 칼럼 이름 +valColName | PRCS_SPD | 계산할 칼럼 이름 +groupby | AVG | 평균 계산 +window | | 아래의 표 참고 + +window 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +key | PRCS_DATE | 윈도우를 사용할 칼럼 이름 +windowLength | 1 minutes | 1분 단위 윈도우 설정 +slidingInterval | 30 seconds | 30초 오버랩 설정 + + +1분 단위의 윈도우(30초 오버랩)로 LINK_ID 별 평균 속도를 계산합니다. +LINK_ID, window (start, end), PRCS_SPD 로 칼럼이 나옵니다. + + +2. **SelectColumnsPipeOperator** + +field |value | 설명 +--|---|-- +colName | LINK_ID
window.start
PRCS_SPD | 선택할 칼럼 이름 +isRename | false | + +LINK_ID, window.start, PRCS_SPD 칼럼을 선택합니다. + + +3. **RenameColumnsPipeOperator** + +field |value | 설명 +--|---|-- +selectedColumn | | 아래의 표 참고 + +selectedColumn 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함) +newColName | PRCS_DATE | 변경할 칼럼 이름 +newFieldType | STRING | 변경할 칼럼 타입 + +GroupByOperator 에 의해 window로 변경된 칼럼 이름을 원래대로 바꾸고, 카프카로 시간 정보를 제대로 내보내기 위해 타입을 STRING 으로 변경합니다. + + +### 두 번째 엔진 생성하기 +missing value를 채우고 잡음을 smoothing 하기 위해, 한번 더 카프카로부터 속도 데이터를 입력받아서 LINK_ID 별로 5분 동안의 속도를 평균하여 내보냅니다. + +첫 번째 엔진과 동일하게 구성하여 속성만 다르게 지정합니다. 이를 위해 **Engine 복제** 기능을 사용하여 첫번째 엔진을 복사합니다. 첫번째 엔진을 클릭한 후 마우스 오른쪽 버튼을 클릭하면 세부메뉴가 나타납니다. 이 세부메뉴에서 **Engine 복제** 메뉴를 클릭하면 동일한 엔진이 생성됩니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +2 | StreamJoin | StreamProcessing2Engine | 즉시실행 | 5분 단위로 속도 aggregation + + +#### Reader +KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output1 | Kafka 큐의 이름 +addTimestamp | false | 입력데이터를 받은 시간을 DataFrame 에 추가하고 싶을 경우, true 로 지정 +timestampName | PRCS_DATE | 윈도우, watermark 등을 설정할 시간 정보가 들어있는 칼럼 이름 입력 +watermark | 2 minutes | 늦게 들어오는 입력데이터를 얼마동안 기다릴 것인지 입력 +sampleJsonPath | dataset/input/traffic/
trafficStreamingSplitSample.json | 입력데이터 형태 지정 +failOnDataLoss | false | + + +#### Writer +KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +mode | append | 새로 들어온 입력데이터에 대해서 처리함 +trigger | 5 seconds | 5초 동안 들어온 입력데이터에 대해서 처리함 +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output2 | Kafka 큐의 이름 +checkpointLocation | file:///home/csle/ksb-csle/examples/
output/kangnam/checkpoint/kafka2 | checkpoint 파일을 저장할 폴더 지정 +failOnDataLoss | true | + + +#### Controller +StreamingGenericController 를 선택합니다. + + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +두 번째 엔진에서는 3개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **GroupByOperator** + +field |value | 설명 +--|---|-- +timeColName | PRCS_DATE | 시간정보가 들어있는 칼럼 이름 +keyColName | LINK_ID | key 칼럼 이름 +valColName | PRCS_SPD | 계산할 칼럼 이름 +groupby | AVG | 평균 계산 +window | | 아래의 표 참고 + +window 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +key | PRCS_DATE | 윈도우를 사용할 칼럼 이름 +windowLength | 5 minutes | 5분 단위 윈도우 설정 +slidingInterval | 5 minutes | 오버랩 없도록 설정 + + +5분 단위의 윈도우(오버랩 없음)로 LINK_ID 별 평균 속도를 계산합니다. +LINK_ID, window (start, end), PRCS_SPD 로 칼럼이 나옵니다. + + +2. **SelectColumnsPipeOperator** + +field |value | 설명 +--|---|-- +colName | LINK_ID
window.start
PRCS_SPD | 선택할 칼럼 이름 +isRename | false | + +LINK_ID, window.start, PRCS_SPD 칼럼을 선택합니다. + + +3. **RenameColumnsPipeOperator** + +field |value | 설명 +--|---|-- +selectedColumn | | 아래의 표 참고 + +selectedColumn 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함) +newColName | PRCS_DATE | 변경할 칼럼 이름 +newFieldType | STRING | 변경할 칼럼 타입 + +GroupByOperator 에 의해 window로 변경된 칼럼 이름을 원래대로 바꾸고, 카프카로 시간 정보를 제대로 내보내기 위해 타입을 STRING 으로 변경합니다. + + +
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 스트림 데이터를 처리하므로 Batch 체크 박스는 해제하고 워크플로우를 제출합니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +### 체크포인트 파일 확인 + +첫 번째 엔진과 두 번째 엔진의 KafkaPipeWriter 가 생성한 체크포인트 파일이 지정한 위치에 생성된 것을 확인할 수 있습니다. +워크플로우 종료 후 재시작 할 경우에는 체크포인트 파일을 삭제하고 실행해야 원하는 결과를 얻을 수 있습니다. + + + +### 속도 전처리 결과 확인하기 +Kafka의 consumer를 이용하여 속도 전처리 결과를 확인합니다. 이를 위해 카프카가 설치된 폴더로 이동하여 아래 명령어를 실행합니다. 카프카는 ``home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1`` 위치에 설치되어 있습니다. + +``` +cd /home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1 +./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --bootstrap-server localhost:9092 --topic traffic_output2 +``` + +아래 그림과 같이 전처리한 속도값을 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficTimeseriesProcessing 워크플로우를 종료(◼)할 수 있습니다. + +## 워크플로우 저장하기 +워크플로우 편집 화면에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.6.6.TrafficStreamingPredict.md b/manual1903/2.6.6.TrafficStreamingPredict.md new file mode 100755 index 0000000000000000000000000000000000000000..15491c4fa53bdf01f68ea2e04e26ffbc547012f0 --- /dev/null +++ b/manual1903/2.6.6.TrafficStreamingPredict.md @@ -0,0 +1,514 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 실시간 시계열 교통속도 센서스트림 처리 및 텐서플로우 모델 서빙하기 (TrafficStreamingPredict) +--- +교통센서로부터 시계열 속도 데이터를 수집한 후 전처리를 수행하고, 텐서플로우 기반 딥러닝 모델에 의해 예측된 속도를 클라이언트로 전달하는 예제를 설명합니다. + +## 입력 데이터 준비하기 +본 예제에서는 교통센서로부터 시계열 속도 데이터(LINK_ID, 속도, 날짜)를 Kafka로 입력 받는 것을 가정합니다. 초 단위로 측정된 센서 데이터가 무작위로 들어온다고 가정합니다. 또한 텐서플로우 기반의 15분 뒤 속도를 예측하는 모델이 미리 학습되어 export 되어 있다고 가정합니다. + +### 시계열 속도 스트림데이터 생성하기 +본 예제를 위해 준비된 파일로부터 시계열 속도 데이터를 한줄씩 읽어 Kafka로 보내주는 파이썬 프로그램을 제공합니다. + +입력파일은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 ``201601_kangnam_orgarnized_new.csv`` 파일입니다. 초 단위로 측정한 LINK_ID 와 속도가 무작위로 섞여있습니다. + +- 입력파일 형태 및 내용 + +PRCS_DATE | LINK_ID | PRCS_SPD +--|---|-- +2016-01-01 00:00:27 | 1220034700 | 32.8 +2016-01-01 00:00:12 | 1220019900 | 15.9 +2016-01-01 00:00:08 | 1220025800 | 21.1 +... | ... | ... + + +파이썬 프로그램은 Host PC의 /home/csle/ksb-csle/examples 폴더에 존재하는 kangnam_producer.py 입니다. 파이썬 프로그램이 있는 폴더로 이동하여 아래 명령어를 실행합니다. + +``` +cd /home/csle/ksb-csle/examples +python3 kangnam_producer.py ./input/201601_kangnam_orgarnized_new.csv localhost:9092 traffic 0.01 + +첫번째 arg: 보내려는 csv 파일 경로 +두번째 arg: 카프카 서버 접속 주소 +세번째 arg: 토픽명 +네번째 arg: 각 row 를 전송하는 주기 (초 단위) +``` + +아래 그림과 같이 파일로 부터 데이터를 한줄씩 읽어 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +### 학습된 모델 업로드 +교통속도예측 텐서플로우 모델 학습하기 매뉴얼에서 학습한 후 export 된 모델이 ``hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam`` 위치에 저장되어 있을 경우, 아래 과정을 생략합니다. +그렇지 않을 경우, Host PC의 /home/csle/ksb-csle/examples/models/kangnam/model 폴더에 있는 텐서플로우 서빙용으로 export 한 모델을 HDFS repository에 웹툴킷을 이용하여 업로드합니다. +model/kangnam 위치에 model 폴더를 업로드 합니다. + + + +모델이 아래 폴더 구조로 업로드 되어야 합니다. + + + + +### 기타 입력파일 업로드 +그 밖에 필요한 파일들을 HDFS repository에 웹툴킷을 이용하여 dataset/input/traffic 위치에 업로드 합니다. 아래 파일들은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 있습니다. +- traffic_kangnam_cols.txt +- trafficStreamingSplitSample.json + + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 세 개의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficStreamingPredict | 워크플로우 이름 +description | 강남 교통 예측 시나리오 | 워크플로우를 설명하는 글 +isBatch | false | 스트림 처리를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + + +### 첫 번째 엔진 생성하기 +스트림형태로 입력되는 교통 데이터를 입력받아 실시간으로 전처리를 수행하기 위해 StreamJoin 엔진을 선택합니다. StreamJoin 엔진은 내부적으로 Spark의 Structured Streaming을 사용합니다. +시간이 순차적으로 들어오지 않아도 처리 가능하고, 입력데이터의 누락없이 데이터를 실시간으로 처리합니다. Trigger는 Writer에 있으며, Trigger 시점에 들어와있는 입력데이터를 가공하여 내보냅니다. + +카프카로부터 속도 데이터를 입력받아서 LINK_ID 별로 1분 동안의 속도를 평균하여 내보냅니다. 30초 단위로 오버랩하여 missing value를 채우고, 잡음을 smoothing 하는 역할을 합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | StreamJoin | StreamProcessingEngine | 즉시실행 | 1분 단위로 속도 aggregation + + +#### Reader +KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic | Kafka 큐의 이름 +addTimestamp | false | 입력데이터를 받은 시간을 DataFrame 에 추가하고 싶을 경우, true 로 지정 +timestampName | PRCS_DATE | 윈도우, watermark 등을 설정할 시간 정보가 들어있는 칼럼 이름 입력 +watermark | 2 minutes | 늦게 들어오는 입력데이터를 얼마동안 기다릴 것인지 입력 +sampleJsonPath | dataset/input/traffic/
trafficStreamingSplitSample.json | 입력데이터 형태 지정 +failOnDataLoss | false | + + + +#### Writer +KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +mode | append | 새로 들어온 입력데이터에 대해서 처리함 +trigger | 5 seconds | 5초 동안 들어온 입력데이터에 대해서 처리함 +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output1 | Kafka 큐의 이름 +checkpointLocation | file:///home/csle/ksb-csle/examples/
output/kangnam/checkpoint/kafka1 | checkpoint 파일을 저장할 폴더 지정 +failOnDataLoss | true | + + +#### Controller +StreamingGenericController 를 선택합니다. + + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +첫번째 엔진에서는 3개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **GroupByOperator** + +field |value | 설명 +--|---|-- +timeColName | PRCS_DATE | 시간정보가 들어있는 칼럼 이름 +keyColName | LINK_ID | key 칼럼 이름 +valColName | PRCS_SPD | 계산할 칼럼 이름 +groupby | AVG | 평균 계산 +window | | 아래의 표 참고 + +window 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +key | PRCS_DATE | 윈도우를 사용할 칼럼 이름 +windowLength | 1 minutes | 1분 단위 윈도우 설정 +slidingInterval | 30 seconds | 30초 오버랩 설정 + + +1분 단위의 윈도우(30초 오버랩)로 LINK_ID 별 평균 속도를 계산합니다. +LINK_ID, window (start, end), PRCS_SPD 로 칼럼이 나옵니다. + + +2. **SelectColumnsPipeOperator** + +field |value | 설명 +--|---|-- +colName | LINK_ID
window.start
PRCS_SPD | 선택할 칼럼 이름 +isRename | false | + +LINK_ID, window.start, PRCS_SPD 칼럼을 선택합니다. + + +3. **RenameColumnsPipeOperator** + +field |value | 설명 +--|---|-- +selectedColumn | | 아래의 표 참고 + +selectedColumn 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함) +newColName | PRCS_DATE | 변경할 칼럼 이름 +newFieldType | STRING | 변경할 칼럼 타입 + +GroupByOperator 에 의해 window로 변경된 칼럼 이름을 원래대로 바꾸고, 카프카로 시간 정보를 제대로 내보내기 위해 타입을 STRING 으로 변경합니다. + + +### 두 번째 엔진 생성하기 +missing value를 채우고 잡음을 smoothing 하기 위해, 한번 더 카프카로부터 속도 데이터를 입력받아서 LINK_ID 별로 5분 동안의 속도를 평균하여 내보냅니다. + +첫 번째 엔진과 동일하게 구성하여 속성만 다르게 지정합니다. 이를 위해 **Engine 복제** 기능을 사용하여 첫번째 엔진을 복사합니다. 첫번째 엔진을 클릭한 후 마우스 오른쪽 버튼을 클릭하면 세부메뉴가 나타납니다. 이 세부메뉴에서 **Engine 복제** 메뉴를 클릭하면 동일한 엔진이 생성됩니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +2 | StreamJoin | StreamProcessing2Engine | 즉시실행 | 5분 단위로 속도 aggregation + + +#### Reader +KafkaPipeReader를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output1 | Kafka 큐의 이름 +addTimestamp | false | 입력데이터를 받은 시간을 DataFrame 에 추가하고 싶을 경우, true 로 지정 +timestampName | PRCS_DATE | 윈도우, watermark 등을 설정할 시간 정보가 들어있는 칼럼 이름 입력 +watermark | 2 minutes | 늦게 들어오는 입력데이터를 얼마동안 기다릴 것인지 입력 +sampleJsonPath | dataset/input/traffic/
trafficStreamingSplitSample.json | 입력데이터 형태 지정 +failOnDataLoss | false | + + +#### Writer +KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +mode | append | 새로 들어온 입력데이터에 대해서 처리함 +trigger | 5 seconds | 5초 동안 들어온 입력데이터에 대해서 처리함 +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output2 | Kafka 큐의 이름 +checkpointLocation | file:///home/csle/ksb-csle/examples/
output/kangnam/checkpoint/kafka2 | checkpoint 파일을 저장할 폴더 지정 +failOnDataLoss | true | + + +#### Controller +StreamingGenericController 를 선택합니다. + + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +두 번째 엔진에서는 3개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **GroupByOperator** + +field |value | 설명 +--|---|-- +timeColName | PRCS_DATE | 시간정보가 들어있는 칼럼 이름 +keyColName | LINK_ID | key 칼럼 이름 +valColName | PRCS_SPD | 계산할 칼럼 이름 +groupby | AVG | 평균 계산 +window | | 아래의 표 참고 + +window 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +key | PRCS_DATE | 윈도우를 사용할 칼럼 이름 +windowLength | 5 minutes | 5분 단위 윈도우 설정 +slidingInterval | 5 minutes | 오버랩 없도록 설정 + + +5분 단위의 윈도우(오버랩 없음)로 LINK_ID 별 평균 속도를 계산합니다. +LINK_ID, window (start, end), PRCS_SPD 로 칼럼이 나옵니다. + + +2. **SelectColumnsPipeOperator** + +field |value | 설명 +--|---|-- +colName | LINK_ID
window.start
PRCS_SPD | 선택할 칼럼 이름 +isRename | false | + +LINK_ID, window.start, PRCS_SPD 칼럼을 선택합니다. + + +3. **RenameColumnsPipeOperator** + +field |value | 설명 +--|---|-- +selectedColumn | | 아래의 표 참고 + +selectedColumn 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +selectedColIndex | 1 | window.start 칼럼 선택 (0번부터 시작함) +newColName | PRCS_DATE | 변경할 칼럼 이름 +newFieldType | STRING | 변경할 칼럼 타입 + +GroupByOperator 에 의해 window로 변경된 칼럼 이름을 원래대로 바꾸고, 카프카로 시간 정보를 제대로 내보내기 위해 타입을 STRING 으로 변경합니다. + + + +### 세 번째 엔진 생성하기 +스트림형태로 입력되는 속도 데이터를 입력 받아 전처리 한 후, 15분 뒤 속도를 예측해서 스트림 형태로 내보내므로 StreamToStream엔진을 선택합니다. + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +3 | StreamToStream | PredictEngine | 즉시실행| 속도 전처리 후 딥러닝 모델 기반 예측 + + +#### Reader +KafkaReader를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | traffic | Kafka topic 그룹 아이디 +topic | traffic_output2 | Kafka 큐의 이름 + + +#### Writer +KafkaWriter를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | traffic | Kafka topic 그룹 아이디 +topic | kangnam_output | Kafka 큐의 이름 + + +#### Controller +SparkStreamController를 선택하고 아래표와 같은 속성을 지정합니다. +SparkStreamController는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. + +field |value | 설명 +--|---|-- +operationPeriod | 5 | Reader로 부터 데이터를 읽어올 주기, 초 단위 +windowSize | 1530 | 큐에서 사용할 윈도우 크기
170 x 9 +slidingSize | 170 | 윈도우를 sliding 하는 크기 + +본 예제에서는 5초 주기마다 1530 개의 데이터를 잘라서 operator에게 전달합니다. 입력데이터는 총 170개의 LINK_ID 를 가집니다. 따라서 5분 간격으로 170개의 데이터가 들어오는 셈입니다. 그런데 170개 데이터의 순서는 무작위로 들어옵니다. 또한 스트림 데이터는 계속해서 들어오고 있으므로 첫 시작 데이터가 어디일지 가늠하기 어렵습니다. 따라서 필요한 8 주기 보다 한 주기를 더 가져와서 처리하고 (170 x 9 = 1530 개), 1 주기 씩 슬라이딩 합니다. 아래에서 설명할 GroupByFilterOperator 및 OrderByFilterOperator 를 이용하여 170 x 8 = 1360 개 데이터를 필터링해서 사용합니다. + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +세 번째 엔진에서는 9개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **ColumnSelectOperator** + +field |value | 설명 +--|---|-- +selectedColumnName | PRCS_DATE
LINK_ID
PRCS_SPD | 선택할 칼럼 이름 + +2. **GroupByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 총계처리를 할 key 칼럼 이름 +groupby | COUNT | 총계처리 방법 선택 +condition | EQUAL | 총계처리 후 Filter 방법 선택 +value | 170 | Filter 의 값 입력 + +1530 개 데이터에서 LINK_ID 가 170 개가 되지 않는 시간의 데이터를 버리기 위해서, PRCS_DATE 칼럼을 COUNT 하여 170 이 되는 조건의 데이터만 남깁니다. 그러면 170 x 8 = 1360 개의 데이터만 남습니다. 그런데 우연히 데이터를 시작시점부터 잘 받았을 경우, 170 x 9 = 1530 개의 데이터가 남습니다. + +3. **OrderByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 정렬을 할 key 칼럼 이름 +method | ASC | 정렬 방법 선택 (ASC: 오름차순, DESC: 내림차순) +value | 1360 | 선택할 Row 의 개수 + +PRCS_DATE 칼럼을 정렬하여 8 주기의 데이터 (170 x 8 = 1360 개) 만 남깁니다. + +4. **MinMaxScalingOperator** + +field |value | 설명 +--|---|-- +selectedColumnId | 2 | 선택할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +max | 0.5 | 데이터가 scaling 될 때 최대값 +min | -0.5 | 데이터가 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +maxRealValue | 100 | 데이터에서 정상 범위로 사용할 최소값 +minRealValue | 0 | 데이터에서 정상 범위로 사용할 최대값 + + +5. **PivotOerator** + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | Pivot 할 칼럼 ID, LINK_ID 선택 (0부터 시작) +groupByColumn | 0 | 총계처리를 할 key 칼럼 ID, PRCS_DATE 선택 (0부터 시작) +valueColumn | 2 | 총계처리를 할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +method | AVG | 총계처리 방법 선택 + +시간 및 170 개의 LINK_ID 값을 칼럼으로 가지고, 시간에 따른 평균속도를 행으로 가지도록 DataFrame 을 변경합니다. + + + +6. **ColumnSelectWithFileOperator** + +field |value | 설명 +--|---|-- +columnIdPath | dataset/input/traffic/
traffic_kangnam_cols.txt | 선택할 칼럼 이름이 정의된 텍스트파일 경로 및 이름 입력 + +텐서플로우 기반 속도 예측 모델의 입력 순서에 맞도록 칼럼을 선택합니다. 본 예제에서는 칼럼의 개수가 많으므로 ColumnSelectOperator 를 사용하여 선택할 칼럼 이름을 일일이 입력하는 것이 매우 번거로우므로 ColumnSelectWithFileOperator 를 사용합니다. 칼럼 이름을 쉼표(,) 로 구분하여 입력한 텍스트파일로 부터 칼럼 이름을 읽어들여 칼럼을 선택합니다. + +7. **VectorAssembleColumnAddOperator** + +field |value | 설명 +--|---|-- +vectorAssembleColumnName | in1 | 추가할 벡터 칼럼 이름 입력 + +DataFrame의 모든 칼럼을 하나의 벡터로 만들어서 벡터타입의 칼럼을 마지막에 추가합니다. + +8. **FlattenOperator** + +field |value | 설명 +--|---|-- +columnName | in1 | 칼럼 이름 입력 + +선택한 칼럼의 데이터를 하나의 벡터로 만들어서 벡터 값만 남깁니다. 텐서플로우 모델의 입력형태로 데이터를 변환하는 과정입니다. + +9. **TensorflowPredictOperator** + +field |value | 설명 +--|---|-- +modelServerUri | model/kangnam | 모델 경로 +modelName | kangnam_traffic | 모델 이름 +signatureName | predict_speed | 모델 시그네쳐 이름 + +텐서플로우 서빙용으로 export 한 모델의 경로 및 export 할 때 정의한 모델 이름과 시그네쳐 이름을 이용하여 텐서플로우 모델을 서빙용으로 띄웁니다 (처음에 한번만 수행함). 그리고 서빙용 모델에 데이터를 보내고 예측된 속도 값을 리턴받아서 내부적으로 DataFrame 형태로 변환합니다. + +
+
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 스트림 데이터를 처리하므로 Batch 체크 박스는 해제하고 워크플로우를 제출합니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. + + + +### 체크포인트 파일 확인 + +첫 번째 엔진과 두 번째 엔진의 KafkaPipeWriter 가 생성한 체크포인트 파일이 지정한 위치에 생성된 것을 확인할 수 있습니다. +워크플로우 종료 후 재시작 할 경우에는 체크포인트 파일을 삭제하고 실행해야 원하는 결과를 얻을 수 있습니다. + + + +### 속도 예측 결과 확인하기 +Kafka의 consumer를 이용하여 속도 예측 결과를 확인합니다. 이를 위해 카프카가 설치된 폴더로 이동하여 아래 명령어를 실행합니다. 카프카는 ``home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1`` 위치에 설치되어 있습니다. + +``` +cd /home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1 +./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --bootstrap-server localhost:9092 --topic kangnam_output +``` + +아래 그림과 같이 예측된 속도값을 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficStreamingPredict 워크플로우를 종료(◼)할 수 있습니다. + +## 워크플로우 저장하기 +워크플로우 편집 화면에서 작성한 워크플로우를 "Save Workflow" 메뉴를 이용하여 저장합니다. diff --git a/manual1903/2.6.7.TrafficEndToEnd.md b/manual1903/2.6.7.TrafficEndToEnd.md new file mode 100755 index 0000000000000000000000000000000000000000..02977deccc1f264b71122c44bf49d8c1592fbff4 --- /dev/null +++ b/manual1903/2.6.7.TrafficEndToEnd.md @@ -0,0 +1,380 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 실시간 시계열 교통속도 센서스트림 처리/학습/예측 및 주기적 모델 갱신하기 (TrafficEndToEnd) +--- +교통센서로부터 시계열 속도 데이터를 수집한 후 전처리를 수행하고, 텐서플로우 기반 딥러닝 모델에 의해 예측된 속도를 클라이언트로 전달하는 한편, 전처리한 속도 데이터를 계속해서 파일에 저장한 후 텐서플로우 기반 딥러닝 모델을 주기적으로 학습하는 예제를 설명합니다. + +
+ + + +
+ +본 예제는 실시간 시계열 교통속도 센서스트림 처리 및 텐서플로우 모델 서빙하기 매뉴얼에 따라 워크플로우를 작성하였다고 가정하고 이어서 설명을 합니다. + + +## 입력 데이터 준비하기 +본 예제에서는 교통센서로부터 시계열 속도 데이터(LINK_ID, 속도, 날짜)를 Kafka로 입력 받는 것을 가정합니다. 초 단위로 측정된 센서 데이터가 무작위로 들어온다고 가정합니다. 또한 텐서플로우 기반의 15분 뒤 속도를 예측하는 모델이 파이썬 코드로 구현되어 있다고 가정합니다. + +### 시계열 속도 스트림데이터 생성하기 +본 예제를 위해 준비된 파일로부터 시계열 속도 데이터를 한줄씩 읽어 Kafka로 보내주는 파이썬 프로그램을 제공합니다. + +입력파일은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 존재하는 ``201601_kangnam_orgarnized_new.csv`` 파일입니다. 초 단위로 측정한 LINK_ID 와 속도가 무작위로 섞여있습니다. + +- 입력파일 형태 및 내용 + +PRCS_DATE | LINK_ID | PRCS_SPD +--|---|-- +2016-01-01 00:00:27 | 1220034700 | 32.8 +2016-01-01 00:00:12 | 1220019900 | 15.9 +2016-01-01 00:00:08 | 1220025800 | 21.1 +... | ... | ... + + +파이썬 프로그램은 Host PC의 /home/csle/ksb-csle/examples 폴더에 존재하는 kangnam_producer.py 입니다. 파이썬 프로그램이 있는 폴더로 이동하여 아래 명령어를 실행합니다. + +``` +cd /home/csle/ksb-csle/examples +python3 kangnam_producer.py ./input/201601_kangnam_orgarnized_new.csv localhost:9092 traffic 0.01 + +첫번째 arg: 보내려는 csv 파일 경로 +두번째 arg: 카프카 서버 접속 주소 +세번째 arg: 토픽명 +네번째 arg: 각 row 를 전송하는 주기 (초 단위) +``` + +아래 그림과 같이 파일로 부터 데이터를 한줄씩 읽어 Kafka로 보내는 것을 확인할 수 있습니다. + + + +### 파이썬 코드 업로드 +Host PC의 /home/csle/ksb-csle/components/src/main/python/kangnam 폴더를 HDFS repository에 웹툴킷을 이용하여 업로드 합니다. +dataset/tensorflowTrainSource 위치에 폴더를 업로드 합니다. + + + + + +`tensorflow_train.py` 파일은 텐서플로우 기반의 15분 뒤 속도를 예측하는 모델을 학습하는 코드가 구현되어 있는 파일입니다. (본 예제에서는 LSTM 알고리즘을 이용하여 15분 뒤 속도를 예측하는 모델을 사용합니다.) 프레임워크와 연동하여 학습이 되도록 파이썬 코드에 input 과 output 경로 등을 argument 로 받는 부분이 코딩되어야 합니다. 자세한 내용은 KSB 프레임워크과 연동을 위한 tensorflow 학습코드 작성하기 를 참고합니다. + +### 학습된 모델 업로드 +교통속도예측 텐서플로우 모델 학습하기 매뉴얼에서 학습한 후 export 된 모델이 ``hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam`` 위치에 저장되어 있을 경우, 아래 과정을 생략합니다. +그렇지 않을 경우, Host PC의 /home/csle/ksb-csle/examples/models/kangnam/model 폴더에 있는 텐서플로우 서빙용으로 export 한 모델을 HDFS repository에 웹툴킷을 이용하여 업로드합니다. +model/kangnam 위치에 model 폴더를 업로드 합니다. + + + +모델이 아래 폴더 구조로 업로드 되어야 합니다. + + + + +### 기타 입력파일 업로드 +그 밖에 필요한 파일들을 HDFS repository에 웹툴킷을 이용하여 dataset/input/traffic 위치에 업로드 합니다. 아래 파일들은 Host PC의 /home/csle/ksb-csle/examples/input 폴더에 있습니다. +- traffic_kangnam_cols.txt +- traffic_kangnam_clos2.txt +- trafficStreamingSplitSample.json + + + + +##워크플로우 생성하기 +워크플로우 편집화면에서 워크플로우를 작성합니다. 본 예제에서는 다섯 개의 엔진을 생성합니다. + +- 워크플로우 속성 + +속성 | 값 | 비고 +--|---|-- +name | TrafficEndToEnd | 워크플로우 이름 +description | 강남 교통 예측 및 학습 시나리오 | 워크플로우를 설명하는 글 +isBatch | false | 스트림 처리를 하는 워크플로우 이므로, false 로 지정 +verbose | false | 디버깅을 위해 로그정보를 보고자할 경우, true 로 지정 + +- 엔진 속성 + +순번 | 엔진 Type | NickName | RunType | 설명 +--|---|---|---|-- +1 | StreamJoin | StreamProcessingEngine | 즉시실행 | 1분 단위로 속도 aggregation +2 | StreamJoin | StreamProcessing2Engine | 즉시실행 | 5분 단위로 속도 aggregation +3 | StreamToStream | PredictEngine | 즉시실행| 속도 전처리 후 딥러닝 모델 기반 예측 +4 | StreamToBatch | PreprocessingEngine | 즉시실행 | 딥러닝 모델 학습을 위한 전처리 +5 | Batch | TrainEngine | 반복실행 | 딥러닝 모델 학습 + +앞의 세 개 엔진은 실시간 시계열 교통속도 센서스트림 처리 및 텐서플로우 모델 서빙하기 매뉴얼을 참고하여 생성합니다. 워크플로우 편집화면 상단의 **Load Workflow** 메뉴를 이용하여 *TrafficStreamingPredict* 워크플로우를 불러옵니다. + + + +또는 **Workflow instances** 화면에서 *TrafficStreamingPredict* 워크플로우를 선택한 후 편집화면으로 드래그하여 워크플로우를 재사용할 수도 있습니다. + + + + + +### 두 번째 엔진 수정하기 +KafkaPipeWriter를 하나 더 추가합니다. StreamJoin 엔진은 여러 개의 Reader 와 Writer 를 가질 수 있습니다. + + +#### Writer +KafkaPipeWriter를 선택하고 아래표와 같은 속성을 지정합니다. +field |value | 설명 +--|---|-- +mode | append | 새로 들어온 입력데이터에 대해서 처리함 +trigger | 5 seconds | 5초 동안 들어온 입력데이터에 대해서 처리함 +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | localhost:2181 | zookeeper의 접속주소(IP, 포트번호) +topic | traffic_output2_copy | Kafka 큐의 이름 +checkpointLocation | file:///home/csle/ksb-csle/examples/output/
kangnam/checkpoint/kafka2_copy | checkpoint 파일을 저장할 폴더 지정 +failOnDataLoss | true | + + + +### 네 번째 엔진 생성하기 +스트림형태로 입력되는 속도 데이터를 입력 받아 가공한 뒤 배치형태의 파일로 내보내므로 StreamToBatch엔진을 선택합니다. + +#### Reader +KafkaReader를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +bootStrapServers | localhost:9092 | Kafka 접속 주소(IP, 포트번호) +zooKeeperConnect | csle1:2181 | zookeeper의 접속주소(IP, 포트번호) +groupId | traffic | Kafka topic 그룹 아이디 +topic | traffic_output2_copy | Kafka 큐의 이름 + + +#### Writer +FileWriter를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | file:///home/csle/ksb-csle/examples/output/traffic_processing.csv | 출력 파일 경로 +fileType | CSV | 출력 파일 타입 +delimiter | , | 구분자 +header | false | 헤더 포함 유무 +saveMode | APPEND | 파일 저장 방식 + +- 출력 파일 경로 지정 +HDFS 의 상대경로를 지정할 경우, 상대경로 앞에 **사용자 기본 파일경로** 가 워크플로우 실행 시 동적으로 생성되어 적용됩니다. **사용자 기본 파일경로** 는 ``hdfs://{host}:{port}/user/{user_id}/applications/{workflow_id}/output/`` 입니다. +스트림 처리를 통해 주기적으로 파일을 생성하는 경우 HDFS 를 지원하지 않습니다. 따라서 본 예제에서는 로컬파일 시스템 경로를 사용합니다. 로컬파일 시스템 경로를 지정할 경우, ``file:///`` 키워드를 앞에 붙여서 사용합니다. + +#### Controller +SparkStreamController를 선택하고 아래표와 같은 속성을 지정합니다. +SparkStreamController는 스트림으로 입력되는 데이터를 큐에 저장하고, 일정 주기 마다 정해진 윈도우 크기로 잘라서 operator 에게 전달합니다. + +field |value | 설명 +--|---|-- +operationPeriod | 10 | Reader로 부터 데이터를 읽어올 주기, 초 단위 +windowSize | 1530 | 큐에서 사용할 윈도우 크기
170 x 9 +slidingSize | 1360 | 윈도우를 sliding 하는 크기
170 x 8 + +본 예제에서는 10초 주기마다 1530 개의 데이터를 잘라서 operator에게 전달합니다. 입력데이터는 총 170개의 LINK_ID 를 가집니다. 따라서 5분 간격으로 170개의 데이터가 들어오는 셈입니다. 그런데 스트림 데이터는 계속해서 들어오고 있으므로 첫 시작 데이터가 어디일지 가늠하기 어렵습니다. 따라서 필요한 8 주기 보다 한 주기를 더 가져와서 처리하고 (170 x 9 = 1530 개), 8 주기 씩 슬라이딩 합니다 (170 x 8 = 1360 개). 아래에서 설명할 GroupByFilterOperator 및 OrderByFilterOperator 를 이용하여 170 x 8 = 1360 개 데이터를 필터링해서 사용합니다. + +#### Runner +SimpleSparkRunner 를 선택합니다. +field |value | 설명 +--|---|-- +inJason | false | false로 설정하는 경우 json 형태의 파라메타를 커맨드라인 파라미터 형태로 변환하여 호출되는 외부 시스템에 전달. True 이면 json 형태의 파라메타 형태 그대로 외부시스템에 전달. +sparkArgs | | 아래의 표 참고 + +sparkArgs 설정은 다음과 같이 합니다. +field |value | 설명 +--|---|-- +master | local[\*] | YARN 의 마스터 +numExecutors | 2 | 익스큐터 개수 +excuterCores | 2 | 익스큐터 코어 개수 +executerMemory | 1g | Spark 의 익스큐터 메모리 +driverMemory | 1g | Spark 드라이버 메모리 +totalCores | 2 | Spark 전체 할당 가능 코어수 +sparkVersion | 2.3.0 | KSB프레임워크의 Spark 버전 + + + +#### Operator +세 번째 엔진에서는 6개의 Operator를 사용하여 입력데이터를 가공합니다. + + +1. **ColumnSelectOperator** + +field |value | 설명 +--|---|-- +selectedColumnName | PRCS_DATE
LINK_ID
PRCS_SPD | 선택할 칼럼 이름 + +2. **GroupByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 총계처리를 할 key 칼럼 이름 +groupby | COUNT | 총계처리 방법 선택 +condition | EQUAL | 총계처리 후 Filter 방법 선택 +value | 170 | Filter 의 값 입력 + +1530 개 데이터에서 LINK_ID 가 170 개가 되지 않는 시간의 데이터를 버리기 위해서, PRCS_DATE 칼럼을 COUNT 하여 170 이 되는 조건의 데이터만 남깁니다. 그러면 170 x 8 = 1360 개의 데이터만 남습니다. 그런데 우연히 데이터를 시작시점부터 잘 받았을 경우, 170 x 9 = 1530 개의 데이터가 남습니다. + +3. **OrderByFilterOperator** + +field |value | 설명 +--|---|-- +keyColName | PRCS_DATE | 정렬을 할 key 칼럼 이름 +method | ASC | 정렬 방법 선택 (ASC: 오름차순, DESC: 내림차순) +value | 1360 | 선택할 Row 의 개수 + +PRCS_DATE 칼럼을 정렬하여 8 주기의 데이터 (170 x 8 = 1360 개) 만 남깁니다. + +4. **MinMaxScalingOperator** + +field |value | 설명 +--|---|-- +selectedColumnId | 2 | 선택할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +max | 0.5 | 데이터가 scaling 될 때 최대값 +min | -0.5 | 데이터가 scaling 될 때 최소값 +withMinMaxRange | true | 위에서 설정한 max, min 값 사용 여부 +maxRealValue | 100 | 데이터에서 정상 범위로 사용할 최소값 +minRealValue | 0 | 데이터에서 정상 범위로 사용할 최대값 + + +5. **PivotOerator** + +field |value | 설명 +--|---|-- +selectedColumnId | 1 | Pivot 할 칼럼 ID, LINK_ID 선택 (0부터 시작) +groupByColumn | 0 | 총계처리를 할 key 칼럼 ID, PRCS_DATE 선택 (0부터 시작) +valueColumn | 2 | 총계처리를 할 칼럼 ID, PRCS_SPD 선택 (0부터 시작) +method | AVG | 총계처리 방법 선택 + +시간 및 170 개의 LINK_ID 값을 칼럼으로 가지고, 시간에 따른 평균속도를 행으로 가지도록 DataFrame 을 변경합니다. + + + +6. **ColumnSelectWithFileOperator** + +field |value | 설명 +--|---|-- +columnIdPath | dataset/input/traffic/
traffic_kangnam_cols2.txt | 선택할 칼럼 이름이 정의된 텍스트파일 경로 및 이름 입력 + +텐서플로우 기반 속도 예측 모델의 입력 순서에 맞도록 칼럼을 선택합니다. 본 예제에서는 칼럼의 개수가 많으므로 ColumnSelectOperator 를 사용하여 선택할 칼럼 이름을 일일이 입력하는 것이 매우 번거로우므로 ColumnSelectWithFileOperator 를 사용합니다. 칼럼 이름을 쉼표(,) 로 구분하여 입력한 텍스트파일로 부터 칼럼 이름을 읽어들여 칼럼을 선택합니다. + + +### 다섯 번째 엔진 생성하기 +텐서플로우를 이용하여 배치 형태로 딥러닝 모델을 생성하기 위해 Batch 엔진을 선택합니다. 다섯 번째 엔진은 딥러닝 모델을 주기적으로 생성하기 위해 **RUNTYPE** 을 **반복 실행** 으로 설정합니다. **주기** 는 **매분** 으로 설정합니다. 매분은 테스트용으로 5분 단위로 엔진이 submit 되어 실행됩니다. + + + +#### Reader +FileReader를 선택하고 아래표와 같은 속성을 지정합니다. 앞의 엔진에서 출력한 파일을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | file:///home/csle/ksb-csle/examples/output/traffic_processing.csv | 파일 경로 +fileType | CSV | 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +saveMode | | 사용 하지 않음 + + +#### Writer +FileWriter를 선택하고 아래표와 같은 속성을 지정합니다. 학습한 딥러닝 모델이 최종 저장될 폴더를 지정합니다. 다른 엔진에서 학습한 딥러닝 모델을 사용하도록 하기 위해 HDFS 절대경로를 지정합니다. 상대경로를 지정할 경우, 동적으로 생성한 **사용자 기본 파일경로** 가 앞에 추가되므로 다른 엔진에서 정확한 파일 경로를 지정하는 것이 어렵습니다. + +field |value | 설명 +--|---|-- +filePath | hdfs://csle1:9000/user/ksbuser_etri_re_kr/model/kangnam | 저장 경로 +fileType | CSV | 파일 타입 +delimiter | , | 구분자 +header | false | header 포함 유무 +saveMode | | 사용 하지 않음 + +#### Controller +Controller는 외부 Tensorflow 호출하기 위해 ExternalAnalysisController을 선택합니다. + +#### Runner +TensorflowRunner를 선택합니다. + +field |value | 설명 +--|---|-- +pyEntryPath | dataset/tensorflowTrainSource/kangnam/tensorflow_train.py | 파이썬 코드 경로 +cluster | false | cluster 환경 실행 여부 +inJson | false | Json 형태 파라미터 전달 유무 +tfVersion | r1.6 | Tensorflow 버전 정보 + + +#### Operator +DLTrainOperator를 선택하고 아래표와 같은 속성을 지정합니다. + +field |value | 설명 +--|---|-- +modelPath | file:///home/csle/ksb-csle/examples/output/kangnam/model | 내부적으로 학습된 모델을 저장할 경로
반드시 로컬 경로만 지정 +additionalParams | | 아래의 표 참고 + +additionalParams 설정은 [+] 버튼을 두 번 클릭하여 다음과 같이 합니다. 파이썬 코드에서 argument 로 받는 부분입니다. + +field |value | 설명 +--|---|-- +paramName | isTrain | 학습 유무 +paramValue | True | + +field |value | 설명 +--|---|-- +paramName | num_epochs | 학습 반복 횟수 +paramValue | 2 | + +
+
+ + + +ksbuser@etri.re.kr 계정으로 접속하면 예제 워크플로우가 만들어져있습니다. 불러오기해서도 돌려볼 수 있습니다. + +## 워크플로우 실행 및 모니터링하기 +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행 버튼을 누릅니다. 스트림 데이터를 처리하므로 Batch 체크 박스는 해제하고 워크플로우를 제출합니다. + + +### 워크플로우 모니터링 하기 + +KSB 웹툴킷 상단 메뉴의 Monitoring 탭을 클릭하면 Workflow 탭이 선택되어있습니다. Workflow 탭에서는 실행한 워크플로우들의 목록 및 동작 상태를 확인하고 제어할 수 있습니다. 위에서 실행한 워크플로우 이름을 클릭하면 워크플로우의 각 엔진들의 동작 상태 (status) 를 확인할 수 있습니다. + + + +다섯 번째 엔진은 주기적으로 (5분 마다) 실행되므로, 동작 상태(status) 가 완료(Completed)였다가 실행 중일 때는 실행 중(Inprogress) 으로 바뀌는 것을 확인할 수 있습니다. + + + + +WorkFlow History 탭을 선택하면, 프레임워크에서 워크플로우가 동작하며 발생시킨 로그 정보를 확인 할 수 있습니다. +그리고 본 예제에서는 다섯 번째 엔진이 5분 마다 동작한 내역을 확인할 수 있습니다. + + + + +### 학습한 후 export 된 모델 확인하기 +다섯 번째 엔진의 FileWriter 에서 지정한 위치에 학습된 모델이 생성된 것을 확인합니다. 다섯 번째 엔진이 5분 마다 실행되어 모델을 주기적으로 생성하는 것을 확인할 수 있습니다. 모델의 버전은 0000 부터 자동으로 1씩 증가합니다. +본 예제에서는 **학습된 모델 업로드** 에서 올려둔 0001 버전 이후부터 자동으로 모델이 생성된 것을 확인할 수 있습니다. + + + +### 체크포인트 파일 확인 + +첫 번째 엔진과 두 번째 엔진의 KafkaPipeWriter 가 생성한 체크포인트 파일이 지정한 위치에 생성된 것을 확인할 수 있습니다. +워크플로우 종료 후 재시작 할 경우에는 체크포인트 파일을 삭제하고 실행해야 원하는 결과를 얻을 수 있습니다. + + + +### 속도 예측 결과 확인하기 +Kafka의 consumer를 이용하여 속도 예측 결과를 확인합니다. 이를 위해 카프카가 설치된 폴더로 이동하여 아래 명령어를 실행합니다. 카프카는 ``home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1`` 위치에 설치되어 있습니다. + +``` +cd /home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1 +./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --bootstrap-server localhost:9092 --topic kangnam_output +``` + +아래 그림과 같이 예측된 속도값을 Kafka로 보내는 것을 확인할 수 있습니다. + + + + +## 워크플로우 종료하기 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 실행 중인 TrafficEndToEnd 워크플로우를 종료(◼)할 수 있습니다. diff --git a/manual1903/2.7.1.KSB_Dockerize.md b/manual1903/2.7.1.KSB_Dockerize.md new file mode 100644 index 0000000000000000000000000000000000000000..29737d41ae0b3010f1b851568992ffa5fd6f2d13 --- /dev/null +++ b/manual1903/2.7.1.KSB_Dockerize.md @@ -0,0 +1,186 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# Python 모듈 사용하기: KSB Dockerize +--- + +`ksblib.dockerize` 라이브러리는 사용자가 프로그래밍한 Python 코드를 Docker 이미지로 자동변환하는 기능을 제공합니다. 또한 REST API 기능을 자동으로 추가하여, 사용자 Python 코드로 입력자료를 보내고 결과를 받을 수 있도록 해줍니다. + +## 필요 라이브러리 + +- Python 3.5+ +- Docker 18+ + - 명령창에서 `docker` 명령어가 실행되는지 확인 + +## 테스트 환경 +- Ubuntu 16.04 및 Mac OS X +- Windows 에서는 테스트되지 않음 + +## 사용방법 + +### 1. 설치하기 + +`ksblib.dockerize`를 설치하기 위해, KSB 프레임워크 소스코드 폴더 안의 "ksblib" 폴더로 이동해 아래 명령어를 입력합니다. + +```sh +$> python setup.py install +``` + +KSB 프레임워크가 설치되어있지 않다면 설치매뉴얼 (https://csleoss.etri.re.kr/kor/sub05_01.do)을 참고하여 KSB 프레임워크를 설치합니다. + +### 2. base.py 와 main_func 생성하기 + +사용자 Python 코드들이 아래처럼 "modules" 폴더 안에 들어있다고 가정합니다. 참고: 아래 구조는 하나의 예이고, 폴더이름 및 구조는 사용자 임의로 생성할 수 있습니다. + +```sh +# Example of user-provided folder structure. +-+ modules + - __init__.py + - base.py + - requirements.txt + - user_python_file_01.py + - datafile01.pkl + - ... + -+ libraries + - library01.py + - ... +``` + +`ksb.dockerize` 라이브러리를 이용하기위해서는 반드시 두개의 파일이 "modules" 폴더 안에 들어있어야 합니다. 하나는 `__init__.py` 이고 다른 하나는 `base.py` 입니다. `__init.py__` 는 비어있는 Python 파일이어도 상관없습니다 . `base.py` 는 `main_func` 이라는 함수를 포함하고 있어야 합니다. 예를 들면 아래와 같습니다. + +`ksb.dockerize` 라이브러리는 이 `main_func` 을 불러 수행합니다. `x` 는 REST API를 통해 입력받을 데이터로, 문자열형태입니다. `x` 는 단순한 Python 문자열이어도 되고 (예: `'Hello World'`), 혹은 Json 문자열이어도 됩니다 (예: `'{"input": 4}'`). 아래 보이는 예제코드는 입력값 `x`가 Json 문자열이라고 가정하고 작성된 코드입니다. + +```python +import json + +def main_func(x): + # In this example, x is Python string containing Json data. + x = json.loads(x) + input = x['input'] + + # Do some work with the input data. + added_input = input + input + + # Return results in Python string type. + return str(added_input) +``` + +아래 코드는 `x` 가 단순 문자열이라고 가정하고 작성된 코드입니다. + +```python +def main_func(x): + # In this example, x is Python string. + input = x + + # Do some work with the input data. + added_input = input + input + + # Return results in Python string type. + return str(added_input) +``` + +`x` 를 어떤 형태로 정의하고, 이를 `main_func` 에서 어떻게 사용할지는 전적으로 사용자 자유입니다. 물론, 입력으로 오는 `x`의 형태와 그를 처리하는 방식이 잘 맞아야만 합니다. 또한, `main_func` 은 마지막 줄에 보이는 것처럼, 반드시 문자열형태의 결과를 `return` 해야합니다. + +아래에서 설명하는 모든 내용들은 `x` 가 Json 문자열이라고 가정하고 작성된 코드를 사용합니다. + +### 3. main_func 수행 실험하기 + +`ksb.dockerize` 를 이용하기 전에 `main_func` 이 성공적으로 수행되는지 반드시 테스트되야 합니다. 이를 위해, "modules"의 상위 폴더에서 Python console을 열고 (e.g. `$> python` 혹은 `$> ipython`), 아래와 같이 입력합니다. + +```python +from modules.base import main_func + +x = '{"input": 4}' +main_func(x) +``` + +작성한 `main_func` 이 에러없이 수행되도록 `main_func` 및 사용자 Python 코드들을 수정해야합니다. + +참고: 실험 중 발생하는 에러는 주로, 1) 해당 모듈이 없다거나 혹은 2) 해당 파일이 없다는 에러일 것입니다. 두 에러 모두 기본적인 Python 프로그래밍 에러로, Google 검색을 통해 해결할 수 있습니다. 간단하게 예를 들면, +- 해당 모듈이 없는 경우 + `import` 시에 "modules" (즉, 최상위 폴더이름) 로부터 시작하면 대부분 해결됩니다. 즉, `from modules.xxx import xxx` 혹은 `import modules.xxx.xxx` 와 같은 식이 됩니다. + +- 해당 파일이 없는 경우 + `os.path.dirname(__file__)` 을 파일경로 앞에 붙여주면 대부분 해결됩니다. + + +### 4. Docker 이미지 생성하기 + +위 과정까지 문제없이 끝났다면, 아래 Python 코드와 같이 `ksb.dockerize` 를 실행합니다. + +```python +from ksblib.dockerize import Dockerize + +drize = Dockerize('docker_image_name', '/path/to/modules', + requirements=['numpy:scipy>=1.1.0'], + user_args='any_string_values') +drize.build() +drize.run() +``` + +위 명령어는 "modules" 폴더에 있는 Python 코드들을 Docker 이미지로 만듭니다. 폴더경로 (`/path/to/modules`) 는 절대경로입니다. 생성되는 이미지의 이름을 변경하려면 `docker_image_name` 를 바꾸면 됩니다. `ksblib.dockerize` 는 8080 포트로 REST API를 제공합니다. 다른 포트로 변경하려면, 마지막 줄을 `drize.run(port=9090)` 처럼 변경하면 됩니다. + +사용자 Python 코드에서 사용하는 Python 라이브러리가 있다면 Docker 이미지 생성시에 `requirements` 옵션을 이용해 설치할 수 있습니다. 각각의 라이브러리는 `:` 로 구분하면 되며, 버전 정보도 명시할 수 있습니다. + +라이브러리를 설치하는 또 다른 방법은, "modules" 폴더 안에 "requirements.txt" 파일을 생성하는 것입니다. "requirements.txt" 의 내용은 아래처럼 작성하면 됩니다. + +```sh +numpy +scipy>=1.1.0 +``` + +`ksb.dockerize` 는 "requirements.txt" 안의 라이브러리를 먼저 설치하고, 그 후에 `requirements` 로 명시된 라이브러리들을 설치합니다. 따라서 동일한 라이브러리가 두 곳에 모두 명시되었다면, `requirements` 에 명시된 라이브러리가 최종설치됩니다. + +만일 이미 생성된 Docker 이미지가 있고, 다시 만들고 싶지 않다면 위 예제 코드에서 `drize.build()` 부분을 주석처리하면 됩니다. + + +#### 사용자 변수사용 + +만일, 특수한 이유로, 입력값 (예: `x`) 에 정보를 담아보내지 않고 따로 전달하고 싶은 파라미터가 있다면, `user_args` 를 사용하면 됩니다. `user_args` 로 전달된 문자열값은 Docker 이미지 생성시에 "ksb_user_args.pkl" 파일로 저장되며, "modules" 폴더에 위치한 Python 코드에서 읽어올 수 있습니다. 예를 들면: + +```python +# Any python script in the "modules" folder. +def read_user_args(): + import os + import pickle + + # Read the pickle file. + dir_name = os.path.dirname(__file__) + user_args = pickle.load(open(os.path.join(dir_name, + 'ksb_user_args.pkl'), 'rb')) + + return user_args +``` + +"ksb_user_args.pkl" 은 최상위 폴더 (이 예제에서는 "modules")에 저장됩니다. 참고: 이 기능은 실험중인 기능으로, 차후에 다른 형태로 변경될 수 있습니다. + + +### 5. 생성된 Docker 이미지 실험하기 + +위 과정에 따라 Docker 이미지가 성공적으로 만들어지고 실행되었다면, 아래처럼 실험해 볼 수 있습니다. + +``` +$> curl -d '{"input": 4}' http://localhost:8080 +``` + +위 명령어를 실행하면, 아래와 같은 작업이 순차적으로 수행됩니다. + +1. `curl` 명령어가 문자열 `'{"input": 4}'` 를 REST API를 통해 Docker image 로 전송 +2. `ksb.dockerize` 가 입력값을 `main_func` 에 전달 +3. `main_func` 이 문자열 `16` 을 반환 + +혹은, 아래처럼 Python 명령어를 이용해 테스트해볼 수도 있습니다. + +```python +import requests + +r = requests.post('http://localhost:8080', data='{"input": 4}') +status_code = r.status_code +response = r.text +``` + +반환되는 값 `response` 의 형식은 Python 문자열입니다. diff --git a/manual1903/2.7.2.KSB_TfPyCoding_Guide.md b/manual1903/2.7.2.KSB_TfPyCoding_Guide.md new file mode 100644 index 0000000000000000000000000000000000000000..84fa6f9b31bd15ee5aa01bf82a3a2b77c17579cc --- /dev/null +++ b/manual1903/2.7.2.KSB_TfPyCoding_Guide.md @@ -0,0 +1,502 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# KSB 프레임워크와 연동을 위한 tensorflow 학습코드 작성하기 +--- +KSB 인공지능 프레임워크는 파이썬 기반 사용자의 tensorflow 코드로 파라미터를 전달하고, 텐서플로우 모델 서빙용으로 export된 모델을 하둡파일시스템(HDFS)으로 복사해오는 방식으로 연동이 됩니다. + + + +따라서 사용자는 tensorflow 모델 학습을 위한 코드 작성 시, 프레임워크에서 전달하는 파라미터(입력파일 경로, 모델 저장 경로 등)를 받는 부분, 학습된 모델을 텐서플로우 서빙용으로 export 하는 부분을 구현해야 합니다. + +KSB 인공지능 프레임워크에서 텐서플로우 기반 모델을 학습하고 서빙하는 절차는 아래와 같습니다. **교통속도 예측 튜토리얼** 을 참고합니다. +1. KSB 인공지능 프레임워크에서 모델 입력 데이터 (모델 출력 데이터, 즉 lable 포함) 를 가공하여 csv 파일로 저장합니다. 하나의 파일에 입력 데이터와 학습을 위한 target 이 같이 저장되어야 합니다. 교통속도 스트림 데이터 전처리하기 를 참고합니다. + +2. 사용자 파이썬 코드에서 앞에서 가공한 csv 파일을 읽고 딥러닝 모델 학습을 합니다. 프레임워크와 사용자 파이썬 코드는 입력 파일 경로, 모델 export 경로 등의 파라미터를 전달할 수 있도록 연동되어 있습니다. 교통속도예측 텐서플로우 모델 학습하기 를 참고합니다. + +3. 학습 후 export 한 모델을 프레임워크에서 REST API 서비스가 가능하도록 띄우고, 클라이언트는 쿼리를 통해 예측 결과를 받을 수 있습니다. 사용자는 온디맨드 방식으로 서비스를 구성하거나 (온디맨드 방식으로 교통속도예측 모델 서빙하기 참고) 스트림 방식으로 서비스를 구성할 수 있습니다 (스트림 방식으로 교통속도예측 모델 서빙하기 참고). + + +## 프레임워크에서 전달하는 파라미터를 받는 부분 작성 +사용자 tensorflow 코드를 KSB 인공지능 프레임워크와 연동하기 위해서는 기본적으로 4개의 path를 KSB 인공지능 프레임워크로부터 전달 받아야 합니다. 그 밖에 사용자가 필요한 파라미터도 선언하여 전달 받을 수 있습니다. + +```python +import argparse + +if __name__ == '__main__': + parser = argparse.ArgumentParser(description='Train a model on tensorflow.') + + ## 기본적인 4개의 argument 선언 + parser.add_argument('--input', type=str, default='traffic_processing.csv', help='input path') + parser.add_argument('--model', type=str, default='file:///home/csle/kangnam/model/0000', + help='model path') + parser.add_argument('--modelPath', type=str, default='file:///home/csle/kangnam/model', + help='model base path') + parser.add_argument('--output', type=str, default='file:///home/csle/kangnam/output', + help='output path') + + ## 사용자가 필요한 argument 선언 + parser.add_argument('--isTrain', type=bool, default=True, + help='If true, train model. If not, predict with model') + parser.add_argument('--num_epochs', type=int, default=3, help='# of epochs') + + ## FLAGS 는 전역 변수 + ## FLAGS 변수를 사용해서 파라미터 사용 + FLAGS, unparsed = parser.parse_known_args() + +``` + +
+KSB 인공지능 프레임워크에서 전달하는 파라미터는 웹툴킷에서 설정한 컴퍼넌트의 속성 값입니다. + +### --input : FileReader의 filePath + +FileReader의 속성 중 filePath 에 입력 파일의 경로 및 파일명을 지정합니다. 이 값은 사용자 tensorflow 코드의 --input 파라미터로 전달됩니다. +아래와 같이 3가지 경로가 입력 가능합니다. + + + +1) 로컬 파일시스템 절대경로 + file:///home/csle/ksb-csle/examples/input/{선택한 경로 및 파일명} +2) hdfs 절대경로 + hdfs://{host}:{port}/user/{user_id}/dataset/{선택한 경로 및 파일명} +3) Hdfs 상대경로 + dataset/{선택한 경로 및 파일명} + + +### --output : FileWriter의 filePath + +FileWriter의 속성 중 filePath에 모델이 저장될 경로를 지정합니다. 이 값은 사용자 tensorflow 코드의 --output 파라미터로 전달됩니다. 폴더명까지만 입력합니다. 해당 폴더에 자동으로 최신버전의 폴더를 생성한 후 모델이 저장됩니다. +아래와 같이 3가지 경로가 입력 가능합니다. + + + +1) 로컬 파일시스템 절대경로 + file:///home/csle/ksb-csle/{선택한 경로} +2) hdfs 절대경로 + hdfs://{host}:{port}/user/{user_id}/model/{선택한 경로} +3) hdfs 상대경로 + model/{선택한 경로} + 위와 같이 입력하는 경우, 자동으로 **사용자 기본 파일경로** 가 앞에 추가됩니다. 따라서 아래와 같은 위치에 모델이 저장됩니다. hdfs://{host}:{port}/user/{user_id}/applications/{workflow_id}/output/model/{선택한 경로} + +### --modelPath (--model 포함) : DLTrainOperator의 modelPath + +DLTrainOperator의 속성 중 modelPath에 내부적으로 모델을 저장할 경로를 지정합니다. 이 값은 사용자 tensorflow 코드의 --modelPath 파라미터로 전달됩니다. 폴더명까지만 입력합니다. +아래와 같이 로컬 file system만 지원합니다. + + + +1) 로컬 파일시스템 절대경로 + file:///home/csle/ksb-csle/{선택한 경로} + +--model 파라미터는 위에서 지정한 modelPath를 기준으로 모델버전 폴더 path를 자동생성하여 전달합니다. 모델 버전은 0000 부터 1씩 자동으로 증가합니다. +- (modelPath) file:///home/csle/ksb-csle/{선택한 경로} +- (자동생성되는 model) file:///home/csle/ksb-csle/{선택한 경로}/{모델버전} + +### 그 밖의 파라미터 : DLTrainOperator의 additionalParams + +DLTrainOperator의 속성 중 additionalParams에 사용자가 필요한 파라미터의 이름 및 값을 설정합니다. + + + +paramName 에 파라미터 이름을 입력하고, paramValue 에 전달할 값을 입력합니다. + + +## 입력파일을 전처리 하는 부분 작성 + +KSB 인공지능 프레임워크에서 전달한 입력파일로부터 텐서플로우 모델의 배치 입력 데이터를 생성하기 쉽도록 path를 자동으로 획득하기 위한 pathResolver package 및 DataLoader 클래스를 제공합니다. + +```python +## import pathresolver package +import pathResolver as pathRes + +def main(): + # Preparation of data. + pathresolver = pathRes.PathResolver(FLAGS.input, FLAGS.modelPath, + FLAGS.model, FLAGS.output) + _, local_model_path, local_checkpoint_file, _ = pathresolver.get_paths() + data = pathresolver.get_input_dataframe() + loader = DataLoader(data) + +``` + +KSB 인공지능 프레임워크로부터 받은 4가지 path 정보를 이용하여 PathResolver 인스턴스를 생성합니다. + +```python +## Initiate pathresolver +pathresolver = pathRes.PathResolver(FLAGS.input, FLAGS.modelPath, FLAGS.model, FLAGS.output) +``` + +get_paths 함수를 호출하여 4개의 path를 리턴받습니다. +local_model_path 위치에 tensorflow serving용 모델을 저장합니다. 그리고 local_checkpoint_file 위치에 텐서플로우 모델의 체크포인트 파일을 저장합니다. local_model_base_path 및 output_file_path 는 참고용으로 사용하지 않습니다. + +```python +## Get paths from pathresolver +local_model_base_path, local_model_path, local_checkpoint_file, output_file_path = \ + pathresolver.get_paths() +``` + +입력 파일로부터 pandas dataframe을 리턴받습니다. 그리고 DataLoader 클래스를 이용하여 입력 데이터를 가공합니다. + +```python +## get dataframe from input path +data = pathresolver.get_input_dataframe() +loader = DataLoader(data) +``` + +```python +class DataLoader: + def __init__(self, data): + + def prepare_data(self): + """ + Prepare data for training a graph. + + Returns: + Input/output data in numpy array. + """ + + self.inputs = input #모델 입력 데이터 변수 + self.outputs = output #모델 출력 데이터 변수 + + + def get_batch(self, batch_size=64, shuffle=True): + +``` + +prepare_data 함수에서 사용자의 텐서플로우 모델 입력에 적합한 데이터로 가공하는 코드를 작성합니다. 모델의 입력 데이터는 self.inputs 변수로 저장하고, 모델의 출력 데이터는 self.outputs 변수로 저장합니다. + +## 텐서플로우 모델을 학습하고, 학습된 모델을 서빙용으로 export 하는 부분 작성 +텐서플로우 모델을 정의하고 학습한 후, 학습된 모델을 텐서플로우 서빙용으로 export 하는 코드를 작성합니다. TensorFlowModel 클래스의 각 함수 부분에 필요한 코드를 작성합니다. + +```python +tf_model = TensorFlowModel(local_model_path, local_checkpoint_file) +tf_model.build_graph() +tf_model.train_graph(loader) +# Store model to target Hdfs +pathresolver.store_output_model() + +``` + +```python +class TensorFlowModel(): + def __init__(self, local_model_path, local_checkpoint_file): + + def build_graph(self): + + def train_graph(self, loader): + + # checkpoint save + saver.save(sess, self.local_checkpoint_file) + # tensorflow serving model export + self.export(sess) + + def export(self, session): + +``` + +위에서 할당받은 local_checkpoint_file 위치에 모델 checkpoint 파일을 저장합니다. + +```python +saver.save(sess, self.local_checkpoint_file) +``` + +위에서 할당받은 local_model_path 위치에 tensorflow serving용 모델을 저장합니다. 텐서플로우 그래프의 입력 tensor 이름, 출력 tensor 이름, signature 이름 등을 정의합니다. + +```python +# tensorflow serving model export +self.export(sess) +``` + +```python +def export(self, session): + """ + Export a model. + """ + export_dir_path = self.local_model_path + + if os.path.exists(export_dir_path): + shutil.rmtree(export_dir_path) + + ## 모델 export path 받기 + builder = tf.saved_model.builder.SavedModelBuilder(export_dir_path) + + signature = tf.saved_model.signature_def_utils.build_signature_def( + ## 그래프 input tensor 정의 + inputs={ + "in1": tf.saved_model.utils.build_tensor_info(self.X) + }, + ## 그래프 output tensor 정의 + outputs={ + "out1": tf.saved_model.utils.build_tensor_info(self.output) + }, + method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME + ) + builder.add_meta_graph_and_variables( + session, + tags=[tf.saved_model.tag_constants.SERVING], + signature_def_map={"predict_speed": signature}, ## Signature 이름 정의 + assets_collection=None, + legacy_init_op=None, + clear_devices=None, + main_op=None) + builder.save() + print('exported model in ', export_dir_path) +``` + +output_file_path에 모델을 저장합니다. + +```python +## Store model to target file system +pathresolver.store_output_model() +``` + +## 전체 코드 예제 +15분 뒤 교통속도를 예측하는 텐서플로우 모델을 구현한 예제 입니다. 기본적인 LSTM 을 사용하여 구현하였습니다. 프레임워크에서 코드를 연동하여 실행하는 방법은 교통속도예측 텐서플로우 모델 학습하기 를 참고합니다. +main 함수를 포함한 사용자 코드에서 사용하는 라이브러리 파일 등은 동일한 폴더에 위치 시키거나 1 depth의 하위 폴더까지 작성 가능합니다. + +```python +import os +import sys +import shutil +import argparse + +import numpy as np +import pandas as pd +import tensorflow as tf +import pathResolver as pathRes + + +class DataLoader: + def __init__(self, data): + """ + DataLoader class. + + Args: + data (pandas.DataFrame): Data in Pandas DataFrame format. + """ + + self.data = data + + # User-customized data. + self.inputs = None + self.outputs = None + self.prepare_data() + + def prepare_data(self): + """ + Prepare data for training a graph. + + Returns: + Input/output data in numpy array. + """ + + # Convert the first column to datetime type. + self.data.ix[:, 0] = pd.to_datetime(self.data.ix[:, 0]) + + # Sort by the date. + self.data = self.data.sort_values(0) + + # Get 8 rows as input, and set the row three after as output. + data_np = self.data.values[::, 1:] + inputs = [] + outputs = [] + for i in range(len(data_np) - 8 - 3): + input = data_np[i:i + 8].flatten() + output = data_np[i + 8 + 3].flatten() + + inputs.append(input) + outputs.append(output) + + inputs = np.array(inputs) + outputs = np.array(outputs) + inputs = inputs.reshape(-1, 8, 170) + + self.inputs = inputs + self.outputs = outputs + + def get_batch(self, batch_size=64, shuffle=True): + """ + Get batch samples of the shuffled dataset. + + Args: + batch_size (int): Batch size. + shuffle (boolean): If shuffle or not. + + Returns: + Sample of batch size. + """ + + # Shuffle data. + if shuffle: + shuffle_index = np.arange(len(self.inputs)) + np.random.shuffle(shuffle_index) + + shuffled_inputs = self.inputs[shuffle_index] + shuffled_outputs = self.outputs[shuffle_index] + else: + shuffled_inputs = self.inputs + shuffled_outputs = self.outputs + + # Enumerate. + n_iter = int(shuffled_inputs.shape[0] / batch_size) + for i in range(n_iter): + yield shuffled_inputs[i * batch_size: (i + 1) * batch_size], \ + shuffled_outputs[i * batch_size: (i + 1) * batch_size] + + +class TensorFlowModel(): + def __init__(self, local_model_path, local_checkpoint_file): + """ + Build graph and export a model. + """ + self.X = None + self.Y = None + self.loss = None + self.train = None + self.output = None + self.local_model_path = local_model_path + self.local_checkpoint_file = local_checkpoint_file + + def build_graph(self): + """ + Build a graph + """ + + # Define inputs and outputs + seq_length = 8 + num_links = 170 + hidden_size = 128 + learning_rate = 0.01 + self.X = tf.placeholder(tf.float32, shape = [None, seq_length, num_links]) + self.Y = tf.placeholder(tf.float32, shape = [None, num_links]) + + # build a LSTM network + cell = tf.contrib.rnn.BasicLSTMCell( + num_units=hidden_size, state_is_tuple=True, activation=tf.tanh) + outputs, _states = tf.nn.dynamic_rnn(cell, self.X, dtype=tf.float32) + Y_pred = tf.contrib.layers.fully_connected( + outputs[:, -1], num_links, activation_fn=None) # We use the last cell's output + + # cost/loss + self.loss = tf.reduce_sum(tf.square(Y_pred - self.Y)) # sum of the squares + + # optimizer + optimizer = tf.train.AdamOptimizer(learning_rate) + self.train = optimizer.minimize(self.loss) + + self.output = Y_pred + + + def train_graph(self, loader): + """ + Train a graph + """ + + saver = tf.train.Saver() + + with tf.Session() as sess: + init = tf.global_variables_initializer() + sess.run(init) + + # restore from checkpoint file + if os.path.exists(self.local_checkpoint_file): + ckpt_path = tf.train.latest_checkpoint(self.local_checkpoint_file) + saver.restore(sess, ckpt_path) + print("Model Restored from ", ckpt_path) + + + num_epochs = FLAGS.num_epochs + num_batch = 10 + for i in range(num_epochs): + batch_loader = loader.get_batch(batch_size=num_batch, shuffle=False) + for inputs, outputs in batch_loader: + _, loss = sess.run([self.train, self.loss], + feed_dict={self.X: inputs, self.Y: outputs}) + + print("train lose: ", loss) + + # checkpoint save + saver.save(sess, self.local_checkpoint_file) + # tensorflow serving model export + self.export(sess) + sess.close() + + tf.reset_default_graph() + + + def export(self, session): + """ + Export a model. + """ + export_dir_path = self.local_model_path + + if os.path.exists(export_dir_path): + shutil.rmtree(export_dir_path) + + builder = tf.saved_model.builder.SavedModelBuilder(export_dir_path) + + signature = tf.saved_model.signature_def_utils.build_signature_def( + inputs={ + "in1": tf.saved_model.utils.build_tensor_info(self.X) + }, + outputs={ + "out1": tf.saved_model.utils.build_tensor_info(self.output) + }, + method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME + ) + builder.add_meta_graph_and_variables( + session, + tags=[tf.saved_model.tag_constants.SERVING], + signature_def_map={"predict_speed": signature}, + assets_collection=None, + legacy_init_op=None, + clear_devices=None, + main_op=None) + builder.save() + print('exported model in ', export_dir_path) + + +def main(): + # Preparation of data. + pathresolver = pathRes.PathResolver(FLAGS.input, FLAGS.modelPath, + FLAGS.model, FLAGS.output) + _, local_model_path, local_checkpoint_file, _ = pathresolver.get_paths() + data = pathresolver.get_input_dataframe() + loader = DataLoader(data) + + if FLAGS.isTrain: + # Train a model and export. + tf_model = TensorFlowModel(local_model_path, local_checkpoint_file) + tf_model.build_graph() + tf_model.train_graph(loader) + # Store model to target Hdfs + pathresolver.store_output_model() + else: + pass + + + +if __name__ == '__main__': + parser = argparse.ArgumentParser(description='Train a model on tensorflow.') + + parser.add_argument('--input', type=str, default='traffic_processing.csv', help='input path') + parser.add_argument('--model', type=str, default='file:///home/csle/kangnam/model/0000', + help='model path') + parser.add_argument('--modelPath', type=str, default='file:///home/csle/kangnam/model', + help='model base path') + parser.add_argument('--output', type=str, default='file:///home/csle/kangnam/output', + help='output path') + + parser.add_argument('--isTrain', type=bool, default=True, + help='If true, train model. If not, predict with model') + parser.add_argument('--num_epochs', type=int, default=3, help='# of epochs') + + FLAGS, unparsed = parser.parse_known_args() + + main() +``` diff --git a/manual1903/2.7.3.CSV2Parquet.md b/manual1903/2.7.3.CSV2Parquet.md new file mode 100644 index 0000000000000000000000000000000000000000..9033eed37fcc55c21f240acd2703806df4c139da --- /dev/null +++ b/manual1903/2.7.3.CSV2Parquet.md @@ -0,0 +1,136 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# CSV 파일 Parquet로 저장하기 +--- + +이 예제에서는 CSV 자료를 Batch 형태로 입력받아 Parquet 파일로 저장하는 방법에 대해 설명합니다. + +참고: Parquet 파일은 KSB 프레임워크가 제공하는 AutoML 기능 혹은 ML학습 기능을 사용하기 위해 필요한 입력자료 형태입니다. + +## 입력 데이터 준비하기 +입력데이터는 헤더 정보를 포함하는 CSV 파일이어야 합니다. 본 예제에서는 Host PC의 "/home/csle/ksb-csle/examples/input/iris.csv" 를 사용자 HDFS repository 의 "dataset/input" 폴더에 업로드하여 사용합니다. + +참고: 이전 버전의 KSB 프레임워크를 사용하고 있다면 iris.csv 가 없을 수도 있습니다. 이 경우 여기에서 다운받으면 됩니다. + +iris.csv 는 다음과 같은 값을 저장하고 있습니다. + +```sh +sepal_length,sepal_width,petal_length,petal_width,species +5.1,3.5,1.4,0.2,setosa +4.9,3.0,1.4,0.2,setosa +4.7,3.2,1.3,0.2,setosa +4.6,3.1,1.5,0.2,setosa +5.0,3.6,1.4,0.2,setosa +5.4,3.9,1.7,0.4,setosa +``` + +첫번째 줄은 헤더이고, 두번째 줄부터 자료값입니다. 각각의 값은 "," 로 분리되어 있어야 합니다. + +## 워크플로우 생성하기 +워크플로우 편집화면을 이용하여, 아래 과정을 거쳐 워크플로우를 생성합니다. + +### 엔진 선택 +기계학습모델 학습기능을 사용하기 위해 BatchToBatchStream 엔진을 드래그앤 드롭합니다. 속성값을 아래와 같이 지정합니다. + +field |value | 설명 +--|---|-- +name | 2.7.3.CSV2Parquet | 워크플로우 이름 +description | CSV 파일 Parquet로 변환하기 | 워크플로우 설명 +isBatch | true | Batch 실행여부 + +#### Reader +파일을 읽기위해 FileReader를 드래그앤 드롭하고, 아래표와 같이 속성을 지정합니다. + +field |value | 설명 +--|---|-- +filePath | dataset/input/iris.csv | 파일경로 +fileType | CSV | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | true | 헤더포함여부 + +filePath는 직접 입력할 수도 있으며, 아래 화면처럼 GUI를 이용해 선택할 수도 있습니다 (filePath 속성에 "File" 버튼 클릭). 기타 속성은 기본값으로 두면 됩니다. + + + +#### Writer +Parquet 파일을 저장하기 위해 FileWriter를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +filePath | dataset/input/iris.parquet | 저장경로 및 파일이름 +fileType | PARQUET | 파일형태 +delimiter | , | 구분자 +field | | 상세설정 +header | true | 헤더포함여부 + +Reader의 경우와 마찬가지로 filePath는 직접 입력할 수도 있으며, GUI를 이용해 선택할 수도 있습니다. + +#### Controller +Controller 로는 SparkSessionOrStreamController를 드래그앤 드롭합니다. + +#### Runner +SimpleSparkRunner 를 드래그앤 드롭합니다. + +field |value | 설명 +--|---|-- +inJason | false | Jason 형태 파라미터 전달여부 +sparkArgs | | Spark 상세설정 + +sparkArgs 버튼을 누르면 아래와 같이 Apache Spark 실행환경을 세부설정할 수 있는 창이 뜹니다. 이 예제에서는 기본값을 사용합니다. + +#### Operator + +이 예제에서는 CSV 파일의 칼럼들을 제어하기 위해 두개의 Operator를 사용합니다. 첫번째 Operator 는 VectorizeColumnOperator 입니다. 이 Operator 는 CSV 의 특정 칼럼을 선택해 Vector 로 합쳐 하나의 칼럼에 할당합니다. 속성값을 아래와 같이 설정합니다. + +field |value | 설명 +--|---|-- +srcColumnNames | sepal_length,sepal_width,petal_length,petal_width | Vectorize 할 칼럼이름. "," 로 구분. +destColumnNames | features | Vectorize 된 칼럼 이름 +keepSrcColumns | true | 기존 칼럼 유지 여부 + +두번째로 사용할 Operator 는 RenameColumnOperator 입니다. 이 Operator 는 CSV의 특정칼럼 이름을 원하는 이름으로 변경해줍니다. 속성값을 아래와 같이 설정합니다. + +field |value | 설명 +--|---|-- +existingName | species | 기존 칼럼 이름 +newName | label | 새로운 칼럼 이름 + +위 두 과정을 거치게 되면, 1) `sepal_length,sepal_width,petal_length,petal_width` 총 4개의 칼럼을 Vectorize 한 칼럼이 "features" 라는 이름으로 생성되고, 2) `species` 라는 이름을 가졌던 칼럼이 `label` 이라는 이름의 칼럼으로 변경됩니다. + +### 워크플로우 완성 화면 + +아래 그림은 위 과정을 거쳐 완성된 워크플로우 화면입니다. + + + +## 워크플로우 실행 및 모니터링하기 + +### 워크플로우 실행하기 +위에서 작성한 워크플로우를 실행하기 위해서는 워크플로우 편집기 상단의 실행버튼 (▶)을 누릅니다. 이 예제의 엔진은 배치형태로 실행되므로 "Batch" 체크박스를 체크하고 워크플로우를 제출해야합니다. + + + +### 워크플로우 모니터링 하기 + +#### 워크플로우 상태 확인 +KSB 웹툴킷 상단 "Monitoring" 메뉴의 "Workflow" 탭에서 작성한 워크플로우의 상태를 확인할 수 있습니다. 이 화면에서 실행 중인 워크플로우를 종료(◼)할 수 있으며, 종료된 워크를로우를 다시 실행(▶)할 수도 있습니다. + + + +#### 워크플로우 로그 보기 +위 화면에서 "WorkFlow History" 탭을 선택하면, KSB 프레임워크가 수행한 워크플로우들의 목록 및 각각의 로그 (목록 최우측의 i 버튼 클릭)를 확인할 수 있습니다. + + + +## 변환된 Parquet 파일 확인하기 +실행결과물은 KSB 웹툴킷 상단의 "Repository" 메뉴에서 확인할 수 있습니다. 먼저 "applications" 폴더 안의 워크플로우 ID 폴더로 들어갑니다 (워크플로우 ID는 Monitoring 메뉴에서 확인 가능). 해당 경로안에 "output" 폴더가 생성되어 있고 FileWriter 에서 설정한 "dataset/input/iris.parquet" 파일이 생성되어 있으면 워크플로우가 성공적으로 수행된 것입니다. "iris.parquet" 파일 내부는 "Text 결과 파일 보기"를 클릭해 확인할 수 있습니다 (아래 그림 참조). + + + +참고: 생성된 파일은 parquet 파일로 일반 텍스트 형태가 아닙니다. 따라서 제대로 된 내용확인을 위해서는 Spark 프로그래밍이 필요합니다 (https://spark.apache.org/docs/latest/sql-programming-guide.html#parquet-files). diff --git a/manual1903/2019-03-05-hadoop-2243-ssh-2243-test.md b/manual1903/2019-03-05-hadoop-2243-ssh-2243-test.md new file mode 100644 index 0000000000000000000000000000000000000000..48d34a350281d8f65096c52ef3a7c5317ec135ab --- /dev/null +++ b/manual1903/2019-03-05-hadoop-2243-ssh-2243-test.md @@ -0,0 +1,392 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# KSB 웹툴킷 사용시, 호스트 PC의 SSH 포트 변경 및 hostname 변경 방법 +--- + +만약 자신의 PC 환경 아래와 같다고 가정한 경우, KSB 웹툴킷 docker 이미지 변경 방법에 대해서 알려드립니다. + +hostname은 소문자로 설정하시기 바랍니다. hadoop을 사용하려고 할때 uppercase 사용시 문제가 됩니다 +``` +HOST PC hostname : csleserver +HOST PC IP : 192.168.1.102 +HOST PC SSH PORT : 22 +HOST PC 사용자 계정 : csle +``` + +# [HOST PC] vi etc/hosts에 추가 +아래와 같이 설정합니다. +``` +127.0.0.1 localhost +#127.0.1.1 csle1 + +# The following lines are desirable for IPv6 capable hosts +::1 ip6-localhost ip6-loopback +fe00::0 ip6-localnet +ff00::0 ip6-mcastprefix +ff02::1 ip6-allnodes +ff02::2 ip6-allrouters + +192.168.1.102 csleserver master +``` + +# [HOST PC] sshd_config port 변경 혹은 확인 +``` +Port 22 +# Authentication: +LoginGraceTime 120 +PermitRootLogin yes +StrictModes yes +``` + +# [HOST PC] sudo vi /etc/ssh/ssh_config +Host localhost +StrictHostKeyChecking no + +Host 0.0.0.0 +StrictHostKeyChecking no + +Host 127.0.0.1 +StrictHostKeyChecking no + +Host csle* +StrictHostKeyChecking no +UserKnownHostsFile=/dev/null + +Host master +StrictHostKeyChecking no +UserKnownHostsFile=/dev/null + + +# [HOST PC] startDockerCsle.sh 수정 +``` +cd ~/ksb-csle/docker/1.0-host +vi startDockerCsle.sh +``` + +``` +#!/bin/bash +sudo service postgresql stop + +docker network rm csle_cluster csle_standalone +docker rm -f csle1 + +echo "csle1 slave container..." +echo "start csle1 slave container..." +docker run --rm -itd \ + --net=host \ + -v /home/csle/ksb-csle:/home/csle/ksb-csle \ + -v /etc/localtime:/etc/localtime:ro \ + -v /etc/timezone:/etc/timezone \ + --user=csle \ + --name=csle1 \ +[수정] --hostname=$HOSTNAME \ + ksbframework/ksb_toolbox:1.0.0 bash + +docker exec -it csle1 bash +``` + +# [HOST PC] ksb 웹툴킷 실행 +``` +./startDockerCsle.sh +``` + +# [docker 컨테이너] Hadoop 수정 +``` +cd +cd hadoop/etc/hadoop +``` + +## core-site.xml 수정 +``` +vi core-site.xml +:%s/csle1/csleserver/g +``` + +## master 수정 +``` +vi masters +:%s/csle1/csleserver/g +``` + +## slaves 수정 +``` +vi slaves +:%s/csle1/csleserver/g +``` + +## yarn-site.xml 수정 +``` +vi yarn-site.xml +:%s/csle1/csleserver/g +``` + +## hadoop-env.sh 추가 +``` +vi hadoop-env.sh +export HADOOP_SSH_OPTS="-p 2243" +``` + +# [docker 컨테이너] Hbase 수정 +## hbase-site.xml 수정 +``` +cd ~/hbase/conf +vi hbase-site.xml +:%s/csle1/csleserver/g +``` + +## regionservers 수정 +``` +vi regionservers +:%s/csle1/csleserver/g +``` +## hbase-env.sh 수정 +``` +vi hbase-env.sh +export HBASE_SSH_OPTS="-p 2243" +``` + + +# [docker 컨테이너] startService.sh 수정 +cd +vi startService.sh +``` +#!/bin/bash +export TERM=xterm +stty rows 36 cols 150 +sudo service ssh restart +sudo service postgresql restart + +bash /home/csle/zookeeper-3.4.9/bin/zkServer.sh start +[수정] ssh csle@master -p 2243 "cd /home/csle/zookeeper-3.4.9/bin; ./zkServer.sh start" +[수정] ssh csle@csleserver -p 2243 "cd /home/csle/zookeeper-3.4.9/bin; ./zkServer.sh start" +start-dfs.sh +start-yarn.sh +start-hbase.sh +/home/csle/kafka/bin/kafka-server-start.sh /home/csle/kafka/config/server.properties & +/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start & +/home/csle/start-mongo.sh & +sleep 5 +cd /home/csle/ksb-csle/bin +/home/csle/ksb-csle/bin/startKnowledge_service.sh localhost 9876 +``` + +# [docker 컨테이너] sshd_config port 변경 +sudo vi /etc/ssh/sshd_config +``` +Port 2243 +# Authentication: +LoginGraceTime 120 +PermitRootLogin yes +StrictModes yes +``` + +# [docker 컨테이너] zookeeper 수정 +vi ~/zookeeper/conf/zoo.cfg +``` +server.1=csleserver:2888:3888 +``` + +# [docker 컨테이너] kafka 수정 +vi ~/kafka/config/server.properties +``` +advertised.listeners=PLAINTEXT://csleserver:9092 +zookeeper.connect=csleserver:2181 +``` + +# initHdfs.sh 수정 +vi ~/ksb-csle/bin/initHdfs.sh +``` +#!/bin/bash +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/ +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model +hdfs dfs -chown ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/ +hdfs dfs -chown ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/dataset +hdfs dfs -chown ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/model + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/input +hdfs dfs -put /home/csle/ksb-csle/examples/input/input_kmeans.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/201509_2.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/adult.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/input.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/trainset.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset +hdfs dfs -put /home/csle/ksb-csle/examples/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset/*.* /user/ksbuser_etri_re_kr/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model/autosparkml/test/0000 +hdfs dfs -put /home/csle/ksb-csle/examples/autosparkml/test/automl_test/0000/* /user/ksbuser_etri_re_kr/model/autosparkml/test/0000 + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/recurrent +hdfs dfs -put /home/csle/ksb-csle/components/src/main/python/recurrent/* /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/recurrent +hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/ +hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/model/autosparkml/ + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/pyModules/ChatbotServing +hdfs dfs -put /home/csle/ksb-csle/examples/pyModules/ChatbotServing/* /user/ksbuser_etri_re_kr/dataset/pyModules/ChatbotServing + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model/kangnam +hdfs dfs -put /home/csle/ksb-csle/examples/models/kangnam/model/0001 /user/ksbuser_etri_re_kr/model/kangnam + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_kangnam_cols.txt /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_kangnam_cols2.txt /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/trafficStreamingSplitSample.json /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_processing.csv /user/ksbuser_etri_re_kr/dataset/input/traffic/ + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam +hdfs dfs -put /home/csle/ksb-csle/components/src/main/python/kangnam/* /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/iris_dataset +hdfs dfs -put /home/csle/ksb-csle/examples/dataset/iris_dataset/*.* /user/ksbuser_etri_re_kr/dataset/iris_dataset +hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/dataset/iris_dataset +``` + +# [docker 컨테이너] hdfs 초기화 +hostname이 변경되었으므로 hdfs namenode를 초기화해야 합니다. +``` +cd +sudo rm -rf data +hdfs namenode -format +sudo service ssh start +start-dfs.sh +cd ksb-csle/bin/ +./initHdfs.sh +stop-dfs.sh +sudo service ssh stop +``` + +# [docker 컨테이너] ksb-csle/conf/ksb.conf 수정 +vi ~/ksb-csle/conf/ksb.conf +``` +hadoop { + home = "/hadoop/" +[수정] master = "csleserver" + port = "9000" + hdfs { + activated = "true" + baseDir = "/user/" + modelPath = "/model" + datasetPath = "/dataset" + } + webhdfs { + port = "50070" + baseDir = "/webhdfs/v1" + } +``` + +# [docker 컨테이너] UI 웹툴킷 설정 수정 +``` +sudo service postgresql start +/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start & + +csleserver:8080 접속 및 로그인 합니다.에러는 무시해도 됩니다. + +Management - system configuration- webhdfs.host : csleserver 수정 + +/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh stop +sudo service postgresql stop +``` + +# [HOST PC] docker 이미지 저장 +docker commit csle1 ksbframework/ksb_toolbox:1.0.1 + +# [HOST PC] startDockerCsle.sh 수정 +``` +#!/bin/bash +sudo service postgresql stop + +docker network rm csle_cluster csle_standalone +docker rm -f csle1 + +echo "csle1 slave container..." + +docker run --rm -itd \ + --net=host \ + -v /home/csle/ksb-csle:/home/csle/ksb-csle \ + -v /etc/localtime:/etc/localtime:ro \ + -v /etc/timezone:/etc/timezone \ + --user=csle \ + --name=csle1 \ + --hostname=$HOSTNAME \ +[수정] ksbframework/ksb_toolbox:1.0.1 bash + +docker exec -it csle1 bash +``` + +# [HOST PC] ksb 웹툴킷 실행 +``` +cd ~/ksb-csle/docker/1.0-host$ +./startDockerCsle.sh +``` + +# [docker 컨테이너] KSB 툴박스 초기화 및 예제 실행시 주의사항 + +``` +cd +./startService.sh +cd ~/ksb-csle/bin +./startKsbApiServing.sh +``` + +###[주의사항] +탑재되어 있는 예제에는 csle1 주소를 기준으로 작성되어 있습니다. +따라서, kafka reader / writer 예제에서 다음의 파라미터들의 변경이 필요합니다. +``` +bootStrapServer 주소 : csleserver:9092 +zooKeeperConnect 주소: csleserver:2181 +``` + +아래 예제들에서 kafka reader/writer를 사용하므로 파라미터의 수정이 필요합니다. +``` +2.5.7.RealtimeIngestToPredictInSingleEngine +2.5.8.RealtimeIngestToServingInTwoEngines +2.5.9.RealtimeIngestToServingWithKbInTwoEngines +2.5.12.TfStreamPredictionMnist +2.6.1.TrafficPreprocessing +2.6.6.TrafficStreamingPredict +2.6.7.TrafficEndToEnd +``` + +또한, hdfs://csle1:9000 주소에 file write 하는 예제들도 hdfs://csleserver:9000로 자신의 hostname에 맞도록 수정되어야 합니다. +``` +아래 예제들의 파라미터의 수정이 필요합니다. +2.5.10.HourlyTensorflowTraining +2.5.14.TrafficPeriodicTrainAndK8sServingExample +2.6.2.TrafficTraining +2.6.4.TrafficStreamServing +``` + +2.5.12.TfStreamPredictionMnist 예제의 경우, 테스트 코드를 수정한 후 테스트 합니다. + +vi ~/ksb-csle/examples/models/mnist/client/kafka-json/consume-mnist-output.sh +``` +#!/bin/bash + +KAFKA_CONSUMER=$KSB_HOME/tools/kafka_2.11-0.10.0.1/bin/kafka-console-consumer.sh +SERVER=csleserver:9092 +TOPIC=mnist_output + +$KAFKA_CONSUMER --zookeeper csleserver:2181 --bootstrap-server $SERVER --topic $TOPIC +``` + +vi ~/ksb-csle/examples/models/mnist/client/kafka-json/publish-mnist-input.sh +``` +#!/bin/bash + +INPUT_FILE=mnist_input.json +KAFKA_PRODUCER=/home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1/bin/kafka-console-producer.sh +[수정] BROKERS=csleserver:9092 +TOPIC=mnist_input + +cat $INPUT_FILE | $KAFKA_PRODUCER --broker-list $BROKERS --topic $TOPIC +``` + +2.5.13.ConvergedServingEndToEndExample 예제를 실행하기 전, 아래와 같이 수정 후 실행합니다. +``` +vi ~/ksb-csle/ksblib/ksblib/dockerize/base.py +:%s/csle1/csleserver/g +:%s/2243/22/g +``` diff --git a/manual1903/2019-03-05-ksbwebtoolkit-ssh-hostname-modify-manual.md b/manual1903/2019-03-05-ksbwebtoolkit-ssh-hostname-modify-manual.md new file mode 100644 index 0000000000000000000000000000000000000000..5c9857878e86541b18bf28641cdc86284c275d87 --- /dev/null +++ b/manual1903/2019-03-05-ksbwebtoolkit-ssh-hostname-modify-manual.md @@ -0,0 +1,447 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# 호스트 PC의 SSH 포트와 hostname을 사용자가 원하는 설정으로 변경하기 위한 KSB 웹툴킷 설정 방법 +--- + +현재 배포한 KSB 웹툴킷은 호스트 PC의 SSH 포트를 2243으로 변경해서 사용합니다. +왜냐하면 KSB 웹툴킷의 도커 컨테이너에서 SSH 22번을 사용하기 때문에 포트 충돌을 피하기 위함입니다. + +만약 사용자가 호스트 PC의 SSH 포트를 22번을 유지하고 KSB 웹툴킷의 SSH 포트를 2243번으로 변경하여 사용하기를 원하는 경우를 위해 아래의 메뉴얼을 제공합니다. +또한 호스트 PC의 hostname을 csle1으로 사용하지 않고 사용자가 원하는 이름으로 사용하는 설정 방법도 함께 설명합니다. + +만약 자신의 PC 환경이 아래와 같다고 가정한 경우, HOST PC에서 수정해야 하는 사항과 KSB 웹툴킷 docker 이미지를 변경하는 방법에 대해서 알려드립니다. + +[중요] hostname은 소문자로 설정하시기 바랍니다. hadoop을 사용한다면 uppercase 사용시 문제가 됩니다. +``` +HOST PC hostname : csleserver +HOST PC IP : 192.168.1.102 +HOST PC SSH PORT : 22 +HOST PC 사용자 계정 : csle +``` + +## [Host PC] csle 사용자 계정(권한: administrator) 생성하기 +기존 메뉴얼 참고 +## [Host PC] hostname을 csle1으로 변경하기 +기존 메뉴얼 참고 +## [Host PC] java-8-oracle 설치하기 +기존 메뉴얼 참고 +## [Host PC] KSB 툴박스 관련 프로그램 설치하기 +기존 메뉴얼 참고 + +## [Host PC] SSH port 변경 및 root 로그인 가능하도록 SSHD config 수정하기 +sudo vi /etc/ssh/sshd_config 명령을 이용해서 자신이 원하는 port로 수정합니다. +``` +Port 22 +# Authentication: +LoginGraceTime 120 +PermitRootLogin yes +StrictModes yes +``` + +## [Host PC] SSH config 수정하기 (known_hosts에 호스트 저장 질문을 하지 않도록 설정) +기존 메뉴얼 참고 + +## [Host PC] Docker 설치하기 +기존 메뉴얼 참고 + +## [Host PC] /etc/hosts 수정하기 +아래와 같이 자신의 hostname을 추가 설정합니다. +``` +127.0.0.1 localhost +# 아래 주석처리. Hdfs 연동시 문제가 생김. +#127.0.1.1 csleserver + +# The following lines are desirable for IPv6 capable hosts +::1 ip6-localhost ip6-loopback +fe00::0 ip6-localnet +ff00::0 ip6-mcastprefix +ff02::1 ip6-allnodes +ff02::2 ip6-allrouters + +192.168.1.102 csleserver master +``` + +## [Host PC] bashrc 설정 추가하기 +기존 메뉴얼 참고 + +## [Host PC] 크롬 설치하기 (optional) +기존 메뉴얼 참고 + +## [Host PC] KSB 툴박스 설치 및 docker image 다운받기 +기존 메뉴얼 참고 + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +기존 메뉴얼 참고 + +## [Host PC] SSH 재시작하기 +기존 메뉴얼 참고 + +## [Host PC] ksb-csle 폴더 권한 변경하기 +기존 메뉴얼 참고 + +## [HOST PC] startDockerCsle.sh 수정하기 +바뀐 hostname을 이용하여 KSB 웹툴킷 docker 컨테이너를 실행하기 위해서 아래와 같이 수정합니다. +``` +cd ~/ksb-csle/docker/1.0-host +vi startDockerCsle.sh +``` + +``` +#!/bin/bash +sudo service postgresql stop + +docker network rm csle_cluster csle_standalone +docker rm -f csle1 + +echo "csle1 slave container..." +echo "start csle1 slave container..." +docker run --rm -itd \ + --net=host \ + -v /home/csle/ksb-csle:/home/csle/ksb-csle \ + -v /etc/localtime:/etc/localtime:ro \ + -v /etc/timezone:/etc/timezone \ + --user=csle \ + --name=csle1 \ +[수정] --hostname=$HOSTNAME \ + ksbframework/ksb_toolbox:1.0.0 bash + +docker exec -it csle1 bash +``` + +## [HOST PC] ksb 웹툴킷 실행하기 +``` +./startDockerCsle.sh +``` + +아래 부분은 docker 컨테이너 내부에서 환경설정을 수정하는 방법을 설명합니다. +먼저 docker 컨테이너의 ssh 포트를 변경합니다. + +## [Docker 컨테이너] sshd_config port 변경하기 +``` +sudo vi /etc/ssh/sshd_config +``` +``` +Port 2243 +# Authentication: +LoginGraceTime 120 +PermitRootLogin yes +StrictModes yes +``` + +## [Docker 컨테이너] Hadoop 수정하기 +바뀐 docker 컨테이너의 ssh 포트 (2243)을 이용해서 hadoop을 사용하기 위해 아래와 같이 환경설정 파일을 수정합니다. + +``` +cd +cd hadoop/etc/hadoop +``` + +### core-site.xml 수정하기 +``` +vi core-site.xml +:%s/csle1/csleserver/g +``` + +### master 수정하기 +``` +vi masters +:%s/csle1/csleserver/g +``` + +### slaves 수정하기 +``` +vi slaves +:%s/csle1/csleserver/g +``` + +### yarn-site.xml 수정하기 +``` +vi yarn-site.xml +:%s/csle1/csleserver/g +``` + +### hadoop-env.sh 추가하기 +``` +vi hadoop-env.sh +export HADOOP_SSH_OPTS="-p 2243" +``` + +## [Docker 컨테이너] Hbase 수정하기 +### hbase-site.xml 수정하기 +``` +cd ~/hbase/conf +vi hbase-site.xml +:%s/csle1/csleserver/g +``` + +### regionservers 수정하기 +``` +vi regionservers +:%s/csle1/csleserver/g +``` +### hbase-env.sh 수정하기 +``` +vi hbase-env.sh +export HBASE_SSH_OPTS="-p 2243" +``` + +## [Docker 컨테이너] startService.sh 수정하기 +``` +cd +vi startService.sh +``` +``` +#!/bin/bash +export TERM=xterm +stty rows 36 cols 150 +sudo service ssh restart +sudo service postgresql restart + +bash /home/csle/zookeeper-3.4.9/bin/zkServer.sh start +[수정] ssh csle@master -p 2243 "cd /home/csle/zookeeper-3.4.9/bin; ./zkServer.sh start" +[수정] ssh csle@csleserver -p 2243 "cd /home/csle/zookeeper-3.4.9/bin; ./zkServer.sh start" +start-dfs.sh +start-yarn.sh +start-hbase.sh +/home/csle/kafka/bin/kafka-server-start.sh /home/csle/kafka/config/server.properties & +/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start & +/home/csle/start-mongo.sh & +sleep 5 +cd /home/csle/ksb-csle/bin +/home/csle/ksb-csle/bin/startKnowledge_service.sh localhost 9876 +``` + +## [Docker 컨테이너] zookeeper 수정하기 +``` +vi ~/zookeeper/conf/zoo.cfg +``` +``` +server.1=csleserver:2888:3888 +``` + +## [Docker 컨테이너] kafka 수정하기 +``` +vi ~/kafka/config/server.properties +``` +``` +advertised.listeners=PLAINTEXT://csleserver:9092 +zookeeper.connect=csleserver:2181 +``` + +## [Docker 컨테이너] initHdfs.sh 수정하기 +사용자 편의를 위해서 예제를 실행하기 위한 파일들을 hadoop 파일시스템에 등록합니다. +``` +vi ~/ksb-csle/bin/initHdfs.sh +``` +``` +#!/bin/bash +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/ +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model +hdfs dfs -chown ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/ +hdfs dfs -chown ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/dataset +hdfs dfs -chown ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/model + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/input +hdfs dfs -put /home/csle/ksb-csle/examples/input/input_kmeans.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/201509_2.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/adult.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/input.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/trainset.csv /user/ksbuser_etri_re_kr/dataset/input/ +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset +hdfs dfs -put /home/csle/ksb-csle/examples/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset/*.* /user/ksbuser_etri_re_kr/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model/autosparkml/test/0000 +hdfs dfs -put /home/csle/ksb-csle/examples/autosparkml/test/automl_test/0000/* /user/ksbuser_etri_re_kr/model/autosparkml/test/0000 + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/recurrent +hdfs dfs -put /home/csle/ksb-csle/components/src/main/python/recurrent/* /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/recurrent +hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/ +hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/model/autosparkml/ + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/pyModules/ChatbotServing +hdfs dfs -put /home/csle/ksb-csle/examples/pyModules/ChatbotServing/* /user/ksbuser_etri_re_kr/dataset/pyModules/ChatbotServing + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model/kangnam +hdfs dfs -put /home/csle/ksb-csle/examples/models/kangnam/model/0001 /user/ksbuser_etri_re_kr/model/kangnam + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_kangnam_cols.txt /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_kangnam_cols2.txt /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/trafficStreamingSplitSample.json /user/ksbuser_etri_re_kr/dataset/input/traffic/ +hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_processing.csv /user/ksbuser_etri_re_kr/dataset/input/traffic/ + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam +hdfs dfs -put /home/csle/ksb-csle/components/src/main/python/kangnam/* /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam + +hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/iris_dataset +hdfs dfs -put /home/csle/ksb-csle/examples/dataset/iris_dataset/*.* /user/ksbuser_etri_re_kr/dataset/iris_dataset +hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup /user/ksbuser_etri_re_kr/dataset/iris_dataset +``` + +### [Docker 컨테이너] hdfs 초기화하기 +hostname이 변경되었으므로 hdfs namenode를 초기화해야 합니다. + +``` +cd +sudo rm -rf data +hdfs namenode -format +sudo service ssh start +start-dfs.sh +cd ksb-csle/bin/ +./initHdfs.sh +stop-dfs.sh +sudo service ssh stop +``` + +### [Docker 컨테이너] ksb-csle/conf/ksb.conf 수정하기 +``` +vi ~/ksb-csle/conf/ksb.conf +``` +``` +hadoop { + home = "/hadoop/" +[수정] master = "csleserver" + port = "9000" + hdfs { + activated = "true" + baseDir = "/user/" + modelPath = "/model" + datasetPath = "/dataset" + } + webhdfs { + port = "50070" + baseDir = "/webhdfs/v1" + } +``` + +### [Docker 컨테이너] UI 웹툴킷 설정 수정하기 +바뀐 hostname을 UI 웹툴킷에 적용하기 위해 아래와 같이 웹툴킷 UI에서 관련 정보를 수정합니다. + +``` +sudo service postgresql start +/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start & + +csleserver:8080 접속 및 로그인 합니다. 에러는 무시해도 됩니다. + +Management - system configuration- webhdfs.host : csleserver 수정 + +/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh stop +sudo service postgresql stop +``` + +### [HOST PC] docker 이미지 저장하기 +위에서 지금까지 수정한 docker 컨테이너의 수정내용을 이미지로 저장합니다. +HOST PC의 터미널에서 실행하여야 합니다. + +``` +docker commit csle1 ksbframework/ksb_toolbox:1.0.1 +``` + +### [HOST PC] startDockerCsle.sh 수정하기 +바뀐 이미지를 이용하여 KSB 웹툴킷 docker 컨테이너를 실행하기 위해 아래와 같이 수정합니다. +``` +#!/bin/bash +sudo service postgresql stop + +docker network rm csle_cluster csle_standalone +docker rm -f csle1 + +echo "csle1 slave container..." + +docker run --rm -itd \ + --net=host \ + -v /home/csle/ksb-csle:/home/csle/ksb-csle \ + -v /etc/localtime:/etc/localtime:ro \ + -v /etc/timezone:/etc/timezone \ + --user=csle \ + --name=csle1 \ + --hostname=$HOSTNAME \ +[수정] ksbframework/ksb_toolbox:1.0.1 bash + +docker exec -it csle1 bash +``` + +### [HOST PC] ksb 웹툴킷 실행하기 +``` +cd ~/ksb-csle/docker/1.0-host$ +./startDockerCsle.sh +``` + +### [Docker 컨테이너] KSB 툴박스 초기화하기 + +``` +cd +./startService.sh +cd ~/ksb-csle/bin +./startKsbApiServing.sh +``` + +## [주의사항] 탑재되어 있는 예제를 실행하는 경우 수정해야 하는 사항 +탑재되어 있는 예제에는 csle1 주소를 기준으로 작성되어 있습니다. +따라서, kafka reader / writer 예제에서 다음의 파라미터들의 변경이 필요합니다. +``` +bootStrapServer 주소 : csleserver:9092 +zooKeeperConnect 주소: csleserver:2181 +``` + +아래 예제들에서 kafka reader/writer를 사용하므로 파라미터의 수정이 필요합니다. +``` +2.5.7.RealtimeIngestToPredictInSingleEngine +2.5.8.RealtimeIngestToServingInTwoEngines +2.5.9.RealtimeIngestToServingWithKbInTwoEngines +2.5.12.TfStreamPredictionMnist +2.6.1.TrafficPreprocessing +2.6.6.TrafficStreamingPredict +2.6.7.TrafficEndToEnd +``` + +또한, hdfs://csle1:9000 주소에 file write 하는 예제들도 hdfs://csleserver:9000로 자신의 hostname에 맞도록 수정되어야 합니다. +``` +아래 예제들의 파라미터의 수정이 필요합니다. +2.5.10.HourlyTensorflowTraining +2.5.14.TrafficPeriodicTrainAndK8sServingExample +2.6.2.TrafficTraining +2.6.4.TrafficStreamServing +``` + +2.5.12.TfStreamPredictionMnist 예제의 경우, 테스트 코드를 수정한 후 테스트 합니다. +아래의 스크립트를 수정합니다. +``` +vi ~/ksb-csle/examples/models/mnist/client/kafka-json/consume-mnist-output.sh +``` +``` +#!/bin/bash +KAFKA_CONSUMER=$KSB_HOME/tools/kafka_2.11-0.10.0.1/bin/kafka-console-consumer.sh +SERVER=csleserver:9092 +TOPIC=mnist_output + +$KAFKA_CONSUMER --zookeeper csleserver:2181 --bootstrap-server $SERVER --topic $TOPIC +``` + +아래의 스크립트를 수정합니다. +``` +vi ~/ksb-csle/examples/models/mnist/client/kafka-json/publish-mnist-input.sh +``` + +``` +#!/bin/bash + +INPUT_FILE=mnist_input.json +KAFKA_PRODUCER=/home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1/bin/kafka-console-producer.sh +[수정] BROKERS=csleserver:9092 +TOPIC=mnist_input + +cat $INPUT_FILE | $KAFKA_PRODUCER --broker-list $BROKERS --topic $TOPIC +``` + +2.5.13.ConvergedServingEndToEndExample 예제를 실행하기 전, 아래와 같이 수정 후 실행합니다. + +``` +vi ~/ksb-csle/ksblib/ksblib/dockerize/base.py +:%s/csle1/csleserver/g +:%s/2243/22/g +``` diff --git a/manual1903/2019-03-07-k8s-1.13-upgrade-manual.md b/manual1903/2019-03-07-k8s-1.13-upgrade-manual.md new file mode 100644 index 0000000000000000000000000000000000000000..88ec3ac6bdd6ad8db2f2e799a613a438bdd6e248 --- /dev/null +++ b/manual1903/2019-03-07-k8s-1.13-upgrade-manual.md @@ -0,0 +1,342 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# kubernetes 1.13 upgrade +--- +3대 서버에 마스터 1개, 노드1, 노도2의 쿠버네티스 클러스터를 구성하기 위한 설치 방법을 설명합니다. +각 서버의 호스트 이름 및 IP 는 아래와 같이 가정합니다. 사용자의 클러스터 환경에 맞게 IP를 수정하시기 바랍니다. +csle1 : 192.168.0.5 (master) +csle2 : 192.168.0.6 (node1) +csle3 : 192.168.0.7 (node2) + +## 모든 서버에 공통으로 설치하기 + +### [모든 서버 공통] 기존 k8s 삭제 +``` +sudo su - +kubeadm reset +``` +``` +systemctl stop kubelet +systemctl stop docker +rm -rf /var/lib/cni/ +rm -rf /var/lib/kubelet/* +# rm -rf /etc/cni/ +rm -rf /run/flannel +ifconfig cni0 down +ifconfig flannel.1 down +ifconfig docker0 down +ip link delete cni0 +ip link delete flannel.1 +apt-get purge -y kubeadm kubectl kubelet kubernetes-cni kube* +apt-get autoremove +sudo rm -rf ~/.kube +systemctl start docker +``` + +### [모든 서버 공통] kubernetes 최신 버전 install (2019.03.10일 기준 1.13.4) +``` +curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - +cat << EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list +deb https://apt.kubernetes.io/ kubernetes-xenial main +EOF +sudo apt-get update && \ +sudo apt-get install -y kubelet=1.13.4-00 kubeadm=1.13.4-00 kubectl=1.13.4-00 kubernetes-cni=0.6.0-00 +``` + +### [모든 서버 공통] docker daemon.json 파일 수정 +https://kubernetes.io/docs/setup/cri/ +``` +cat > /etc/docker/daemon.json <
+ +csle 사용자 계정의 home에 ksb_toolbox_v1-miniconda3.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다. + +```sh +tar zxvf ksb_toolbox_v1-miniconda3.tar.gz -C /home/csle/ +``` + +/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다. + - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더 + - /components : tensorflow train 예제 프로그램 저장 폴더 + - /conf : KSB 프레임워크 환경설정 파일 저장 폴더 + - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더 + - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더 + - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더 + - /ksblib : python 전처리 라이브러리 폴더 + - /kubernetes : 쿠버네티스 환경설정 폴더 + - /logs : log 저장 폴더 + - /pyML : autoML python 프로젝트 폴더 + - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh, webToolkit_db) +
+ +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 docker hub로부터 pull 합니다. + +```sh +docker pull ksbframework/ksb_toolbox:1.0.0-miniconda3 +``` + +Host PC에서 다음 명령으로 KSB 툴박스 docker image를 확인합니다. +(참고사항: 현재 docker image 버전은 1.0.0 버전이며, 추후 TAG 정보 및 SIZE 정보는 배포 버전에 따라 다를 수 있습니다) + +```sh +csle@csle1:~/ksb-csle$ docker images +REPOSITORY TAG IMAGE ID CREATED SIZE +ksbframework/ksb_toolbox 1.0.0-miniconda3 371754e0c686 4 months ago 7.32GB +``` + +## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기 +KSB 툴박스 docker 컨테이너의 인증키를 공유하기 위해 ksb-csle/tools 폴더에 있는 .ssh 폴더를 csle 홈에 복사합니다. + +```sh +cp -r ~/ksb-csle/tools/.ssh/ /home/csle/ +``` + +## [Host PC] SSH 재시작하기 +```sh +sudo service ssh restart +``` + +## [Host PC] ksb-csle 폴더 권한 변경하기 +KSB 툴박스 docker 컨테이너에서 Host PC의 ksb-csle 폴더를 엑세스 할 수 있도록 폴더 권한을 변경합니다. +```sh +sudo chmod 777 -R /home/csle/ksb-csle/ +``` + +이상으로 KSB 툴박스를 구동하기 위해 필요한 프로그램 설치 및 설정 변경을 완료하였습니다. +KSB 인공지능 프레임워크 실행하기 페이지로 이동하여 KSB 프레임워크를 구동하도록 하겠습니다. diff --git a/manual1903/3.1.HowToConfigureDevelopEnvironment.md b/manual1903/3.1.HowToConfigureDevelopEnvironment.md new file mode 100755 index 0000000000000000000000000000000000000000..7cc0eb43d1d97d7635b3708ec309f3cdb29d15bd --- /dev/null +++ b/manual1903/3.1.HowToConfigureDevelopEnvironment.md @@ -0,0 +1,189 @@ +--- +html: + toc: true + offline: true +export_on_save: + html: true +--- +# KSB 프레임워크 SW 개발환경 구성 +--- +KSB 프레임워크를 이용한 신규 컴퍼넌트의 개발과 scala clientSDK를 이용한 워크플로우 실행 시나리오 작성 및 실행을 요청하기 위한 개발환경 구성방법을 설명합니다. + +KSB 프레임워크 SW 개발을 위한 환경을 구성하기 위한 절차는 다음과 같습니다. + +- KSB 프레임워크 실행 및 테스트 환경구성 ( 툴박스 설치 참조 ) +- Scala IDE 설치 +- Java8 sdk 설치 +- Maven 빌드도구 설치 +- ksb-oss_dist(KSB ClientSDK 포함) 설치 +- Eclipse 프로젝트 Import +- Maven을 이용한 ksb-oss_dist(KSB Client SDK 포함) 프로젝트 빌드 + + + + +## KSB 프레임워크 실행(테스트) 환경구성 +[KSB 툴박스 설치][c87a2fc0] 에서 제시하는 절차에 따라 KSB 프레임워크 실행(테스트) 환경을 구성합니다. + + [c87a2fc0]: https://csleoss.etri.re.kr/images/contents/manual_1903/1.2.HowToInstallKsbToolBox-1903.html "KSB 툴박스 설치" + +## Scala IDE (개발도구) 설치 + +운영체제 (Ubuntu 또는 Mac osx)에 따라서 아래의 방법에 따라 Scala IDE를 설치합니다. 운영체제가 아래의 두 가지에 해당하지 않는 경우에는 +[Eclipse scala IDE 사이트][8580869d] 에 접속하여 직접 Eclipse scala IDE 를 다운로드합니다. 이때 Scala의 버전이 2.12로 구성된 버전을 다운로드 하면 됩니다. +적당한 곳에 압축을 풀면 Eclipse 실행파일이 해제되어 나타나는데 이 파일을 실행하면 Eclipse SDK가 실행됩니다. +이 파일을 적당한 위치에 옮겨둡니다.(optional) + + [8580869d]: http://scala-ide.org/ "scala IDE" + +### Ubuntu 예제: + +```sh +# Scala IDE 다운로드 +wget http://downloads.typesafe.com/scalaide-pack/4.7.0-vfinal-oxygen-212-20170929/scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz + +# 압축해제 +unzip scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz + +# 적당한 위치에 옮겨둡니다. +cd scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64 +``` + +### Mac Osx 예제: + +```sh +# Scala IDE 다운로드 +wget http://downloads.typesafe.com/scalaide-pack/4.7.0-vfinal-oxygen-212-20170929/scala-SDK-4.7.0-vfinal-2.12-macosx.cocoa.x86_64.zip + +# 압축해제 +unzip scala-SDK-4.7.0-vfinal-2.12-macosx.cocoa.x86_64.zip + +# 적당한 위치에 이동. Mac의 경우 Application 폴더에 넣어 줍니다. +cd scala-SDK-4.7.0-vfinal-2.12-macosx.cocoa.x86_64 +mv ./eclipse.app /Applications/ # Mac의 경우 왼쪽처럼 Applications 폴더에 넣어두면 편리합니다. +``` + +설치가 완료된 후, 커맨드라인 상에 아래의 명령을 입력하여 현재 설치된 Scala 버전을 확인합니다. + +```sh +$ scala -vsersion +Scala code runner version 2.12.2 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc. +``` + + +## Java8 sdk 설치 +[Oracle Java SDK 배포 사이트][753654a8] 에 접속하여 Java sdk를 다운로드하여 실행하면 설치가 완료됩니다. +아래 명령을 입력하여 설치가 잘 설치되었는지 확인합니다. + + [753654a8]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html "Oracle Java SDK 배포 사이트" + +```sh +$ java -version +java version "1.8.0_121" +Java(TM) SE Runtime Environment (build 1.8.0_121-b13) +Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode) +``` + +## Maven 빌드도구 설치 + +### Ubuntu 예제: +Host PC의 터미널에서 아래의 명령으로 maven 3.3.9를 설치합니다. +```sh +$ sudo wget --no-verbose -O /tmp/apache-maven-3.3.9.tar.gz http://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz +echo "516923b3955b6035ba6b0a5b031fbd8b /tmp/apache-maven-3.3.9.tar.gz" | md5sum -c +$ sudo tar xzf /tmp/apache-maven-3.3.9.tar.gz -C /opt/ +$ sudo ln -s /opt/apache-maven-3.3.9 /opt/maven +$ sudo ln -s /opt/maven/bin/mvn /usr/local/bin +$ sudo rm -f /tmp/apache-maven-3.3.9.tar.gz +$ sudo apt-get clean +``` + +maven 버전을 확인합니다. +```sh +$ csle@csle1:~$ mvn -v +Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T01:41:47+09:00) +Maven home: /opt/apache-maven-3.3.9 +Java version: 1.8.0_161, vendor: Oracle Corporation +Java home: /usr/lib/jvm/java-8-oracle/jre +Default locale: ko_KR, platform encoding: UTF-8 +OS name: "linux", version: "4.13.0-26-generic", arch: "amd64", family: "unix" +``` + + +### Mac Osx 예제: +보다 편리한 설치를 위해서 아래의 방법으로 Home brew를 설치합니다(optional). +Mac의 경우 설치 툴이 brew를 설치하면 편리하게 패키지를 설치할 수 있습니다. ( 추가적인 자세한 설치 방법은 [설치방법 참고][13f64dda] ) +```sh +$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" +``` + +Home brew를 설치하고 나면 brew 명령을 이용해서 최신의 Maven을 쉽게 설치할 수 있습니다.. +```sh +$ brew intall maven +``` + + [13f64dda]: https://brew.sh/index_ko.html "Home brew 설치" + +## KSB 인공지능 프레임워크 오픈소스 설치 +[다운로드][3c996289] 에 로그인하여 KSB 인공지능 프레임워크 오픈소스인 ksb-oss_dist (실행 바이너리 포함)를 다운로드 합니다. +- ksb_oss_v1_0.tar.gz : KSB 인공지능 프레임워크 오픈소스 압축파일 + + + [3c996289]: https://csleoss.etri.re.kr/kor/sub02_01.do "KSB 프레임워크 다운로드 페이지" + +다운로드한 파일을 압축해제하면 ksb-oss_dist 디렉토리가 생성되며, 다음과 같이 출력되는 것을 확인합니다. + + +```sh +$ tar -zxvf ksb_oss_v1_0.tar.gz +$ cd ksb-oss_dist +$ ls -al + +3rd_Party_Libraries.txt +3rd_Party_Library_Licenses.txt +LICENSE.txt +Notice.txt +component-pipe +libs +components +pom.xml +InsightSwitch +conf +project +didentification +pyML +examples +scalastyle-output.xml +bin +jars +src +codeInspection-ruleSets +ksb-core +component-custom +ksb-knowledge +``` + +## Eclipse 프로젝트 Import +다운로드 받은 ksb-oss_dist를 임포트하여 이클립스 프로젝트 환경을 구성하는 것을 설명합니다. +### 프로젝트 임포트 +* Package explorer 창에서 오른쪽 클릭> Import 단축메뉴을 선택하여 디렉토리 탐색버튼을 통해 ksb-oss_dist 프로젝트 디렉토리를 선택한 후 pom.xml 이 있는지 확인하고 임포트를 실행하여 아래의 그림과 같이 프로젝트가 생성되는 것이 확인합니다. + +
+
+
+* ksb-core-digest_2.11 프로젝트는 다음 과정을 따라 별도로 임포트 합니다.
+ - (Optional) Package explorer> 아랫방향 화살표 클릭> Top Level Element> Working Set 선택 ( *최상위에 ksb-parent 가 표시됨* )
+ 
+ - ksb-parent 오른쪽 클릭> Import 선택> Import> General> Existing Projects into Workspace> Next> ksb-core 프로젝트 경로 선택> Finish
+
+
+### 스칼라 (Scala) 버전 동기화
+Maven 빌드에서 사용하는 Scala 버전은 2.11 이므로 이클립스 프로젝트 상에서도 2.11 라이브러리가 사용되도록 동기화 합니다.
+
+각 프로젝트 구조로 들어가면 그림과 같이 Scala 라이브러리 2.12.3이 기본 라이브러리로 설정되어 있습니다.(다운로드한 이클립스 ScalaIDE 버전에 따라 상이할 수 있음.)
+* Scala Library container 오른쪽 클릭> Properties> 2.11 또는 2.11.11 선택> Apply and Close
+
+
+
+
+이 것으로 이클립스 개발환경 구성은 완료되었습니다. 수고 많으셨습니다.
diff --git a/manual1903/3.2.1.HowToDevelopOperator.md b/manual1903/3.2.1.HowToDevelopOperator.md
new file mode 100644
index 0000000000000000000000000000000000000000..d66845c16e0a00f2244e5807c0984bfffe1a93f9
--- /dev/null
+++ b/manual1903/3.2.1.HowToDevelopOperator.md
@@ -0,0 +1,175 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# Operator 컴퍼넌트 개발하기
+---
+
+데이터 처리용 Operator 컴퍼넌트을 만들기 위한 절차는 다음과 같습니다.
+
+- 신규 컴퍼넌트용 Protocol Buffer 메세지 작성
+- 새로 작성한 메세지를 포함한 프레임워크 코어 새로 빌드
+- Operator 컴퍼넌트 스칼라 코드 작성
+- 컴퍼넌트 빌드하여 프레임워크에 배포
+
+아래에는 Operator 컴퍼넌트를 개발하고 이를 실행 중인 KSB 프레임워크 상에 배포하는 과정을 설명합니다. 자세한 설명을 위해서 column selection을 수행하는 간단한 오퍼레이터인 *ColumnSelectWithFileOperator* 개발을 대상으로 설명을 하도록 하겠습니다. 단, 이미 *ColumnSelectWithFileOperator*이 등록되어 있으므로, 여기서는 **MyColumnSelectWithFileOperator**로 변경해서 신규 컴퍼넌트로 작성하여 등록하는 과정을 진행해 보도록 하겠습니다.
+
+## 컴퍼넌트용 Protocol Buffer 메세지 작성
+우선, 개발할 MyColumnSelectWithFileOperator에 전달될 파라메터를 Google의 Protocol buffer 메세지 방식으로 작성해야 합니다. 이를 위해서 다운로드한 KSB 프레임워크 오픈소스를 ScalaIDE를 이용하여 프로젝트를 열어 **ksb-core-digest_2.11** 프로젝트가 있는지 확인합니다.
+**ksb-core-digest_2.11** 모듈은 엔진을 생성하고 구동하기 위한 컴퍼넌트들의 파라메터를 정의한 Protocol buffer 메시지들을 모아놓은 모듈이며, 다음과 같은 구조를 같습니다.
+
+
+
+예제로 작성할 MyColumnSelectWithFileOperator 오퍼레이터는 table 형태의 dataframe의 필드 중 특정 필드를 선택하는 오퍼레이터로서 선택하고자 하는 필드명을 파라메터로 입력받는 대신 미리 작성해 둔 필드명을 정의한 파일을 읽어 해당 필드만 선택하여 추출하는 오퍼레이터입니다. ksb.csle.common.custom.proto 패키지 내에 있는 **custom_operator_proto.proto** 파일을 열어 아래와 같이 **MySelectColumnsWithFileInfo** 메세지를 작성합니다.
+
+```protobuf
+syntax = "proto2";
+
+// 아래 ksb.csle.common.custom.proto 가 아니라 ksb.csle.common.proto 임을 유의 !!!!
+package ksb.csle.common.proto;
+
+message MySelectColumnsWithFileInfo {
+ required string columnIdPath = 1;
+}
+```
+
+작성한 Protocol Buffer 메세지가 스트림 처리용으로 사용될 예정이므로 **stream_control_proto.proto** 을 열어 StreamOperatorInfo 내에 oneof_operators 필드 내에 MySelectColumnsWithFileInfo 유형의 mySelectColumnsWithFile 필드로 등록합니다.
+
+```protobuf
+message StreamOperatorInfo {
+ required int32 id = 1;
+ required int32 prevId = 2;
+ required string clsName = 4;
+
+ oneof oneof_operators {
+ FilterInfo filter = 10;
+ MissingValueImputationInfo missingValueImputation= 11;
+ GroupbyInfo groupby = 12;
+ ReshapeWithConcatInfo reshapeWithConcat = 13;
+ PivotInfo pivot = 14;
+ AddTimeIndexColumnInfo addTimeIndexColumn = 15;
+
+ ...
+
+ // for MyColumnSelectWithFileOperator.
+ MySelectColumnsWithFileInfo mySelectColumnsWithFile = 1000; }
+}
+```
+
+
+
+
+
+
+
+## 새로운 프레임워크 코어 빌드하기
+
+신규 컴퍼넌트를 추가하기 위해서는 본 페이지를 통해 신규 컴퍼넌트를 인식할 수 있도록 Core에 대한 바이너리를 신규로 빌드하여 사용해야 합니다.
+
+**매뉴얼 > Core 빌드** 페이지로 이동합니다.
+우리가 수정한 proto 파일(**stream_control_proto.proto** 와 **custom_operator_proto**)을 아래 그림과 같이 선택하고 빌드요청 버튼을 클릭한다. 요청 후 약 20분 정도가 경과하면 자신의 로그인 계정의 메일로 신규 빌드된 core 바이너리가 도착합니다(참고: 요청은 순차적으로 처리되므로 미리 대기중인 요청이 있다면 20분 이상 걸릴 수 있음).
+
+## 새로운 프레임워크 코어로 프로젝트 빌드하기
+메일에서 바이너리를 다운로드한 후, 확장자를 .jar로 변경하고, KSB 개발 프로젝트 디렉토리의 최상위 디렉토리아래 libs 디렉토리 (ksb-oss_dist/libs)에 ksb-core_2.11-${project.version}-SNAPSHOT.jar 파일을 업데이트 합니다.
+아래와 같이 Maven 명령을 실행하여 전체 프로젝트를 새로 빌드한다.
+
+```sh
+$ mvn generate-sources package install -P gpu -DskipTests -Drat.skip=true
+```
+
+
+
+## 신규 컴퍼넌트 스칼라 코드 작성
+다음으로 작성된 메시지를 이용하여 신규컴퍼넌트 클래스를 개발합니다.
+**ksb-components-custom_2.11** 모듈을 열어 아래와 같이 MyColumnSelectWithFileOperator 오퍼레이터를 구현합니다. 이 오퍼레이터는 BaseDataOperator 추상클래스를 상속받아 operator 메소드를 구현해야 합니다. BaseDataOperator 클래스의 정의에 따라 operate(df: DataFrame)를 반드시 override 해야 프레임워크 상에서 Controller에 의해 수행이 가능합니다. 자세한 사항은 KSB 프레임워크 Scala API를 참조하시기 바랍니다.
+
+```scala
+package ksb.csle.component.operator.custom
+
+import scala.collection.JavaConversions._
+import org.apache.spark.sql.DataFrame
+
+import ksb.csle.common.base.operator.BaseDataOperator
+import ksb.csle.common.proto.StreamOperatorProto._
+
+// 새로 만든 메세지 객체 임포트
+import ksb.csle.common.proto.CustomOperatorProto.MySelectColumnsWithFileInfo
+import ksb.csle.common.proto.StreamControlProto.StreamOperatorInfo
+
+class MyColumnSelectWithFileOperator(
+ o: StreamOperatorInfo
+ ) extends BaseDataOperator[StreamOperatorInfo, DataFrame](o) {
+
+ private val p = o.getMySelectColumnsWithFile
+ private val path = p.getColumnIdPath
+ private var columnNames: Array[String] = null
+
+ private def selectColumns(df: DataFrame): DataFrame = {
+ logger.debug(s"OpId ${o.getId} : SelectColumns")
+
+ if (columnNames == null) {
+ columnNames = df.sparkSession.sparkContext.textFile(path)
+ .map(_.split(",")).collect.flatten
+ }
+ val result = df.select(columnNames.head, columnNames.tail:_*)
+
+ logger.debug(result.show.toString)
+ logger.debug(result.printSchema.toString)
+
+ result
+ }
+
+ override def operate(df: DataFrame): DataFrame = selectColumns(df)
+}
+
+object MyColumnSelectWithFileOperator {
+ def apply(o: StreamOperatorInfo): MyColumnSelectWithFileOperator =
+ new MyColumnSelectWithFileOperator(o)
+}
+```
+
+## 신규 컴퍼넌트 빌드하여 jar 파일 생성하기
+작성한 스칼라 오퍼레이터 클래스를 빌드하여 새로운 .jar를 생성하기 위하여 component-custom 프로젝트 위치에서 maven 명령(아래)을 이용하여 새로운 오퍼레이터가 포함된 바이너리(jar)를 빌드합니다.
+
+
+```sh
+$ cd component-custom
+$ mvn generate-sources package install -P gpu -DskipTests -Drat.skip=true
+```
+
+
+
+결과로 target 디렉토리에 **ksb-component-custom_2.11-{version}.jar** 가 생성된 것을 확인합니다.
+
+## 신규 컴퍼넌트를 실행 프레임워크에 배포
+
+새로 작성한 메세제와 오퍼레이터가 포함된 바이너리를 KSB 프레임워크 실행바이너리가 있는 위치에 배포합니다. (레파지토리에 배포가 완료됨과 동시에 별도의 설치과정 없이 클라이언트의 요청 시 KSB 프레임워크에 의해 동적으로 클러스터 상의 노드들에 배포되어 엔진을 생성하고 구동하는데 적용이 됩니다.)
+새로 배포해야할 KSB 프레임워크의 패키지는 아래와 같이 두 개의 jar에 해당합니다.
+
+- ksb-csle/libs/**ksb-core_2.11-{version}.jar**
+-- 신규메세지 포함된 core 바이너리로서 core 빌드 요청결과로 받은 파일
+- ksb-csle/component-custom/target/**ksb-component-custom_2.11-{version}.jar**
+-- 새로 작성한 컴퍼넌트 포함. 콘솔창에서 아래와 같이 maven 명령을 실행 위의 ksb-component-custom_2.11 빌드파일을 생성할 수 있습니다.
+
+
+상기의 빌드된 패키지를 KSB 프레임워크 상에서 지정한 아카이브 디렉토리에 복사해서 넣어줌으로써 배포가 완료가 완료됩니다.
+참고로, 아카이브 위치는 별도의 설정이 없다면 내부적으로 ```${KSB_HOME}/jars/${ksb-vsersion}``` 디렉토리를 기본값으로 사용합니다.
diff --git a/manual1903/3.2.2.HowToDevelopReader.md b/manual1903/3.2.2.HowToDevelopReader.md
new file mode 100755
index 0000000000000000000000000000000000000000..0830ffc94a5b2b46a5eae6b532491bb450a1e009
--- /dev/null
+++ b/manual1903/3.2.2.HowToDevelopReader.md
@@ -0,0 +1,252 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# Reader 컴퍼넌트 개발하기
+---
+
+Reader 컴퍼넌트을 만들기 위한 절차는 다음과 같습니다.
+
+- 신규 컴퍼넌트용 Protocol Buffer 메세지 작성
+- 새로 작성한 메세지를 포함한 프레임워크 코어 새로 빌드
+- Reader 컴퍼넌트 스칼라 코드 작성
+- 컴퍼넌트 빌드하여 프레임워크에 배포
+
+아래에는 Reader 컴퍼넌트를 개발하고 이를 실행 중인 KSB 프레임워크 상에 배포하는 과정을 설명합니다. 자세한 설명을 위해서 파일을 읽어 DataFrame을 생성하는 간단한 Reader인 *MyFileReader* 개발을 대상으로 설명을 하도록 하겠습니다. 단, 이미 *MyFileReader*가 등록되어 있으므로, 여기서는 **MyFileReader**로 변경해서 신규 컴퍼넌트로 작성하여 등록하는 과정을 진행해 보도록 하겠습니다.
+
+## 컴퍼넌트용 Protocol Buffer 메세지 작성
+우선, 개발할 MyFileReader에 전달될 파라메터를 Google의 Protocol buffer 메세지 방식으로 작성해야 합니다. 이를 위해서 다운로드한 KSB 프레임워크 오픈소스를 ScalaIDE를 이용하여 프로젝트를 열어 **ksb-core-digest_2.11** 프로젝트가 있는지 확인합니다.
+**ksb-core-digest_2.11** 모듈은 엔진을 생성하고 구동하기 위한 컴퍼넌트들의 파라메터를 정의한 Protocol buffer 메시지들을 모아놓은 모듈이며, 다음과 같은 구조를 같습니다.
+
+
+
+예제로 작성할 MyFileReader는 파일시스템으로부터 특정 경로의 파일을 읽어 DataFrame 형태의 데이터를 생성하는 컴퍼넌트입니다. ksb.csle.common.custom.proto 패키지 내에 있는 **custom_datasource_proto.proto** 파일을 열어 아래와 같이 **MyFileInfo** 메세지를 작성합니다.
+
+```protobuf
+message MyFileInfo {
+ repeated string filePath = 1;
+ optional FileType fileType = 2 [default = JSON];
+ optional string delimiter = 3 [default = ","];
+ repeated FieldInfo field = 4;
+ optional bool header = 5 [default = false];
+ optional SaveMode saveMode = 6 [default = OVERWRITE];
+ enum FileType {
+ CSV = 0;
+ JSON = 1;
+ PARQUET = 2;
+ TEXT = 3;
+ }
+ enum SaveMode {
+ APPEND = 0;
+ OVERWRITE = 1;
+ ERROR_IF_EXISTS = 2;
+ IGNORE = 3;
+ }
+
+ // Defines the schema of input data.
+ message FieldInfo {
+ required string key = 1;
+ required FieldType type = 2 [default=STRING];
+ optional string value = 3;
+ optional AttrType attrType = 4;
+ optional bool autoConfigured = 5 [default=true];
+ optional int32 nLevels = 6 [default = 5];
+ optional string filePath = 7;
+
+ enum AttrType {
+ IDENTIFIER = 0;
+ QUASIIDENTIFIER = 1;
+ SENSITIVE = 2;
+ NONSENSETIVE = 3;
+ }
+
+ enum FieldType {
+ STRING = 0;
+ INTEGER = 1;
+ DOUBLE = 2;
+ BOOLEAN = 3;
+ BYTE = 4;
+ FLOAT = 5;
+ LONG = 6;
+ TIMESTAMP = 7;
+ }
+ }
+}
+```
+
+작성한 Protocol Buffer 메세지가 배치 처리용으로 사용될 예정이므로 **datasource_proto.proto** 내의 BatchReaderInfo 내에 oneof_operators 필드 내에 MySelectColumnsWithFileInfo 유형의 mySelectColumnsWithFile 필드로 등록합니다.
+
+```protobuf
+message BatchReaderInfo {
+ required int32 id = 1;
+ required int32 prevId = 2 [default = 0];
+ required string clsName = 4;
+ oneof oneof_readers {
+ MyFileInfo fileReader = 11;
+ TableInfo tableReader = 12;
+ PhoenixInfo phoenixReader = 14;
+ HttpServerInfo httpServerReader = 15;
+ MongodbInfo mongodbReader = 16;
+ MultipleReadersInfo multipleReaders = 50;
+
+ MyFileInfo myFileReader = 100;
+ }
+}
+```
+
+
+
+
+## 새로운 프레임워크 코어 빌드하기
+
+신규 컴퍼넌트를 추가하기 위해서는 본 페이지를 통해 신규 컴퍼넌트를 인식할 수 있도록 Core에 대한 바이너리를 신규로 빌드하여 사용해야 합니다.
+
+**매뉴얼 > Core 빌드** 페이지로 이동합니다.
+우리가 수정한 proto 파일(**datasource_proto.proto** ,**custom_datasource_proto.proto** )을 아래 그림과 같이 선택하고 빌드요청 버튼을 클릭합니다. 요청 후 약 20분 정도가 경과하면 자신의 로그인 계정의 메일로 신규 빌드된 core 바이너리가 도착합니다(참고: 요청은 순차적으로 처리되므로 미리 대기중인 요청이 있다면 20분 이상 걸릴 수 있음).
+
+## 새로운 프레임워크 코어로 프로젝트 빌드하기
+메일에서 바이너리를 다운로드한 후, 확장자를 .jar로 변경하고, KSB 개발 프로젝트 디렉토리의 최상위 디렉토리아래 libs 디렉토리 (ksb-oss_dist/libs)에 ksb-core_2.11-${project.version}-SNAPSHOT.jar 파일을 업데이트 합니다.
+아래와 같이 Maven 명령을 실행하여 전체 프로젝트를 새로 빌드한다.
+
+```sh
+$ mvn generate-sources package install -P gpu -DskipTests -Drat.skip=true
+```
+
+## 신규 컴퍼넌트 스칼라 코드 작성
+다음으로 작성된 메시지를 이용하여 신규컴퍼넌트 클래스를 개발합니다.
+**ksb-components-custom_2.11** 모듈을 열어 아래와 같이 MyFileReader를 구현합니다. 이 Reader는 . BaseDataOperator 클래스의 정의에 따라 operate(df: DataFrame)를 반드시 override 해야 프레임워크 상에서 Controller에 의해 수행이 가능합니다. 자세한 사항은 KSB 프레임워크 Scala API를 참조하시기 바랍니다.
+
+```scala
+package ksb.csle.component.reader.custom
+
+import scala.collection.JavaConversions._
+import java.io._
+
+import org.apache.spark.sql.{DataFrame, SparkSession}
+import org.apache.spark.sql.types._
+import ksb.csle.common.base.reader.BaseReader
+import ksb.csle.common.utils.SparkUtils.getSchema
+import ksb.csle.common.proto.DatasourceProto.BatchReaderInfo
+import ksb.csle.common.proto.CustomDatasourceProto.MyFileInfo
+import ksb.csle.common.proto.CustomDatasourceProto.MyFileInfo.FieldInfo
+
+class MyFileReader(
+ val o: BatchReaderInfo
+ ) extends BaseReader[DataFrame, BatchReaderInfo, SparkSession](o) {
+
+ private val myFileReaderInfo: MyFileInfo = o.getMyFileReader
+
+ // TODO: Adds all kinds of type casting.
+ def getSchema(ts: List[FieldInfo]): StructType =
+ StructType(
+ ts.map { t =>
+ t.getType match {
+ case FieldInfo.FieldType.INTEGER =>
+ StructField(t.getKey, IntegerType, true)
+ case FieldInfo.FieldType.STRING =>
+ StructField(t.getKey, StringType, true)
+ case FieldInfo.FieldType.DOUBLE =>
+ StructField(t.getKey, DoubleType, true)
+ case FieldInfo.FieldType.BOOLEAN =>
+ StructField(t.getKey, BooleanType, true)
+ case FieldInfo.FieldType.BYTE =>
+ StructField(t.getKey, ByteType, true)
+ case FieldInfo.FieldType.FLOAT =>
+ StructField(t.getKey, FloatType, true)
+ case FieldInfo.FieldType.LONG =>
+ StructField(t.getKey, LongType, true)
+ case FieldInfo.FieldType.TIMESTAMP =>
+ StructField(t.getKey, TimestampType, true)
+ case _ =>
+ StructField(t.getKey, StringType, true)
+ }
+ })
+
+ override def read(spark: SparkSession): DataFrame = {
+ import spark.implicits._
+ try {
+ logger.debug("Operation: MyFileReader")
+
+ if(myFileReaderInfo.getFileType.toString().toLowerCase() != "csv"){
+ if (myFileReaderInfo.getFieldList.toList.size() > 0) {
+ spark.sqlContext.read
+ .format(myFileReaderInfo.getFileType.toString().toLowerCase())
+ .option("header", myFileReaderInfo.getHeader()) // Use first line of all files as header
+ .option("sep", myFileReaderInfo.getDelimiter)
+ .schema(getSchema(myFileReaderInfo.getFieldList.toList))
+ .load(myFileReaderInfo.getFilePathList.toList.mkString(","))
+ }else{
+ spark.sqlContext.read
+ .format(myFileReaderInfo.getFileType.toString().toLowerCase())
+ .option("header", myFileReaderInfo.getHeader()) // Use first line of all files as header
+ .option("inferSchema", "true")
+ .option("sep", myFileReaderInfo.getDelimiter)
+ .load(myFileReaderInfo.getFilePathList.toList.mkString(","))
+ }
+ }else{
+ if (myFileReaderInfo.getFieldList.toList.size() > 0) {
+ spark.read
+ .option("header", myFileReaderInfo.getHeader())
+ .option("sep", myFileReaderInfo.getDelimiter)
+ .schema(getSchema(myFileReaderInfo.getFieldList.toList))
+ .csv(myFileReaderInfo.getFilePathList.toList.mkString(","))
+ }else{
+ spark.read
+ .option("header", myFileReaderInfo.getHeader())
+ .option("inferSchema", "true")
+ .option("sep", myFileReaderInfo.getDelimiter)
+ .csv(myFileReaderInfo.getFilePathList.toList.mkString(","))
+ }
+ }
+ } catch {
+ case e: ClassCastException =>
+ logger.error(s"Unsupported type cast error: ${e.getMessage}")
+ throw e
+ case e: UnsupportedOperationException =>
+ logger.error(s"Unsupported file reading error: ${e.getMessage}")
+ throw e
+ case e: Throwable =>
+ logger.error(s"Unknown file reading error: ${e.getMessage}")
+ throw e
+ }
+ }
+
+ override def close: Unit = ()
+}
+
+object MyFileReader {
+ def apply(o: BatchReaderInfo): MyFileReader = new MyFileReader(o)
+}
+```
+
+## 새 컴퍼넌트 빌드하여 jar 파일 생성하기
+작성한 스칼라 오퍼레이터 클래스를 빌드하여 새로운 .jar를 생성하기 위하여 component-custom 프로젝트 위치에서 maven 명령(아래)을 이용하여 새로운 오퍼레이터가 포함된 바이너리(jar)를 빌드합니다.
+```sh
+$ cd component-custom
+$ mvn generate-sources package install -P gpu -DskipTests -Drat.skip=true
+```
+
+결과로 target 디렉토리에 **ksb-component-custom_2.11-{version}.jar** 가 생성된 것을 확인합니다.
+
+## 새로운 컴퍼넌트를 실행 프레임워크에 배포
+
+새로 작성한 메세제와 오퍼레이터가 포함된 바이너리를 KSB 프레임워크 실행바이너리가 있는 위치에 배포합니다. (레파지토리에 배포가 완료됨과 동시에 별도의 설치과정 없이 클라이언트의 요청 시 KSB 프레임워크에 의해 동적으로 클러스터 상의 노드들에 배포되어 엔진을 생성하고 구동하는데 적용이 됩니다.)
+새로 배포해야할 KSB 프레임워크의 패키지는 아래와 같이 두 개의 jar에 해당합니다.
+
+- ksb-csle/libs/**ksb-core_2.11-{version}.jar**
+-- 신규메세지 포함된 core 바이너리로서 core 빌드 요청결과로 받은 파일
+- ksb-csle/component-custom/target/**ksb-component-custom_2.11-{version}.jar**
+-- 새로 작성한 컴퍼넌트 포함. 콘솔창에서 아래와 같이 maven 명령을 실행 위의 ksb-component-custom_2.11 빌드파일을 생성할 수 있습니다.
+
+
+상기의 빌드된 패키지를 KSB 프레임워크 상에서 지정한 아카이브 디렉토리에 복사해서 넣어줌으로써 배포가 완료가 완료됩니다.
+참고로, 아카이브 위치는 별도의 설정이 없다면 내부적으로 ```${KSB_HOME}/jars/${ksb-vsersion}``` 디렉토리를 기본값으로 사용합니다.
diff --git a/manual1903/3.3.1.HowToMakeScenarioWithNewOperator.md b/manual1903/3.3.1.HowToMakeScenarioWithNewOperator.md
new file mode 100644
index 0000000000000000000000000000000000000000..1be7b168dd9fb4d3fa418e2bd672cd671e210093
--- /dev/null
+++ b/manual1903/3.3.1.HowToMakeScenarioWithNewOperator.md
@@ -0,0 +1,161 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# 새로 개발한 Operator 컴퍼넌트를 이용하여 워크플로우 작성 및 실행하기
+---
+
+여기에서는 만들어진 컴펀너트를 사용하여 워크플로우를 작성하고 실행하는 방법을 설명합니다.
+KSB 웹툴킷을 이용하지 않고, KSBClientSDK를 이용하여 워크플로우를 작성하는 방법을 중심으로, 워크플로우의 시나리오를 작성하고 실행하기 위한 코드를 작성하고 이를 실행하는 과정을 설명합니다. 전체 순서는 다음과 같습니다.
+
+- 데이터셋 업로드 (Optional)
+- 워크플로우 작성하기
+- 작성한 워크플로우 실행하기
+
+
+## 데이터 업로드
+데이터의 업로드는 KSB 웹툴킷 인터페이스를 이용하여 업로드 하는 방법과 command-line 인터페이스를 통해 업로드하는 방법이 있습니다. KSB 웹툴킷을 이용한 방법은 사용자 가이드에 있는 방법과 동일합니다. 본 예제에서는 개발환경과 함께 배포된 **ksb-csle/examples/input/adult.csv** 파일을 입력으로, **ksb-csle/examples/input/columnSelection_adult.csv** 파일을 column selection을 위한 오퍼레이터의 파라메터로 사용할 것이므로 별도로 업로드 하지 않고 진행하도록 하겠습니다.
+
+
+## 워크플로우 작성 및 제출하기
+KSB 프레임워크는 워크플로우 작성 및 실행 요청을 위한 방법으로 scala 기반의 KSB clientSDK환경과 그래픽(GUI) 기반의 환경을 제공합니다.
+
+본 예제 코드는 csv 파일을 입력받아 필터링 오퍼레이션과 그룹핑하는 오퍼레이션을 거쳐 파일로 저장하는 데이터처리 엔진의 사양을 작성하고 하나의 워크플로우로 구성한 예제입니다. (자세한 내용은 아래 예제 커맨트 참조)
+
+- KSB ClientSDK와 ScalaIDE를 이용한 워크플로우 작성:
+다음은 scala 기반의 clientSDK를 이용하여 신규로 개발한 포함하는 워크플로우를 정의하는 구문의 일부를 보여줍니다. 각각의 reader, writer, operator, runner, controller의 구체적인 정의는 아래 전체 예제의 주석을 참고하시기 바랍니다.
+
+```scala
+package ksb.examples.custom
+
+import org.apache.logging.log4j.scala.Logging
+import com.google.protobuf.Message
+
+// 새로 만든 메세지 객체 임포트 !!!
+import ksb.csle.common.proto.CustomOperatorProto._
+import ksb.csle.common.proto.DatasourceProto._
+import ksb.csle.common.proto.RunnerProto._
+import ksb.csle.common.proto.WorkflowProto._
+import ksb.csle.common.proto.StreamControlProto._
+import ksb.csle.common.proto.OndemandControlProto._
+import ksb.csle.common.proto.SharedProto._
+import ksb.csle.common.utils.ProtoUtils
+import ksb.csle.common.utils.config.ConfigUtils
+
+import ksb.csle.tools.client._
+
+object MyColumnSelectionWithFileExample extends Logging {
+ val appId: String = "Data-TrafficExample"
+
+ def main(args: Array[String]) {
+ val workflowJson = ProtoUtils.msgToJson(workflow.asInstanceOf[Message])
+
+ logger.info("workflow: " + workflowJson)
+
+ // KSB framework API gateway 주소와 포트 설정
+ val client = new SimpleCsleClient("csle1", 19999)
+ client.submit(workflowJson)
+ client.close()
+ }
+
+ // ClientSDK를 이용한 워크플로우 사양 작성
+ private def workflow = {
+ val infileInfo = FileInfo.newBuilder()
+ //.addFilePath(
+ // s"file:///home/csle/ksb-csle/examples/input/adult.csv"
+ // .replaceAll("\\\\", "/"))
+
+ .addFilePath(
+ "hdfs://csle1:9000/user/ksbuser_etri_re_kr/dataset/input/adult.csv"
+ .replaceAll("\\\\", "/"))
+
+ .setFileType(FileInfo.FileType.CSV)
+ .setDelimiter(";")
+ .setHeader(true)
+ .build
+ val reader = BatchReaderInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setClsName("ksb.csle.component.reader.FileReader")
+ .setFileReader(infileInfo)
+
+ // 새로 개발한 MyColumnSelectWithFileOperator를 이용하기 위하여 proto 메세지 인스턴스를 생성하고 이를 MyColumnSelectWithFileOperator 클래스에 바인딩하기 위한 사양을 정의한다.
+ val selectedColumnsWithFileInfo =
+
+ MySelectColumnsWithFileInfo.newBuilder().setColumnIdPath(
+ //s"file:///home/csle/ksb-csle/examples/input/columnSelection_adult.csv")
+ "hdfs://csle1:9000/user/ksbuser_etri_re_kr/dataset/input/columnSelection_adult.csv")
+
+ .build
+ val operator = StreamOperatorInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setClsName("ksb.csle.component.operator.custom.MyColumnSelectWithFileOperator")
+ .setMySelectColumnsWithFile(selectedColumnsWithFileInfo)
+ .build
+
+ val outfileInfo = FileInfo.newBuilder()
+ //.addFilePath(
+ // s"file:///home/csle/ksb-csle/examples/output/output_columnSelect_adult.csv"
+ // .replaceAll("\\\\", "/"))
+
+ .addFilePath(
+ "hdfs://csle1:9000/user/ksbuser_etri_re_kr/output/output_columnSelect_adult.csv"
+ .replaceAll("\\\\", "/"))
+
+
+
+ .setFileType(FileInfo.FileType.CSV)
+ .setDelimiter(",")
+ .setHeader(true)
+ .build
+ val writer = BatchWriterInfo.newBuilder()
+ .setId(11)
+ .setPrevId(10)
+ .setClsName("ksb.csle.component.writer.FileWriter")
+ .setFileWriter(outfileInfo)
+
+ val runner = StreamRunnerInfo.newBuilder()
+ .setClsName("ksb.csle.component.runner.SimpleSparkRunner")
+ .setSparkRunner(
+ SparkRunnerInfo.getDefaultInstance)
+
+ val controller = StreamControllerInfo.newBuilder()
+ .setClsName("ksb.csle.component.controller.SparkSessionOrStreamController")
+ .setSparkSessionOrStreamController(SimpleBatchOrStreamControllerInfo.getDefaultInstance)
+
+ // 각 컴퍼넌트 사양을 조합하여 하나의 엔진 사양을 구성
+ val dataEngineInfo = BatchToBatchStreamEngineInfo.newBuilder()
+ .setController(controller)
+ .setReader(reader)
+ .setWriter(writer)
+ .addOperator(operator)
+ .setRunner(runner)
+ .build
+
+ val runType = RunType.newBuilder()
+ .setId(1)
+ .setPeriodic(Periodic.ONCE)
+ .build()
+
+ // 작성한 엔진사양들을 이용하여 하나의 워크플로우 흐름 조합
+ WorkflowInfo.newBuilder()
+ .setBatch(true)
+ .setMsgVersion("v1.0")
+ .setKsbVersion("v19.03")
+ .addRuntypes(runType)
+ .addEngines(
+ EngineInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setEngineNickName("DataEngine")
+ .setBatchToBatchStreamEngine(dataEngineInfo))
+ .build
+ }
+}
+```
+
+마지막으로 위의 예제를 이클립스 상에서 실행하고 writer 출력경로 상에 파일을 열어 column selection 결과를 확인합니다.
diff --git a/manual1903/3.3.2.HowToMakeScenarioWithNewReader.md b/manual1903/3.3.2.HowToMakeScenarioWithNewReader.md
new file mode 100644
index 0000000000000000000000000000000000000000..26e2706df1954ecc10d34a8a75dbdd94e44569da
--- /dev/null
+++ b/manual1903/3.3.2.HowToMakeScenarioWithNewReader.md
@@ -0,0 +1,161 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# 새로 개발한 Reader 컴퍼넌트를 이용하여 워크플로우 작성 및 실행하기
+---
+
+여기에서는 만들어진 컴펀너트를 사용하여 워크플로우를 작성하고 실행하는 방법을 설명합니다.
+KSB 웹툴킷을 이용하지 않고, KSBClientSDK를 이용하여 워크플로우를 작성하는 방법을 중심으로, 워크플로우의 시나리오를 작성하고 실행하기 위한 코드를 작성하고 이를 실행하는 과정을 설명합니다. 전체 순서는 다음과 같습니다.
+
+- 데이터셋 업로드 (Optional)
+- 워크플로우 작성하기
+- 작성한 워크플로우 실행하기
+
+
+## 데이터 업로드
+데이터의 업로드는 KSB 웹툴킷 인터페이스를 이용하여 업로드 하는 방법과 command-line 인터페이스를 통해 업로드하는 방법이 있습니다. KSB 웹툴킷을 이용한 방법은 사용자 가이드에 있는 방법과 동일합니다. 본 예제에서는 개발환경과 함께 배포된 **ksb-csle/examples/input/adult.csv** 파일을 입력으로, **ksb-csle/examples/input/columnSelection_adult.csv** 파일을 column selection을 위한 오퍼레이터의 파라메터로 사용할 것이므로 HDFS에 업로드 후 진행하도록 하겠습니다.
+
+
+## 워크플로우 작성 및 제출하기
+KSB 프레임워크는 워크플로우 작성 및 실행 요청을 위한 방법으로 scala 기반의 KSB clientSDK환경과 그래픽(GUI) 기반의 환경을 제공합니다.
+
+본 예제 코드는 csv 파일을 입력받아 필터링 오퍼레이션과 그룹핑하는 오퍼레이션을 거쳐 파일로 저장하는 데이터처리 엔진의 사양을 작성하고 하나의 워크플로우로 구성한 예제입니다. (자세한 내용은 아래 예제 커맨트 참조)
+
+- KSB ClientSDK와 ScalaIDE를 이용한 워크플로우 작성:
+다음은 scala 기반의 clientSDK를 이용하여 신규로 개발한 포함하는 워크플로우를 정의하는 구문의 일부를 보여줍니다. 각각의 reader, writer, operator, runner, controller의 구체적인 정의는 아래 전체 예제의 주석을 참고하시기 바랍니다.
+
+```scala
+
+package ksb.examples.custom
+
+import scala.util.{Try, Success, Failure}
+
+import org.apache.logging.log4j.scala.Logging
+import com.google.protobuf.Message
+
+import ksb.csle.common.proto.CustomDatasourceProto._
+import ksb.csle.common.proto.StreamOperatorProto._
+import ksb.csle.common.proto.DatasourceProto._
+import ksb.csle.common.proto.RunnerProto._
+import ksb.csle.common.proto.WorkflowProto._
+import ksb.csle.common.proto.CustomOperatorProto._
+import ksb.csle.common.proto.StreamControlProto._
+import ksb.csle.common.proto.OndemandControlProto._
+import ksb.csle.common.proto.SharedProto._
+import ksb.csle.common.utils.ProtoUtils
+import ksb.csle.common.utils.config.ConfigUtils
+
+import ksb.csle.tools.client._
+
+object MyFileReaderExample extends Logging {
+ val appId: String = "Data-TrafficExample"
+
+ def main(args: Array[String]) {
+ val workflowJson = ProtoUtils.msgToJson(workflow.asInstanceOf[Message])
+ println(workflowJson)
+ val client = new SimpleCsleClient("csle1", 19999)
+ Try (client.submit(
+ workflowJson,
+ "ksbuser@etri.re.kr",
+ this.getClass.getSimpleName.replace("$",""),
+ this.getClass.getSimpleName.replace("$",""))) match {
+ case Success(id) => logger.info("submit success:" + id)
+ case Failure(e) => logger.error("submit error", e)
+ }
+ client.close()
+ }
+
+ // ClientSDK를 이용한 워크플로우 사양 작성
+ private def workflow = {
+
+ // 새로 개발한 MyFileReader를 이용하기 위하여 proto 메세지 인스턴스를 생성하고 이를 MyFileReader를 클래스에 바인딩하기 위한 사양을 정의한다.
+ val infileInfo = MyFileInfo.newBuilder()
+ .addFilePath(
+ //s"file:///home/csle/ksb-csle/examples/input/adult.csv"
+ "hdfs://csle1:9000/user/ksbuser_etri_re_kr/dataset/input/adult.csv"
+ .replaceAll("\\\\", "/"))
+ .setFileType(MyFileInfo.FileType.CSV)
+ .setDelimiter(";")
+ .setHeader(true)
+ .build
+ val reader = BatchReaderInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setClsName("ksb.csle.component.reader.custom.MyFileReader")
+ .setMyFileReader(infileInfo)
+
+ val selectedColumnsWithFileInfo =
+ SelectColumnsWithFileInfo.newBuilder()
+ .setColumnIdPath(
+ //s"file:///home/csle/ksb-csle/examples/input/columnSelection_adult.csv")
+ "hdfs://csle1:9000/user/ksbuser_etri_re_kr/dataset/input/columnSelection_adult.csv")
+ .build
+ val operator = StreamOperatorInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setClsName("ksb.csle.component.operator.reduction.ColumnSelectWithFileOperator")
+ .setSelectColumnsWithFile(selectedColumnsWithFileInfo)
+ .build
+
+ val outfileInfo = FileInfo.newBuilder()
+ .addFilePath(
+ //s"file:///home/csle/ksb-csle/examples/output/output_columnSelect_adult.csv"
+ "hdfs://csle1:9000/user/ksbuser_etri_re_kr/output/output_columnSelect_adult.csv"
+ .replaceAll("\\\\", "/"))
+ .setFileType(FileInfo.FileType.CSV)
+ .setDelimiter(",")
+ .setHeader(true)
+ .build
+ val writer = BatchWriterInfo.newBuilder()
+ .setId(11)
+ .setPrevId(10)
+ .setClsName("ksb.csle.component.writer.FileWriter")
+ .setFileWriter(outfileInfo)
+
+ val runner = StreamRunnerInfo.newBuilder()
+ .setClsName("ksb.csle.component.runner.SimpleSparkRunner")
+ .setSparkRunner(
+ SparkRunnerInfo.getDefaultInstance)
+
+ val controller = StreamControllerInfo.newBuilder()
+ .setClsName("ksb.csle.component.controller.SparkSessionOrStreamController")
+ .setSparkSessionOrStreamController(SimpleBatchOrStreamControllerInfo.getDefaultInstance)
+
+ // 각 컴퍼넌트 사양을 조합하여 하나의 엔진 사양을 구성
+ val dataEngineInfo = BatchToBatchStreamEngineInfo.newBuilder()
+ .setController(controller)
+ .setReader(reader)
+ .setWriter(writer)
+ .addOperator(operator)
+ .setRunner(runner)
+ .build
+
+ val runType = RunType.newBuilder()
+ .setId(1)
+ .setPeriodic(Periodic.ONCE)
+ .build()
+
+ // 작성한 엔진사양들을 이용하여 하나의 워크플로우 흐름 조합
+ WorkflowInfo.newBuilder()
+ .setBatch(true)
+ .setMsgVersion("v1.0")
+ .setKsbVersion("v19.03")
+ .setVerbose(true)
+ .addRuntypes(runType)
+ .addEngines(
+ EngineInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setEngineNickName("DataEngine")
+ .setBatchToBatchStreamEngine(dataEngineInfo))
+ .build
+ }
+}
+
+```
+
+마지막으로 위의 예제를 이클립스 상에서 실행하고 writer 출력경로 상에 파일을 열어 column selection 결과를 확인합니다.
diff --git a/manual1903/3.3.HowToMakeScenarioWithNewComponent.md b/manual1903/3.3.HowToMakeScenarioWithNewComponent.md
new file mode 100755
index 0000000000000000000000000000000000000000..b18806ada71782b9ba9590408f264167a3a74071
--- /dev/null
+++ b/manual1903/3.3.HowToMakeScenarioWithNewComponent.md
@@ -0,0 +1,147 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# 신규 컴퍼넌트를 이용한 워크플로우 작성 및 실행하기
+---
+
+여기에서는 만들어진 컴펀너트를 사용하여 워크플로우를 작성하고 실행하는 방법을 설명합니다.
+KSB 웹툴킷을 이용하지 않고, KSBClientSDK를 이용하여 워크플로우를 작성하는 방법을 중심으로, 워크플로우의 시나리오를 작성하고 실행하기 위한 코드를 작성하고 이를 실행하는 과정을 설명합니다. 전체 순서는 다음과 같습니다.
+
+- 데이터셋 업로드 (Optional)
+- 워크플로우 작성하기
+- 작성한 워크플로우 실행하기
+
+
+## 데이터 업로드
+데이터의 업로드는 KSB 웹툴킷 인터페이스를 이용하여 업로드 하는 방법과 command-line 인터페이스를 통해 업로드하는 방법이 있습니다. KSB 웹툴킷을 이용한 방법은 사용자 가이드에 있는 방법과 동일합니다. 본 예제에서는 개발환경과 함께 배포된 **ksb-csle/examples/input/adult.csv** 파일을 입력으로, **ksb-csle/examples/input/columnSelection_adult.csv** 파일을 column selection을 위한 오퍼레이터의 파라메터로 사용할 것이므로 별도로 업로드 하지 않고 진행하도록 하겠습니다.
+
+
+## 워크플로우 작성 및 제출하기
+KSB 프레임워크는 워크플로우 작성 및 실행 요청을 위한 방법으로 scala 기반의 KSB clientSDK환경과 그래픽(GUI) 기반의 환경을 제공합니다.
+
+본 예제 코드는 csv 파일을 입력받아 필터링 오퍼레이션과 그룹핑하는 오퍼레이션을 거쳐 파일로 저장하는 데이터처리 엔진의 사양을 작성하고 하나의 워크플로우로 구성한 예제입니다. (자세한 내용은 아래 예제 커맨트 참조)
+
+- KSB ClientSDK와 ScalaIDE를 이용한 워크플로우 작성:
+다음은 scala 기반의 clientSDK를 이용하여 신규로 개발한 포함하는 워크플로우를 정의하는 구문의 일부를 보여줍니다. 각각의 reader, writer, operator, runner, controller의 구체적인 정의는 아래 전체 예제의 주석을 참고하시기 바랍니다.
+
+```scala
+package ksb.examples.custom
+
+import org.apache.logging.log4j.scala.Logging
+import com.google.protobuf.Message
+
+import ksb.csle.common.proto.CustomDatasourceProto._
+import ksb.csle.common.proto.CustomOperatorProto._
+import ksb.csle.common.proto.StreamOperatorProto._
+import ksb.csle.common.proto.DatasourceProto._
+import ksb.csle.common.proto.RunnerProto._
+import ksb.csle.common.proto.WorkflowProto._
+import ksb.csle.common.proto.StreamControlProto._
+import ksb.csle.common.proto.OndemandControlProto._
+import ksb.csle.common.proto.SharedProto._
+import ksb.csle.common.utils.ProtoUtils
+import ksb.csle.common.utils.config.ConfigUtils
+
+import ksb.csle.tools.client._
+
+object MyColumnSelectionWithFileExample extends Logging {
+ val appId: String = "Data-TrafficExample"
+
+ def main(args: Array[String]) {
+ val workflowJson = ProtoUtils.msgToJson(workflow.asInstanceOf[Message])
+
+ logger.info("workflow: " + workflowJson)
+
+ // KSB framework API gateway 주소와 포트 설정
+ val client = new SimpleCsleClient("localhost", 19999)
+ client.submit(workflowJson)
+ client.close()
+ }
+
+ // ClientSDK를 이용한 워크플로우 사양 작성
+ private def workflow = {
+ val infileInfo = MyFileInfo.newBuilder()
+ .addFilePath(
+ s"file:///home/csle/ksb-csle/examples/input/adult.csv"
+ .replaceAll("\\\\", "/"))
+ .setFileType(MyFileInfo.FileType.CSV)
+ .setDelimiter(";")
+ .setHeader(true)
+ .build
+ val reader = BatchReaderInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setClsName("ksb.csle.component.reader.custom.MyFileReader")
+ .setMyFileReader(infileInfo)
+
+ // 새로 개발한 MyColumnSelectWithFileOperator를 이용하기 위하여 proto 메세지 인스턴스를 생성하고 이를 MyColumnSelectWithFileOperator 클래스에 바인딩하기 위한 사양을 정의한다.
+ val selectedColumnsWithFileInfo =
+ MySelectColumnsWithFileInfo.newBuilder().setColumnIdPath(
+ s"file:///home/csle/ksb-csle/examples/input/columnSelection_adult.csv")
+ .build
+ val operator = StreamOperatorInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setClsName("ksb.csle.component.operator.custom.MyColumnSelectWithFileOperator")
+ .setMySelectColumnsWithFile(selectedColumnsWithFileInfo)
+ .build
+
+ val outfileInfo = FileInfo.newBuilder()
+ .addFilePath(
+ s"file:///home/csle/ksb-csle/examples/output/output_columnSelect_adult.csv"
+ .replaceAll("\\\\", "/"))
+ .setFileType(FileInfo.FileType.CSV)
+ .setDelimiter(",")
+ .setHeader(true)
+ .build
+ val writer = BatchWriterInfo.newBuilder()
+ .setId(11)
+ .setPrevId(10)
+ .setClsName("ksb.csle.component.writer.FileWriter")
+ .setFileWriter(outfileInfo)
+
+ val runner = StreamRunnerInfo.newBuilder()
+ .setClsName("ksb.csle.component.runner.SimpleSparkRunner")
+ .setSparkRunner(
+ SparkRunnerInfo.getDefaultInstance)
+
+ val controller = StreamControllerInfo.newBuilder()
+ .setClsName("ksb.csle.component.controller.SparkSessionOrStreamController")
+ .setSparkSessionOrStreamController(SimpleBatchOrStreamControllerInfo.getDefaultInstance)
+
+ // 각 컴퍼넌트 사양을 조합하여 하나의 엔진 사양을 구성
+ val dataEngineInfo = BatchToBatchStreamEngineInfo.newBuilder()
+ .setController(controller)
+ .setReader(reader)
+ .setWriter(writer)
+ .addOperator(operator)
+ .setRunner(runner)
+ .build
+
+ val runType = RunType.newBuilder()
+ .setId(1)
+ .setPeriodic(Periodic.ONCE)
+ .build()
+
+ // 작성한 엔진사양들을 이용하여 하나의 워크플로우 흐름 조합
+ WorkflowInfo.newBuilder()
+ .setBatch(true)
+ .setMsgVersion("v1.0")
+ .setKsbVersion("v1.0")
+ .addRuntypes(runType)
+ .addEngines(
+ EngineInfo.newBuilder()
+ .setId(1)
+ .setPrevId(0)
+ .setEngineNickName("DataEngine")
+ .setBatchToBatchStreamEngine(dataEngineInfo))
+ .build
+ }
+}
+```
+
+마지막으로 위의 예제를 이클립스 상에서 실행하고 writer 출력경로 상에 파일을 열어 column selection 결과를 확인합니다.
diff --git a/manual1903/3.4.1.HowToUseOperatorComponent.md b/manual1903/3.4.1.HowToUseOperatorComponent.md
new file mode 100755
index 0000000000000000000000000000000000000000..99e9d7c168be3ed234fb4b69fa920116d6f37bb0
--- /dev/null
+++ b/manual1903/3.4.1.HowToUseOperatorComponent.md
@@ -0,0 +1,88 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# KSB 웹툴킷에 새로 개발한 Operator 컴퍼넌트 등록하기
+---
+Operator 컴퍼넌트 개발하기 매뉴얼 에서 SW 개발자가 만든 **MyColumnSelectWithFileOperator** 를 웹툴킷에서 사용할 수 있도록 등록하는 방법을 설명합니다. **Component** 메뉴를 클릭하여 Component 관리화면 으로 이동합니다. 컴포넌트를 등록하기 위한 절차는 다음과 같습니다.
+
+1. 컴퍼넌트를 등록할 버전 선택
+2. Enum Component 등록하기
+3. Component Property 등록하기
+4. UI Component 등록하기
+5. 엔진과 매핑관계 만들기
+
+
+## 컴퍼넌트를 등록할 버전 선택
+**Revision** 탭으로 이동합니다. *Version Map* 표에서 웹툴킷의 *Component Version* 과 프레임워크의 *KSB Version* 목록을 확인할 수 있습니다. 본 예제에서는 SW 개발자가 만든 신규 컴퍼넌트를 웹툴킷의 *Component Version* = 1.0.1 에 등록합니다. 따라서 1.0.1 버전을 *Working version* 으로 선택합니다. 1.0.1 버전이 없을 경우, KSB 웹툴킷 컴퍼넌트 등록 매뉴얼을 참고하여 생성합니다 (복제 기능 이용).
+
+
+
+## Enum Component 등록하기
+본 예제에서는 Enum Component 를 작성하지 않았으므로 DB 에 입력하지 않습니다.
+
+
+## Component Property 등록하기
+**Component Property** 탭으로 이동합니다. **MyColumnSelectWithFileOperator** 에서 사용한 Protocol Buffer 메세지의 필드 값을 입력합니다.
+
+```protobuf
+syntax = "proto2";
+
+package ksb.csle.common.proto;
+
+message MySelectColumnsWithFileInfo {
+ required string columnIdPath = 1;
+}
+```
+
+ KSB 웹툴킷 컴퍼넌트 등록 매뉴얼을 참고하여 입력합니다.
+
+
+
+
+## UI Component 등록하기
+**UI Component** 탭으로 이동하여 입력합니다.
+
+
+
+- Component Property 에 "MySelectColumnsWithFileInfo" 를 입력합니다.
+- Type 은 "Operator" 를 선택합니다.
+- Class Name 에 "ksb.csle.component.operator.custom.MyColumnSelectWithFileOperator" 를 입력합니다.
+- Nickname 에 "MyColumnSelectWithFileOperator" 를 입력합니다. Nickname은 워크플로우 편집 화면의 컴퍼넌트 선택창에서 표시할 이름입니다.
+- Description 에 "파일로부터 칼럼 선택 및 재배열 처리기" 를 입력합니다. Description은 워크플로우 편집 화면의 컴퍼넌트 선택창에서 컴퍼넌트 이름에 마우스 오버 시 표출할 툴팁 설명입니다.
+- DB+ 버튼을 클릭하여 입력한 내용을 DB에 추가합니다.
+
+
+## 엔진과 매핑관계 만들기
+위에서 입력한 **MyColumnSelectWithFileOperator** 를 스트림 처리용 엔진에서 사용할 수 있도록 매핑 정보를 입력합니다.
+
+
+
+- UIComponent 는 위에서 입력한 "[Operator] MyColumnSelectWithFileOperator" 를 선택합니다.
+- Engine 은 스트림 처리용 엔진인 "StreamToStreamEngine" 을 선택합니다.
+- 선택된 StreamToStreamEngine 이 가지고 있는 StreamOperatorInfo 의 oneof_operators 에 Field Name을 입력합니다. Field Name 에 "mySelectColumnsWithFile" 을 입력한 후 Add a new field! 버튼을 클릭하여 리스트에 추가합니다.
+- Save to Entry! 버튼을 클릭하여 Mapping Entries 리스트에 추가합니다.
+- DB+ 버튼을 클릭하여 Mapping Entries 리스트에 있는 내용을 DB에 입력합니다.
+
+DB에 입력한 후, UIComponent Mapping Relations! 버튼을 클릭하면 아래 그림과 같이 매핑 정보를 확인할 수 있습니다. StreamOperatorInfo 를 가지는 엔진들(BatchToBatchStreamEngine, OnDemandStreamEngine, StreamToBatchEngine, StreamToStreamEngine)에 일괄적으로 매핑되는 것을 확인할 수 있습니다.
+
+
+
+## 워크플로우 편집기에서 확인
+**Workflow Editor** 메뉴를 클릭하여 워크플로우 편집 화면으로 이동합니다. *Component Version* 이 1.0.1 인 워크플로우를 작성합니다. StreamToStream 엔진을 선택한 후, 위에서 등록한 MyColumnSelectWithFileOperator 가 컴퍼넌트 선택창에 나타나는지 확인합니다.
+컴퍼넌트 선택창에 표출되는 이름은 UI Component 등록 시 입력한 Nickname 이며, 마우스 오버 시 출력되는 툴팁 설명은 Description 인 것을 확인할 수 있습니다.
+
+
+
+
+등록한 컴퍼넌트를 엔진으로 드래그 앤 드롭한 후 Properties 창에서 Component Property 를 설정할 수 있는지 확인합니다.
+
+
+
+도움말 버튼을 클릭하면 Component Property 등록 시 입력한 Help 가 출력되는 것을 확인할 수 있습니다.
+- (1) Component Property Help 표에서 입력한 Short Help 표시
+- (2) Component Property Help 표에서 입력한 Help 표시
+- (3) Component Property 표에서 입력한 Help 표시
diff --git a/manual1903/3.4.2.HowToUseReaderComponent.md b/manual1903/3.4.2.HowToUseReaderComponent.md
new file mode 100755
index 0000000000000000000000000000000000000000..5c4f69fb230545b45fbd1191092cf919882f6e8f
--- /dev/null
+++ b/manual1903/3.4.2.HowToUseReaderComponent.md
@@ -0,0 +1,106 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# KSB 웹툴킷에 새로 개발한 Reader 컴퍼넌트 등록하기
+---
+Reader 컴퍼넌트 개발하기 매뉴얼 에서 SW 개발자가 만든 **MyFileReader** 를 웹툴킷에서 사용할 수 있도록 등록하는 방법을 설명합니다. **Component** 메뉴를 클릭하여 Component 관리화면 으로 이동합니다. 컴포넌트를 등록하기 위한 절차는 다음과 같습니다.
+
+1. 컴퍼넌트를 등록할 버전 선택
+2. Enum Component 등록하기
+3. Component Property 등록하기
+4. UI Component 등록하기
+5. 엔진과 매핑관계 만들기
+
+
+## 컴퍼넌트를 등록할 버전 선택
+**Revision** 탭으로 이동합니다. *Version Map* 표에서 웹툴킷의 *Component Version* 과 프레임워크의 *KSB Version* 목록을 확인할 수 있습니다. 본 예제에서는 SW 개발자가 만든 신규 컴퍼넌트를 웹툴킷의 *Component Version* = 1.0.1 에 등록합니다. 따라서 1.0.1 버전을 *Working version* 으로 선택합니다. 1.0.1 버전이 없을 경우, KSB 웹툴킷 컴퍼넌트 등록 매뉴얼을 참고하여 생성합니다 (복제 기능 이용).
+
+
+
+## Enum Component 등록하기
+본 예제에서는 Enum Component 를 작성하지 않았으므로 DB 에 입력하지 않습니다.
+
+
+## Component Property 등록하기
+**Component Property** 탭으로 이동합니다. **MyFileReader** 에서 사용한 Protocol Buffer 메세지의 필드 값을 입력합니다.
+
+```protobuf
+syntax = "proto2";
+
+package ksb.csle.common.utils.proto;
+
+message MyFileInfo {
+ repeated string filePath = 1;
+ optional FileType fileType = 2 [default = JSON];
+ optional string delimiter = 3 [default = ","];
+ repeated FieldInfo field = 4;
+ optional bool header = 5 [default = false];
+ optional SaveMode saveMode = 6 [default = OVERWRITE];
+ enum FileType {
+ CSV = 0;
+ JSON = 1;
+ PARQUET = 2;
+ TEXT = 3;
+ }
+ enum SaveMode {
+ APPEND = 0;
+ OVERWRITE = 1;
+ ERROR_IF_EXISTS = 2;
+ IGNORE = 3;
+ }
+}
+```
+
+ KSB 웹툴킷 컴퍼넌트 등록 매뉴얼을 참고하여 입력합니다.
+
+
+
+
+
+## UI Component 등록하기
+**UI Component** 탭으로 이동하여 입력합니다.
+
+
+
+- Component Property 에 "MyFileInfo" 를 입력합니다.
+- Type 은 "Reader" 를 선택합니다.
+- Class Name 에 "ksb.csle.component.reader.custom.MyFileReader" 를 입력합니다.
+- Nickname 에 "MyFileReader" 를 입력합니다. Nickname은 워크플로우 편집 화면의 컴퍼넌트 선택창에서 표시할 이름입니다.
+- Description 에 "파일 입력기" 를 입력합니다. Description은 워크플로우 편집 화면의 컴퍼넌트 선택창에서 컴퍼넌트 이름에 마우스 오버 시 표출할 툴팁 설명입니다.
+- DB+ 버튼을 클릭하여 입력한 내용을 DB에 추가합니다.
+
+
+## 엔진과 매핑관계 만들기
+위에서 입력한 **MyFileReader** 를 배치 처리용 엔진에서 사용할 수 있도록 매핑 정보를 입력합니다.
+
+
+
+- UIComponent 는 위에서 입력한 "[Reader] MyFileReader" 를 선택합니다.
+- Engine 은 배치 처리용 엔진인 "BatchToBatchStreamEngine" 을 선택합니다.
+- 선택된 BatchToBatchStreamEngine 이 가지고 있는 BatchReaderInfo 의 oneof_readers 에 Field Name을 입력합니다. Field Name 에 "myFileReader" 을 입력한 후 Add a new field! 버튼을 클릭하여 리스트에 추가합니다.
+- Save to Entry! 버튼을 클릭하여 Mapping Entries 리스트에 추가합니다.
+- DB+ 버튼을 클릭하여 Mapping Entries 리스트에 있는 내용을 DB에 입력합니다.
+
+DB에 입력한 후, UIComponent Mapping Relations! 버튼을 클릭하면 아래 그림과 같이 매핑 정보를 확인할 수 있습니다. BatchReaderInfo 를 가지는 엔진들(BatchDummyEngine, BatchEngine, BatchToBatchStreamEngine, ExternalEngine)에 일괄적으로 매핑되는 것을 확인할 수 있습니다.
+
+
+
+## 워크플로우 편집기에서 확인
+**Workflow Editor** 메뉴를 클릭하여 워크플로우 편집 화면으로 이동합니다. *Component Version* 이 1.0.1 인 워크플로우를 작성합니다. BatchToBatchStreamEngine 엔진을 선택한 후, 위에서 등록한 MyFileReader 가 컴퍼넌트 선택창에 나타나는지 확인합니다.
+컴퍼넌트 선택창에 표출되는 이름은 UI Component 등록 시 입력한 Nickname 이며, 마우스 오버 시 출력되는 툴팁 설명은 Description 인 것을 확인할 수 있습니다.
+
+
+
+
+등록한 컴퍼넌트를 엔진으로 드래그 앤 드롭한 후 Properties 창에서 Component Property 를 설정할 수 있는지 확인합니다.
+
+
+
+도움말 버튼을 클릭하면 Component Property 등록 시 입력한 Help 가 출력되는 것을 확인할 수 있습니다.
+- (1) Component Property Help 표에서 입력한 Short Help 표시
+- (2) Component Property Help 표에서 입력한 Help 표시
+- (3) Component Property 표에서 입력한 Help 표시
diff --git a/manual1903/3.4.HowToUseComponent.md b/manual1903/3.4.HowToUseComponent.md
new file mode 100755
index 0000000000000000000000000000000000000000..b4cd0d49bafd0f193b623fe63b9f0eac81d31e1b
--- /dev/null
+++ b/manual1903/3.4.HowToUseComponent.md
@@ -0,0 +1,157 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# KSB 웹툴킷에 컴퍼넌트 등록하기
+---
+SW 개발자가 만든 신규 컴퍼넌트를 웹툴킷에서 사용할 수 있도록 등록하는 방법을 설명합니다. 웹툴킷 상단의 **Component** 메뉴를 클릭하여 Component 관리화면 으로 이동합니다. 컴포넌트를 등록하기 위한 절차는 다음과 같습니다.
+
+ 1. 컴퍼넌트를 등록할 버전 선택
+ 2. Enum Component 등록하기
+ 3. Component Property 등록하기
+ 4. UI Component 등록하기
+ 5. 엔진과 매핑관계 만들기
+
+
+## 컴퍼넌트를 등록할 버전 선택
+**Revision** 탭으로 이동합니다. *Version Map* 표에서 웹툴킷의 *Component Version* 과 프레임워크의 *KSB Version* 목록을 확인할 수 있습니다. SW 개발자가 만든 신규 컴퍼넌트를 웹툴킷의 어떤 버전(*Component Version*)에 추가할지 선택한 후, 해당 버전에 컴퍼넌트를 등록합니다. 웹툴킷에서는 *Component Version* 을 관리하며, *KSB Version* 은 매핑만 시켜줍니다.
+
+또한 *Working version* 은 Component 관리 화면에서 컴퍼넌트를 추가할 버전을 의미하고, *Current version* 은 워크플로우 편집 화면에서 워크플로우를 작성할 default 버전을 의미합니다.
+
+
+
+사용자의 실수로 인한 에러를 막기 위해, 기본적으로 배포되는 *Component Version* 은 컴퍼넌트 수정/삭제/신규등록 등의 기능을 제공하지 않습니다. 따라서 *Component Version* 복제 기능을 이용하여 새로운 버전을 생성하고, 여기에 신규 컴퍼넌트를 등록하길 권장합니다.
+
+본 예제에서는 *Component Version* = 1.0 을 복제하여 1.0.1 버전을 생성합니다. *Component Version* = 1.0 에서 "Clone" 버튼을 클릭하여 신규 버전 정보를 입력합니다 (*Component Version* = 1.0.1; *KSB Version* = 1.0). 그리고 "Clone to DB" 버튼을 클릭하여 적용합니다.
+
+
+
+그리고 1.0.1 버전을 *Working version* 으로 선택합니다.
+
+
+
+
+## Enum Component 등록하기
+Protocol Buffer 메세지 작성 시 독립적으로 작성한 Enum Component가 있다면, 이를 가장 먼저 입력합니다. **Enum Component** 탭으로 이동하여 입력합니다.
+
+
+
+ 1. Name(1) 을 입력한 후 Check Duplication 버튼(2) 을 클릭하여 중복된 이름이 있는 지 검사합니다. 중복된 이름이 있을 경우, 가급적 다른 이름을 사용합니다.
+ 2. FieldName(3) 을 입력한 후, Add a new field! 버튼(4) 을 클릭하여 리스트에 추가합니다.
+ 3. 2번 과정을 반복하여 리스트에 값을 추가합니다.
+ 4. DB+ 버튼(5) 을 클릭하여 리스트에 있는 내용을 DB에 입력합니다.
+
+- Enum Component 작성 예시
+
+ ```protobuf
+ enum FieldType {
+ STRING = 0;
+ INTEGER = 1;
+ DOUBLE = 2;
+ BOOLEAN = 3;
+ BYTE = 4;
+ FLOAT = 5;
+ LONG = 6;
+ TIMESTAMP = 7;
+ }
+ ```
+- Enum Component 등록 예시
+
+
+
+## Component Property 등록하기
+Protocol Buffer 메세지의 필드 값을 입력합니다. Protocol Buffer 메세지에 포함되어 있는 Enum Component 와 Oneof Component 를 함께 입력합니다. **Component Property** 탭으로 이동하여 입력합니다.
+
+
+
+
+**[ Component Property ]**
+ 1. Name 을 입력한 후 Check Duplication 버튼(1) 을 클릭하여 중복된 이름이 있는 지 검사합니다. 중복된 이름이 있을 경우, 가급적 다른 이름을 사용합니다.
+ 2. Oneof Component 또는 Enum Component 가 메세지 안에 정의되어 있을 경우, 이를 먼저 입력합니다. <아래 글 참조>
+ 3. Required, FieldType, FieldComponent, FieldName, DefaultValue, Help 를 차례대로 입력한 후, Add a field! 버튼(2) 을 클릭하여 리스트에 추가합니다. Order는 자동으로 증가합니다. Help는 해당 필드값의 의미 및 사용자가 어떻게 값을 세팅해야 하는지에 관한 도움말을 입력합니다.
+ 4. FieldType 이 MESSAGETYPE, ENUMTYPE, ONEOFTYPE 중 하나일 경우, FieldComponent 를 선택합니다.
+ 5. DefaultValue 가 없을 경우, 이 필드는 입력하지 않아도 됩니다.
+ 6. FieldName은 웹툴킷 워크플로우 편집화면의 Properties 창에 나타나는 이름이므로, 사용자 친화적인 이름으로 작성합니다. (직관적인 이름 사용)
+ 7. 3번 과정을 반복하여 리스트에 값을 추가합니다. (3) 버튼을 클릭하면 Help 정보를 확인할 수 있고, 한번 더 클릭하면 Help 정보를 감출 수 있습니다.
+
+**[ OneofGroups ]**
+ 1. Name 을 입력한 후, Add a OneofGroup! 버튼(4) 을 클릭하여 리스트에 이름을 추가합니다.
+ 2. Component Property, FieldName 을 차례대로 입력한 후, Add a field! 버튼을 클릭하여 리스트에 추가합니다. Order는 자동으로 증가합니다.
+ 3. 2번 과정을 반복하여 리스트에 값을 추가합니다.
+ 4. Oneof Component 가 2개 이상일 경우, 1 - 3번 과정을 반복하여 리스트에 값을 추가합니다.
+
+**[ EnumComponent ]**
+ 1. Name 입력한 후 Add a EnumComponent! 버튼(5) 을 클릭하여 리스트에 이름을 추가합니다.
+ 2. FieldName 을 입력한 후, Add a field! 버튼을 클릭하여 리스트에 추가합니다. Order는 자동으로 증가합니다.
+ 3. 2번 과정을 반복하여 리스트에 값을 추가합니다.
+ 4. Enum Component 가 2개 이상일 경우, 1 - 3번 과정을 반복하여 리스트에 값을 추가합니다.
+
+DB+ 버튼(6) 을 클릭하여 리스트에 있는 내용을 DB에 입력합니다. 그 다음 Component Property Help 를 입력합니다. Edit! 버튼을 클릭하여 입력합니다.
+
+
+
+**[ Component Property Help ]**
+ 1. Short Help를 입력합니다. 개략적인 설명을 입력합니다.
+ 2. 도움말을 입력합니다. 사용자가 이해할 수 있도록 자세하게 도움말을 입력합니다.
+
+Modify! 버튼을 클릭한 후, DB+ 버튼(6) 을 클릭하여 리스트에 있는 내용을 DB에 입력합니다.
+
+
+- Protocol Buffer 메세지 작성 예시
+
+```protobuf
+message FilePipeReaderInfo {
+ required string filePath = 1;
+ required FileType fileType = 2 [default = JSON];
+ optional int32 maxFilesPerTrigger = 3;
+ optional string timeColName = 5 [default = "timestamp"];
+ optional string watermark = 6 [default = "1 seconds"];
+ repeated FieldInfo field = 7;
+ optional string delimiter = 8 [default = ","];
+ optional bool header = 9 [default = false];
+
+ enum FileType {
+ CSV = 0;
+ JSON = 1;
+ PARQUET = 2;
+ TEXT = 3;
+ }
+}
+```
+
+- Protocol Buffer 메세지 등록 예시
+
+
+
+
+## UI Component 등록하기
+위에서 입력한 메세지가 Reader, Writer, Runner, Controller, Operator 와 같은 UI Component 로 등록되어야 할 경우, **UI Component** 탭으로 이동하여 입력합니다.
+
+본 예제에서는 SW 개발자가 이클립스 환경에서 스트림 처리용 파일 입력기(ksb.csle.component.pipe.stream.reader.FilePipeReader.scala
+)를 구현하였다고 가정하고, StreamJoinEngine 의 Reader 중 하나로 등록하는 방법을 설명합니다.
+
+
+
+
+ 1. Component Property, Type, Class Name, Nickname, Description을 차례대로 입력합니다. Nickname은 워크플로우 편집 화면의 컴퍼넌트 선택창에서 표시할 이름입니다. Description은 워크플로우 편집 화면의 컴퍼넌트 선택창에서 컴퍼넌트 이름에 마우스 오버 시 표출할 툴팁 설명입니다.
+ 2. DB+ 버튼을 클릭하여 입력한 내용을 DB에 추가합니다.
+
+
+## 엔진과 매핑관계 만들기
+위에서 입력한 UI Component 를 어떤 Engine에서 사용할 것인지 매핑 정보를 입력합니다.
+
+
+
+ 1. UIComponent 는 위에서 입력한 컴퍼넌트를 선택합니다.
+ 2. Engine 은 컴퍼넌트가 추가될 엔진을 선택합니다.
+ 3. 선택된 엔진이 가지고 있는 OneofGroup 에 Field Name을 입력한 후 Add a new field! 버튼(2) 을 클릭하여 리스트에 추가합니다.
+ 4. Save to Entry! 버튼(3) 을 클릭하여 Mapping Entries 리스트에 추가합니다.
+ 5. UI Component를 여러 개의 엔진에 추가하고 싶은 경우, 1 - 4번 과정을 반복하여 Mapping Entries 리스트에 추가합니다. 동일한 OneofGroup 을 참조하는 엔진들은 일괄적으로 추가가 되므로 Mapping Entries 리스트에 추가하지 않아도 됩니다.
+ 6. DB+ 버튼(4) 을 클릭하여 Mapping Entries 리스트에 있는 내용을 DB에 입력합니다.
+
+DB에 입력한 후, UIComponent Mapping Relations! 버튼(1) 을 클릭하면 아래 그림과 같이 매핑 정보를 확인할 수 있습니다. 동일한 OneofGroup 을 참조하는 엔진들에 모두 매핑이 된 것을 확인할 수 있습니다.
+
+
diff --git a/manual1903/Filezilla.md b/manual1903/Filezilla.md
new file mode 100644
index 0000000000000000000000000000000000000000..9ea0ce0ba91bd25d0783ff7ca25c80eb39c609c1
--- /dev/null
+++ b/manual1903/Filezilla.md
@@ -0,0 +1,33 @@
+---
+html:
+ toc: true
+ offline: true
+export_on_save:
+ html: true
+---
+# Filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속하기
+---
+ KSB 인공지능 프레임워크 실행하기를 참고하여 KSB 툴박스 docker 컨테이너 실행합니다.
+
+```sh
+csle@csle1:~/ksb-csle/docker/1.0-host$ ./startDockerCsle.sh
+Error response from daemon: network csle_cluster not found
+Error response from daemon: network csle_standalone not found
+csle1
+start csle1 slave container...
+4918997cd2dac93fe0b52f3df3a45a46db6df1f3f052854061696695451d2f22
+csle@csle1:/$
+```
+
+ssh 서버를 구동합니다.
+
+```sh
+csle@csle1:/$ sudo service ssh start
+```
+
+HOST 에서 filezilla를 이용하여 KSB 툴박스 docker 컨테이너에 접속합니다.
+사용자/비밀번호 : csle/csle
+
+
+Filezilla를 이용해서 KSB 툴박스 docker 컨테이너에 접속한 화면입니다.
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/akka/package.html b/manual1903/api_reference/component-pipe/scaladocs/akka/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..8161f1910b5c9607afe34a68d4f87b75531ca5bd
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/akka/package.html
@@ -0,0 +1,118 @@
+
+
+
+ + + + package + + + akka + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/akka/pattern/package.html b/manual1903/api_reference/component-pipe/scaladocs/akka/pattern/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..4c430884a77d80671526cc12afc1eec8a59a9a6c
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/akka/pattern/package.html
@@ -0,0 +1,359 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + pattern + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- pattern
- FutureTimeoutSupport
- GracefulStopSupport
- AskSupport
- PipeToSupport
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index.html b/manual1903/api_reference/component-pipe/scaladocs/index.html
new file mode 100644
index 0000000000000000000000000000000000000000..f8eec761eeb8bb4c3f95290a22eaee1499a02fc6
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index.html
@@ -0,0 +1,108 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+ +
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + + def + + + after[T](duration: FiniteDuration, using: Scheduler)(value: ⇒ Future[T])(implicit ec: ExecutionContext): Future[T] + +
+ +
+
+
+ +- Definition Classes
- FutureTimeoutSupport
-
+
+
+
+ + + def + + + afterCompletionStage[T](duration: FiniteDuration, using: Scheduler)(value: ⇒ CompletionStage[T])(implicit ec: ExecutionContext): CompletionStage[T] + +
+ +
+
+
+ +- Definition Classes
- FutureTimeoutSupport
-
+
+
+
+ + + def + + + ask(actorSelection: ActorSelection, message: Any, sender: ActorRef)(implicit timeout: Timeout): Future[Any] + +
+ +
+
+
+ +- Definition Classes
- AskSupport
-
+
+
+
+ + + def + + + ask(actorSelection: ActorSelection, message: Any)(implicit timeout: Timeout): Future[Any] + +
+ +
+
+
+ +- Definition Classes
- AskSupport
-
+
+
+
+ + implicit + def + + + ask(actorSelection: ActorSelection): AskableActorSelection + +
+ +
+
+
+ +- Definition Classes
- AskSupport
-
+
+
+
+ + + def + + + ask(actorRef: ActorRef, message: Any, sender: ActorRef)(implicit timeout: Timeout): Future[Any] + +
+ +
+
+
+ +- Definition Classes
- AskSupport
-
+
+
+
+ + + def + + + ask(actorRef: ActorRef, message: Any)(implicit timeout: Timeout): Future[Any] + +
+ +
+
+
+ +- Definition Classes
- AskSupport
-
+
+
+
+ + implicit + def + + + ask(actorRef: ActorRef): AskableActorRef + +
+ +
+
+
+ +- Definition Classes
- AskSupport
-
+
+
+
+ + + def + + + gracefulStop(target: ActorRef, timeout: FiniteDuration, stopMessage: Any): Future[Boolean] + +
+ +
+
+
+ +- Definition Classes
- GracefulStopSupport
-
+
+
+
+ + implicit + def + + + pipe[T](future: Future[T])(implicit executionContext: ExecutionContext): PipeableFuture[T] + +
+ +
+
+
+ +- Definition Classes
- PipeToSupport
-
+
+
+
+ + implicit + def + + + pipeCompletionStage[T](future: CompletionStage[T])(implicit executionContext: ExecutionContext): PipeableCompletionStage[T] + +
+ +
+
+
+ +- Definition Classes
- PipeToSupport
+
+
+
+
Inherited from FutureTimeoutSupport
+
+
Inherited from GracefulStopSupport
+
+
Inherited from AskSupport
+
+
Inherited from PipeToSupport
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+ 
+ 
+ 
+
+
+
+
+
+
+
+
+
+
+
+
+
-
+ akka
+
-
+ akka.pattern
+
-
+ akka.pattern
+
-
+ ksb
+
-
+ ksb.csle
+
-
+ ksb.csle.component
+
-
+ ksb.csle.component.pipe
+
-
+ ksb.csle.component.pipe.controller
+
- (class)AbstractGenericOnDemandRestfulController
- (class)OnDemandCompositeServingRestfulController
- (class)OnDemandGenericController
- (class)StreamingGenericController
-
+ ksb.csle.component.pipe.controller.actor
+
- (class)AbstractGenericOnDemandRestfulControlActor
- (class)CompositeServingActor
- (class)EnsembleServingActor
- (object)(class)KafkaSender
- (class)OnDemandGenericControlActor
-
+ ksb.csle.component.pipe.controller.vo
+
- (trait)BaseCase
- (trait)BaseCumulativeCase
- (class)CumulativeContext
- (case class)EnsembleCase
- (object)MyJsonProtocol
- (object)MyRouteJsonProtocol
- (object)(class)RouteContext
- (case class)RouteCtxCase
-
+ ksb.csle.component.pipe.query
+
-
+ ksb.csle.component.pipe.query.operator
+
- (class)GenericRestfulContextQueryPipeOperator
- (class)OutputAggregatePipeOperator
- (class)OutputCumulativePipeOperator
- (class)OutputRestfulContextQueryPipeOperator
- (class)RouteMappingPipeOperator
- (class)RouteRestfulContextQueryPipeOperator
-
+ ksb.csle.component.pipe.query.parser
+
+
-
+ ksb.csle.component.pipe.query.operator
+
-
+ ksb.csle.component.pipe.runner
+
- (case class)BindServing
- (case class)ReloadServing
- (class)ServingMaster
- (object)(class)ServingPipeRunner
- (case class)StartServing
- (case class)StopServing
-
+ ksb.csle.component.pipe.stream
+
-
+ ksb.csle.component.pipe.stream.operator
+
- (class)FilterOperator
- (class)GroupByOperator
- (class)OrderByOperator
- (object)RenameColumns
- (class)RenameColumnsPipeOperator
- (object)SelectColumns
- (class)SelectColumnsPipeOperator
- (class)SparkMLPredictPipeOperator
- (class)StreamAllJoinOperator
- (class)StreamJoinOperator
- (class)StreamTimeJoinOperator
-
+ ksb.csle.component.pipe.stream.reader
+
+
-
+ ksb.csle.component.pipe.stream.writer
+
- (class)ConsolePipeWriter
- (class)FilePipeWriter
- (class)HBasePipeWriter
- (class)KafkaPipeWriter
- (class)MemoryPipeWriter
-
+ ksb.csle.component.pipe.stream.operator
+
-
+ ksb.csle.component.pipe.controller
+
-
+ ksb.csle.component.pipe
+
-
+ ksb.csle.component
+
-
+ ksb.csle
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index.js b/manual1903/api_reference/component-pipe/scaladocs/index.js
new file mode 100644
index 0000000000000000000000000000000000000000..5529682b6b11cf19a93fb1701f705db6e0314206
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index.js
@@ -0,0 +1 @@
+Index.PACKAGES = {"ksb.csle.component" : [], "ksb.csle.component.pipe.stream.reader" : [{"class" : "ksb\/csle\/component\/pipe\/stream\/reader\/FilePipeReader.html", "name" : "ksb.csle.component.pipe.stream.reader.FilePipeReader"}, {"object" : "ksb\/csle\/component\/pipe\/stream\/reader\/KafkaContextQueryPipeReader$.html", "class" : "ksb\/csle\/component\/pipe\/stream\/reader\/KafkaContextQueryPipeReader.html", "name" : "ksb.csle.component.pipe.stream.reader.KafkaContextQueryPipeReader"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/reader\/KafkaPipeReader.html", "name" : "ksb.csle.component.pipe.stream.reader.KafkaPipeReader"}], "akka.pattern" : [], "ksb.csle.component.pipe.controller.actor" : [{"class" : "ksb\/csle\/component\/pipe\/controller\/actor\/AbstractGenericOnDemandRestfulControlActor.html", "name" : "ksb.csle.component.pipe.controller.actor.AbstractGenericOnDemandRestfulControlActor"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/actor\/CompositeServingActor.html", "name" : "ksb.csle.component.pipe.controller.actor.CompositeServingActor"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/actor\/EnsembleServingActor.html", "name" : "ksb.csle.component.pipe.controller.actor.EnsembleServingActor"}, {"object" : "ksb\/csle\/component\/pipe\/controller\/actor\/KafkaSender$.html", "class" : "ksb\/csle\/component\/pipe\/controller\/actor\/KafkaSender.html", "name" : "ksb.csle.component.pipe.controller.actor.KafkaSender"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/actor\/OnDemandGenericControlActor.html", "name" : "ksb.csle.component.pipe.controller.actor.OnDemandGenericControlActor"}], "akka" : [], "ksb.csle.component.pipe.stream.writer" : [{"class" : "ksb\/csle\/component\/pipe\/stream\/writer\/ConsolePipeWriter.html", "name" : "ksb.csle.component.pipe.stream.writer.ConsolePipeWriter"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/writer\/FilePipeWriter.html", "name" : "ksb.csle.component.pipe.stream.writer.FilePipeWriter"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/writer\/HBasePipeWriter.html", "name" : "ksb.csle.component.pipe.stream.writer.HBasePipeWriter"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/writer\/KafkaPipeWriter.html", "name" : "ksb.csle.component.pipe.stream.writer.KafkaPipeWriter"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/writer\/MemoryPipeWriter.html", "name" : "ksb.csle.component.pipe.stream.writer.MemoryPipeWriter"}], "ksb.csle.component.pipe.runner" : [{"case class" : "ksb\/csle\/component\/pipe\/runner\/BindServing.html", "name" : "ksb.csle.component.pipe.runner.BindServing"}, {"case class" : "ksb\/csle\/component\/pipe\/runner\/ReloadServing.html", "name" : "ksb.csle.component.pipe.runner.ReloadServing"}, {"class" : "ksb\/csle\/component\/pipe\/runner\/ServingMaster.html", "name" : "ksb.csle.component.pipe.runner.ServingMaster"}, {"object" : "ksb\/csle\/component\/pipe\/runner\/ServingPipeRunner$.html", "class" : "ksb\/csle\/component\/pipe\/runner\/ServingPipeRunner.html", "name" : "ksb.csle.component.pipe.runner.ServingPipeRunner"}, {"case class" : "ksb\/csle\/component\/pipe\/runner\/StartServing.html", "name" : "ksb.csle.component.pipe.runner.StartServing"}, {"case class" : "ksb\/csle\/component\/pipe\/runner\/StopServing.html", "name" : "ksb.csle.component.pipe.runner.StopServing"}], "ksb.csle.component.pipe.controller" : [{"class" : "ksb\/csle\/component\/pipe\/controller\/AbstractGenericOnDemandRestfulController.html", "name" : "ksb.csle.component.pipe.controller.AbstractGenericOnDemandRestfulController"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/OnDemandCompositeServingRestfulController.html", "name" : "ksb.csle.component.pipe.controller.OnDemandCompositeServingRestfulController"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/OnDemandGenericController.html", "name" : "ksb.csle.component.pipe.controller.OnDemandGenericController"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/StreamingGenericController.html", "name" : "ksb.csle.component.pipe.controller.StreamingGenericController"}], "ksb.csle.component.pipe.query.parser" : [{"class" : "ksb\/csle\/component\/pipe\/query\/parser\/MyDLParser.html", "name" : "ksb.csle.component.pipe.query.parser.MyDLParser"}, {"class" : "ksb\/csle\/component\/pipe\/query\/parser\/MyMLParser.html", "name" : "ksb.csle.component.pipe.query.parser.MyMLParser"}], "ksb" : [], "ksb.csle.component.pipe.stream.operator" : [{"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/FilterOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.FilterOperator"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/GroupByOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.GroupByOperator"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/OrderByOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.OrderByOperator"}, {"object" : "ksb\/csle\/component\/pipe\/stream\/operator\/RenameColumns$.html", "name" : "ksb.csle.component.pipe.stream.operator.RenameColumns"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/RenameColumnsPipeOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.RenameColumnsPipeOperator"}, {"object" : "ksb\/csle\/component\/pipe\/stream\/operator\/SelectColumns$.html", "name" : "ksb.csle.component.pipe.stream.operator.SelectColumns"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/SelectColumnsPipeOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.SelectColumnsPipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/SparkMLPredictPipeOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.SparkMLPredictPipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/StreamAllJoinOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.StreamAllJoinOperator"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/StreamJoinOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.StreamJoinOperator"}, {"class" : "ksb\/csle\/component\/pipe\/stream\/operator\/StreamTimeJoinOperator.html", "name" : "ksb.csle.component.pipe.stream.operator.StreamTimeJoinOperator"}], "ksb.csle.component.pipe.stream" : [], "ksb.csle.component.pipe.controller.vo" : [{"trait" : "ksb\/csle\/component\/pipe\/controller\/vo\/BaseCase.html", "name" : "ksb.csle.component.pipe.controller.vo.BaseCase"}, {"trait" : "ksb\/csle\/component\/pipe\/controller\/vo\/BaseCumulativeCase.html", "name" : "ksb.csle.component.pipe.controller.vo.BaseCumulativeCase"}, {"class" : "ksb\/csle\/component\/pipe\/controller\/vo\/CumulativeContext.html", "name" : "ksb.csle.component.pipe.controller.vo.CumulativeContext"}, {"case class" : "ksb\/csle\/component\/pipe\/controller\/vo\/EnsembleCase.html", "name" : "ksb.csle.component.pipe.controller.vo.EnsembleCase"}, {"object" : "ksb\/csle\/component\/pipe\/controller\/vo\/MyJsonProtocol$.html", "name" : "ksb.csle.component.pipe.controller.vo.MyJsonProtocol"}, {"object" : "ksb\/csle\/component\/pipe\/controller\/vo\/MyRouteJsonProtocol$.html", "name" : "ksb.csle.component.pipe.controller.vo.MyRouteJsonProtocol"}, {"object" : "ksb\/csle\/component\/pipe\/controller\/vo\/RouteContext$.html", "class" : "ksb\/csle\/component\/pipe\/controller\/vo\/RouteContext.html", "name" : "ksb.csle.component.pipe.controller.vo.RouteContext"}, {"case class" : "ksb\/csle\/component\/pipe\/controller\/vo\/RouteCtxCase.html", "name" : "ksb.csle.component.pipe.controller.vo.RouteCtxCase"}], "ksb.csle.component.pipe.query" : [], "ksb.csle.component.pipe.query.operator" : [{"class" : "ksb\/csle\/component\/pipe\/query\/operator\/GenericRestfulContextQueryPipeOperator.html", "name" : "ksb.csle.component.pipe.query.operator.GenericRestfulContextQueryPipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/query\/operator\/OutputAggregatePipeOperator.html", "name" : "ksb.csle.component.pipe.query.operator.OutputAggregatePipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/query\/operator\/OutputCumulativePipeOperator.html", "name" : "ksb.csle.component.pipe.query.operator.OutputCumulativePipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/query\/operator\/OutputRestfulContextQueryPipeOperator.html", "name" : "ksb.csle.component.pipe.query.operator.OutputRestfulContextQueryPipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/query\/operator\/RouteMappingPipeOperator.html", "name" : "ksb.csle.component.pipe.query.operator.RouteMappingPipeOperator"}, {"class" : "ksb\/csle\/component\/pipe\/query\/operator\/RouteRestfulContextQueryPipeOperator.html", "name" : "ksb.csle.component.pipe.query.operator.RouteRestfulContextQueryPipeOperator"}], "ksb.csle" : [], "ksb.csle.component.pipe" : []};
\ No newline at end of file
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-a.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-a.html
new file mode 100644
index 0000000000000000000000000000000000000000..bcb10d123353ae438a7efd2fd9764404872d2504
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-a.html
@@ -0,0 +1,59 @@
+
+
+
+
+
+
AbstractGenericOnDemandRestfulController
+
+
+
actor
+
+
+
actorRefFactory
+
+
+
aggregateAnd
+
+
+
aggregateAvg
+
+
+
aggregateMax
+
+
+
aggregateMin
+
+
+
aggregateOr
+
+
+
aggregateOutput
+
+
+
aggregateSum
+
+
+
akka
+
+
+
appendOutput
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-b.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-b.html
new file mode 100644
index 0000000000000000000000000000000000000000..954317f5cdc4006d3f8e63c912295eab35144bb6
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-b.html
@@ -0,0 +1,23 @@
+
+
+
+ applyPipes
+
+
+
BaseCase
+
+
+
BaseCumulativeCase
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-c.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-c.html
new file mode 100644
index 0000000000000000000000000000000000000000..e6ec9aa32f9173c2a2364ac7f4f94df7b49d3819
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-c.html
@@ -0,0 +1,53 @@
+
+
+
+ BindServing
+
+
+
CompositeServingActor
+
+
+
ConsolePipeWriter
+
+
+
CumulativeContext
+
+
+
cachedQueryCtx
+
+
+
close
+
+
+
command
+
+
+
component
+
+
+
controlActor
+
+
+
controller
+
+
+
copy
+
+
+
createConsumerConfig
+
+
+
csle
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-d.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-d.html
new file mode 100644
index 0000000000000000000000000000000000000000..ca777d6a032d1a07b2fc1a49ea7ac100897ecf3f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-d.html
@@ -0,0 +1,35 @@
+
+
+
+ currentServingActor
+
+
+
data
+
+
+
df
+
+
+
df2_keyCol
+
+
+
df2_timeCol
+
+
+
df_keyCol
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-e.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-e.html
new file mode 100644
index 0000000000000000000000000000000000000000..b187404f40135dc44006c39bce033de48bd05e2f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-e.html
@@ -0,0 +1,23 @@
+
+
+
+ df_timeCol
+
+
+
EnsembleCase
+
+
+
EnsembleCaseFormat
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-f.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-f.html
new file mode 100644
index 0000000000000000000000000000000000000000..fd9ae094d404c620a6b71e1b2a0618afa5411bef
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-f.html
@@ -0,0 +1,26 @@
+
+
+
+ EnsembleServingActor
+
+
+
FilePipeReader
+
+
+
FilePipeWriter
+
+
+
FilterOperator
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-g.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-g.html
new file mode 100644
index 0000000000000000000000000000000000000000..d9d994d0f8f9268548f025f403432a93fc5ebe93
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-g.html
@@ -0,0 +1,38 @@
+
+
+
+ fileType
+
+
+
GenericRestfulContextQueryPipeOperator
+
+
+
GroupByOperator
+
+
+
getData
+
+
+
getInput
+
+
+
getOutput
+
+
+
getOutputList
+
+
+
getRoute
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-h.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-h.html
new file mode 100644
index 0000000000000000000000000000000000000000..9ffff0c6f75f72f39d28a26f31315b46b9c4194f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-h.html
@@ -0,0 +1,17 @@
+
+
+
+ getSession
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-i.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-i.html
new file mode 100644
index 0000000000000000000000000000000000000000..d870019486e27fae60351163ffbbcdeb64da3a34
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-i.html
@@ -0,0 +1,32 @@
+
+
+
+ HBasePipeWriter
+
+
+
init
+
+
+
input
+
+
+
ip
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-j.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-j.html
new file mode 100644
index 0000000000000000000000000000000000000000..15ad07c1112d6c65ce9624c54649fb0e610dff91
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-j.html
@@ -0,0 +1,17 @@
+
+
+
+ isRename
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-k.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-k.html
new file mode 100644
index 0000000000000000000000000000000000000000..8be2b749765a166a24259a72a3f5473465b9710d
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-k.html
@@ -0,0 +1,29 @@
+
+
+
+ joinOp
+
+
+
KafkaContextQueryPipeReader
+
+
+
KafkaPipeReader
+
+
+
KafkaPipeWriter
+
+
+
KafkaSender
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-l.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-l.html
new file mode 100644
index 0000000000000000000000000000000000000000..5ec1171cc2c20e3a5c6710035603a7edb18df907
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-l.html
@@ -0,0 +1,17 @@
+
+
+
+ ksb
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-m.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-m.html
new file mode 100644
index 0000000000000000000000000000000000000000..1a9fd7089d30db81b872000ede4171c2fe20ea1a
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-m.html
@@ -0,0 +1,38 @@
+
+
+
+ loadModel
+
+
+
MemoryPipeWriter
+
+
+
MyDLParser
+
+
+
MyJsonProtocol
+
+
+
MyMLParser
+
+
+
MyRouteJsonProtocol
+
+
+
maxFiles
+
+
+
model
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-n.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-n.html
new file mode 100644
index 0000000000000000000000000000000000000000..d3693f18368354e990cbce3e35cc617c07ee59fe
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-n.html
@@ -0,0 +1,17 @@
+
+
+
+ myCtxCase
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-o.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-o.html
new file mode 100644
index 0000000000000000000000000000000000000000..6ca4fe50aa66b78fe5eec89adb847d89d4e72387
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-o.html
@@ -0,0 +1,53 @@
+
+
+
+ newCols
+
+
+
OnDemandCompositeServingRestfulController
+
+
+
OnDemandGenericControlActor
+
+
+
OnDemandGenericController
+
+
+
OrderByOperator
+
+
+
OutputAggregatePipeOperator
+
+
+
OutputCumulativePipeOperator
+
+
+
OutputRestfulContextQueryPipeOperator
+
+
+
o
+
+
+
operate
+
+
+
ops
+
+
+
output
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-p.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-p.html
new file mode 100644
index 0000000000000000000000000000000000000000..135d064788acfd1898a4ee3c683f209c8915ca38
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-p.html
@@ -0,0 +1,56 @@
+
+
+
+ outs
+
+
+
p
+ AbstractGenericOnDemandRestfulController OnDemandCompositeServingRestfulController OnDemandGenericController StreamingGenericController GenericRestfulContextQueryPipeOperator OutputAggregatePipeOperator OutputCumulativePipeOperator OutputRestfulContextQueryPipeOperator RouteMappingPipeOperator RouteRestfulContextQueryPipeOperator FilterOperator RenameColumnsPipeOperator SelectColumnsPipeOperator SparkMLPredictPipeOperator StreamAllJoinOperator StreamJoinOperator StreamTimeJoinOperator FilePipeReader KafkaContextQueryPipeReader KafkaPipeReader ConsolePipeWriter HBasePipeWriter KafkaPipeWriter MemoryPipeWriter
+
+
parse
+
+
+
parser
+
+
+
pattern
+
+
+
pipe
+
+
+
pipes
+
+
+
port
+
+
+
predict
+
+
+
producer
+
+
+
progress
+
+
+
props
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-q.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-q.html
new file mode 100644
index 0000000000000000000000000000000000000000..d63067b555f8c65612e722cc84b684601106605e
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-q.html
@@ -0,0 +1,20 @@
+
+
+
+ protocol
+
+
+
query
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-r.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-r.html
new file mode 100644
index 0000000000000000000000000000000000000000..1ff5b9c1fba11b7331f619970f06b9f780250112
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-r.html
@@ -0,0 +1,59 @@
+
+
+
+ queryUrl
+
+
+
ReloadServing
+
+
+
RenameColumns
+
+
+
RenameColumnsPipeOperator
+
+
+
RouteContext
+
+
+
RouteCtxCase
+
+
+
RouteCtxCaseFormat
+
+
+
RouteMappingPipeOperator
+
+
+
RouteRestfulContextQueryPipeOperator
+
+
+
reader
+
+
+
retry
+
+
+
route
+
+
+
run
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-s.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-s.html
new file mode 100644
index 0000000000000000000000000000000000000000..b9fbd2b943ccb1595aa1403c5422c7ea11ac60da
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-s.html
@@ -0,0 +1,95 @@
+
+
+
+ runner
+
+
+
SelectColumns
+
+
+
SelectColumnsPipeOperator
+
+
+
ServingMaster
+
+
+
ServingPipeRunner
+
+
+
SparkMLPredictPipeOperator
+
+
+
StartServing
+
+
+
StopServing
+
+
+
StreamAllJoinOperator
+
+
+
StreamJoinOperator
+
+
+
StreamTimeJoinOperator
+
+
+
StreamingGenericController
+
+
+
schema
+
+
+
selectedCols
+
+
+
serverUrl
+
+
+
serviceStartTime
+
+
+
servingMaster
+
+
+
session
+
+
+
setData
+
+
+
setInput
+
+
+
setOutput
+
+
+
setRoute
+
+
+
sprayHttpListener
+
+
+
ssl
+
+
+
stop
+
+
+
stream
+
+
+
streamReader
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-t.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-t.html
new file mode 100644
index 0000000000000000000000000000000000000000..3b75ec8ae837f49510e52e82cfd7b273753f2081
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-t.html
@@ -0,0 +1,26 @@
+
+
+
+ system
+
+
+
toCase
+
+
+
toJsonString
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-u.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-u.html
new file mode 100644
index 0000000000000000000000000000000000000000..0f87bfe587ea28c33f11b77d75438a1758af7aea
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-u.html
@@ -0,0 +1,17 @@
+
+
+
+ topic
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-v.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-v.html
new file mode 100644
index 0000000000000000000000000000000000000000..190dd367f95684c3af26a0e902fed288f21906e0
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-v.html
@@ -0,0 +1,17 @@
+
+
+
+ userSchema
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/index/index-w.html b/manual1903/api_reference/component-pipe/scaladocs/index/index-w.html
new file mode 100644
index 0000000000000000000000000000000000000000..88914343a84735b8252cc9e7d5546d380000cdf9
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/index/index-w.html
@@ -0,0 +1,20 @@
+
+
+
+ vo
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..d25402eff95b0e164e8e7461bc087d55087b6860
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/package.html
@@ -0,0 +1,118 @@
+
+
+
+ writer
+
+ 
+ 
+ + + + package + + + component + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/AbstractGenericOnDemandRestfulController.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/AbstractGenericOnDemandRestfulController.html
new file mode 100644
index 0000000000000000000000000000000000000000..217e993e27b2365478b350b58e48ef9f9f331942
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/AbstractGenericOnDemandRestfulController.html
@@ -0,0 +1,690 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+ 
+
+
+
+
+
+ ksb.csle.component.pipe.controller
+AbstractGenericOnDemandRestfulController
Related Doc:
+ package controller
+
+
+
+
+
+ + + abstract + class + + + AbstractGenericOnDemandRestfulController[T] extends BaseQueryWoReaderPipeController[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandControllerInfo, ActorSystem] + +
+ +
+ Linear Supertypes
+
+
+ Known Subclasses
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- AbstractGenericOnDemandRestfulController
- BaseQueryWoReaderPipeController
- BaseController
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/OnDemandCompositeServingRestfulController.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/OnDemandCompositeServingRestfulController.html
new file mode 100644
index 0000000000000000000000000000000000000000..bb9fed1352dc157ce46ff075bde2893644c6c5d8
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/OnDemandCompositeServingRestfulController.html
@@ -0,0 +1,687 @@
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + AbstractGenericOnDemandRestfulController(runner: BaseRunner[ActorSystem, OnDemandRunnerInfo, Any], p: OnDemandControllerInfo, ops: Seq[BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], _, ActorSystem]]) + +
+ +
+
+
+
+
+
+
+ Abstract Value Members
+-
+
+
+
+ + abstract + def + + + controlActor: ActorRef + +
+ +
+
+
+ +- Attributes
- protected
+
+
+
+
+
+ Concrete Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + getPipes(inPipes: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): Seq[(Any) ⇒ BaseRouteContext[T]] + +
+ +
+
+
+ +- Definition Classes
- BaseQueryWoReaderPipeController
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + init(): Any + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseController
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + ops: Seq[BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], _, ActorSystem]] + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController
-
+
+
+
+ + + val + + + p: OnDemandControllerInfo + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController
-
+
+
+
+ + + val + + + pipes: Seq[(Any) ⇒ BaseRouteContext[T]] + +
+ +
+
+
+ +- Attributes
- protected
-
+
+
+
+ + + def + + + progress(): BaseResult + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController → BaseController
-
+
+
+
+ + + val + + + runner: BaseRunner[ActorSystem, OnDemandRunnerInfo, Any] + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController
-
+
+
+
+ + + def + + + stop(): Any + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController → BaseController
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseQueryWoReaderPipeController[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandControllerInfo, ActorSystem]
+
+
Inherited from BaseController[BaseRouteContext[T], BaseResult]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller
+OnDemandCompositeServingRestfulController
Related Doc:
+ package controller
+
+
+
+
+
+ + + + class + + + OnDemandCompositeServingRestfulController[T] extends AbstractGenericOnDemandRestfulController[T] + +
+ +:: Experimental ::
Controller that manipulates restful query operators. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OnDemandCompositeServingRestfulController
- AbstractGenericOnDemandRestfulController
- BaseQueryWoReaderPipeController
- BaseController
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/OnDemandGenericController.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/OnDemandGenericController.html
new file mode 100644
index 0000000000000000000000000000000000000000..b774d32c53b33c7aefe9b2782933165d8d050f11
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/OnDemandGenericController.html
@@ -0,0 +1,686 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OnDemandCompositeServingRestfulController(runner: BaseRunner[ActorSystem, OnDemandRunnerInfo, Any], p: OnDemandControllerInfo, ops: Seq[BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], _, ActorSystem]]) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + controlActor: ActorRef + +
+ +
+
+
+ +- Definition Classes
- OnDemandCompositeServingRestfulController → AbstractGenericOnDemandRestfulController
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + getPipes(inPipes: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): Seq[(Any) ⇒ BaseRouteContext[T]] + +
+ +
+
+
+ +- Definition Classes
- BaseQueryWoReaderPipeController
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + init(): Any + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseController
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + ops: Seq[BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], _, ActorSystem]] + +
+ +
+
+
+ +- Definition Classes
- OnDemandCompositeServingRestfulController → AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController
-
+
+
+
+ + + val + + + p: OnDemandControllerInfo + +
+ +
+
+
+ +- Definition Classes
- OnDemandCompositeServingRestfulController → AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController
-
+
+
+
+ + + val + + + pipes: Seq[(Any) ⇒ BaseRouteContext[T]] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- AbstractGenericOnDemandRestfulController
-
+
+
+
+ + + def + + + progress(): BaseResult + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController → BaseController
-
+
+
+
+ + + val + + + runner: BaseRunner[ActorSystem, OnDemandRunnerInfo, Any] + +
+ +
+
+
+ +- Definition Classes
- OnDemandCompositeServingRestfulController → AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController
-
+
+
+
+ + + def + + + stop(): Any + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulController → BaseQueryWoReaderPipeController → BaseController
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AbstractGenericOnDemandRestfulController[T]
+
+
Inherited from BaseQueryWoReaderPipeController[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandControllerInfo, ActorSystem]
+
+
Inherited from BaseController[BaseRouteContext[T], BaseResult]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller
+OnDemandGenericController
Related Doc:
+ package controller
+
+
+
+
+
+ + + + class + + + OnDemandGenericController extends BaseQueryPipeController[DeviceCtxCtlCase, DeviceCtxCtlCase, DeviceCtxCtlCase, OnDemandControllerInfo, ActorSystem] + +
+ +:: Experimental ::
Controller that manipulate reader, operator, and writer handles +when it is requested. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OnDemandGenericController
- BaseQueryPipeController
- BaseController
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/StreamingGenericController.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/StreamingGenericController.html
new file mode 100644
index 0000000000000000000000000000000000000000..8bfd6afe6e6fde8feab3247a2a2aaef22f174cbf
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/StreamingGenericController.html
@@ -0,0 +1,692 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OnDemandGenericController(runner: BaseRunner[ActorSystem, OnDemandRunnerInfo, Any], ins: Seq[BasePipeReader[DeviceCtxCtlCase, OnDemandReaderInfo, ActorSystem]], p: OnDemandControllerInfo, ops: Seq[BaseGenericPipeOperator[_, _, DeviceCtxCtlCase, DeviceCtxCtlCase, ActorSystem]]) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + applyPipes: () ⇒ DeviceCtxCtlCase + +
+ +
+
+
+ +- Definition Classes
- BaseQueryPipeController
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + init(): Any + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseController
-
+
+
+
+ + + val + + + ins: Seq[BasePipeReader[DeviceCtxCtlCase, OnDemandReaderInfo, ActorSystem]] + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseQueryPipeController
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + ops: Seq[BaseGenericPipeOperator[_, _, DeviceCtxCtlCase, DeviceCtxCtlCase, ActorSystem]] + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseQueryPipeController
-
+
+
+
+ + + val + + + p: OnDemandControllerInfo + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseQueryPipeController
-
+
+
+
+ + + def + + + progress(): BaseResult + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseQueryPipeController → BaseController
-
+
+
+
+ + + var + + + query: DeviceCtxCtlCase + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- BaseQueryPipeController
-
+
+
+
+ + + val + + + runner: BaseRunner[ActorSystem, OnDemandRunnerInfo, Any] + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseQueryPipeController
-
+
+
+
+ + + def + + + stop(): Any + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericController → BaseQueryPipeController → BaseController
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseQueryPipeController[DeviceCtxCtlCase, DeviceCtxCtlCase, DeviceCtxCtlCase, OnDemandControllerInfo, ActorSystem]
+
+
Inherited from BaseController[DeviceCtxCtlCase, BaseResult]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller
+StreamingGenericController
Related Doc:
+ package controller
+
+
+
+
+
+ + + + class + + + StreamingGenericController extends BasGenericePipeController[DataFrame, DataFrame, StreamingQuery, Message, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Controller that manipulate reader, operator, and writer handles +when engine starts. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- StreamingGenericController
- BasGenericePipeController
- BaseController
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/AbstractGenericOnDemandRestfulControlActor.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/AbstractGenericOnDemandRestfulControlActor.html
new file mode 100644
index 0000000000000000000000000000000000000000..b427abf6e13052d9935fb108fe256f0b255d2a74
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/AbstractGenericOnDemandRestfulControlActor.html
@@ -0,0 +1,918 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + StreamingGenericController(runner: BaseRunner[SparkSession, StreamRunnerInfo, Any], ins: Seq[BasePipeReader[DataFrame, StreamReaderInfo, SparkSession]], outs: Seq[BasePipeWriter[DataFrame, StreamingQuery, StreamWriterInfo, SparkSession]], p: StreamControllerInfo, ops: Seq[BaseGenericPipeOperator[_, _, DataFrame, StreamOperatorInfo, SparkSession]]) + +
+ +
+
+
+ +- runner
Runner object that gets spark session
- ins
A series of reader objects that read data from data source
- p
Message object that has one of messages object containing + attributes related to controlling process pipelining
- ops
a series of BaseGenericPipeOperator objects + that returns pipeline handle to process.
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + init(): Unit + +
+ +
+
+
+ +- Definition Classes
- StreamingGenericController → BaseController
-
+
+
+
+ + + val + + + ins: Seq[BasePipeReader[DataFrame, StreamReaderInfo, SparkSession]] + +
+ +
+
+
+ A series of reader objects that read data from data source
+A series of reader objects that read data from data source
- Definition Classes
- StreamingGenericController → BasGenericePipeController
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + ops: Seq[BaseGenericPipeOperator[_, _, DataFrame, StreamOperatorInfo, SparkSession]] + +
+ +
+
+
+ a series of BaseGenericPipeOperator objects + that returns pipeline handle to process.
+a series of BaseGenericPipeOperator objects + that returns pipeline handle to process.
- Definition Classes
- StreamingGenericController → BasGenericePipeController
-
+
+
+
+ + + val + + + outs: Seq[BasePipeWriter[DataFrame, StreamingQuery, StreamWriterInfo, SparkSession]] + +
+ +
+
+
+ +- Definition Classes
- StreamingGenericController → BasGenericePipeController
-
+
+
+
+ + + val + + + p: StreamControllerInfo + +
+ +
+
+
+ Message object that has one of messages object containing + attributes related to controlling process pipelining
+Message object that has one of messages object containing + attributes related to controlling process pipelining
- Definition Classes
- StreamingGenericController → BasGenericePipeController
-
+
+
+
+ + + def + + + progress(): BaseResult + +
+ +
+
+
+ Pipelines data from readers to writers via operators.
+Pipelines data from readers to writers via operators.
- returns
result
- Definition Classes
- StreamingGenericController → BasGenericePipeController → BaseController
-
+
+
+
+ + + var + + + query: Seq[StreamingQuery] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- BasGenericePipeController
-
+
+
+
+ + + val + + + runner: BaseRunner[SparkSession, StreamRunnerInfo, Any] + +
+ +
+
+
+ Runner object that gets spark session
+Runner object that gets spark session
- Definition Classes
- StreamingGenericController → BasGenericePipeController
-
+
+
+
+ + + def + + + stop(): Any + +
+ +
+
+
+ +- Definition Classes
- StreamingGenericController → BasGenericePipeController → BaseController
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasGenericePipeController[DataFrame, DataFrame, StreamingQuery, Message, SparkSession]
+
+
Inherited from BaseController[DataFrame, BaseResult]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+ 
+
+
+
+
+
+ ksb.csle.component.pipe.controller.actor
+AbstractGenericOnDemandRestfulControlActor
Related Doc:
+ package actor
+
+
+
+
+
+ + + abstract + class + + + AbstractGenericOnDemandRestfulControlActor[T] extends Actor with Logging + +
+ +
+ Linear Supertypes
+
+
+ Known Subclasses
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- AbstractGenericOnDemandRestfulControlActor
- Logging
- Actor
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/CompositeServingActor.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/CompositeServingActor.html
new file mode 100644
index 0000000000000000000000000000000000000000..169b8bed03104045fc830503e9c0004d379308a5
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/CompositeServingActor.html
@@ -0,0 +1,914 @@
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + AbstractGenericOnDemandRestfulControlActor(p: SimpleOnDemandControllerInfo, pipes: List[(BaseRouteContext[T]) ⇒ BaseRouteContext[T]]) + +
+ +
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + type + + + Receive = PartialFunction[Any, Unit] + +
+ +
+
+
+ +- Definition Classes
- Actor
+
+
+ Abstract Value Members
+-
+
+
+
+ + abstract + def + + + doQuery(ctxStr: String): String + +
+ +
+
+
+
+
+
+
+
+
+
+ Concrete Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + actorRefFactory: ActorContext + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + applyPipes(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
-
+
+
+
+ + + def + + + aroundPostRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPostStop(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreStart(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundReceive(receive: akka.actor.Actor.Receive, msg: Any): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + cachedQueryCtx: AtomicReference[String] + +
+ +
+
+
+ +- Attributes
- protected
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + val + + + context: ActorContext + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + postRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + postStop(): Unit + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + def + + + preRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + preStart(): Unit + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + def + + + receive: akka.actor.Actor.Receive + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + val + + + route: Route + +
+ +
+
+
+
+ -
+
+
+
+ + implicit final + val + + + self: ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + sender(): ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + def + + + supervisorStrategy: SupervisorStrategy + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + timeout: Timeout + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + unhandled(message: Any): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Logging
+
+
Inherited from Actor
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.actor
+CompositeServingActor
Related Doc:
+ package actor
+
+
+
+
+
+ + + + class + + + CompositeServingActor[T] extends AbstractGenericOnDemandRestfulControlActor[T] + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- CompositeServingActor
- AbstractGenericOnDemandRestfulControlActor
- Logging
- Actor
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/EnsembleServingActor.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/EnsembleServingActor.html
new file mode 100644
index 0000000000000000000000000000000000000000..8f7b35d5c644cdc5831e3f0363ff78ac9099e027
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/EnsembleServingActor.html
@@ -0,0 +1,914 @@
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + CompositeServingActor(p: SimpleOnDemandControllerInfo, pipes: List[(BaseRouteContext[T]) ⇒ BaseRouteContext[T]]) + +
+ +
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + type + + + Receive = PartialFunction[Any, Unit] + +
+ +
+
+
+ +- Definition Classes
- Actor
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + actorRefFactory: ActorContext + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + applyPipes(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + aroundPostRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPostStop(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreStart(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundReceive(receive: akka.actor.Actor.Receive, msg: Any): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + cachedQueryCtx: AtomicReference[String] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + val + + + context: ActorContext + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + def + + + doQuery(ctxStr: String): String + +
+ +
+
+
+ +- Definition Classes
- CompositeServingActor → AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + postRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + postStop(): Unit + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + def + + + preRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + preStart(): Unit + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + def + + + receive: akka.actor.Actor.Receive + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + val + + + route: Route + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + implicit final + val + + + self: ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + sender(): ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + def + + + supervisorStrategy: SupervisorStrategy + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + timeout: Timeout + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + unhandled(message: Any): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AbstractGenericOnDemandRestfulControlActor[T]
+
+
Inherited from Logging
+
+
Inherited from Actor
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.actor
+EnsembleServingActor
Related Doc:
+ package actor
+
+
+
+
+
+ + + + class + + + EnsembleServingActor[T] extends AbstractGenericOnDemandRestfulControlActor[T] + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- EnsembleServingActor
- AbstractGenericOnDemandRestfulControlActor
- Logging
- Actor
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/KafkaSender$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/KafkaSender$.html
new file mode 100644
index 0000000000000000000000000000000000000000..dc30ed10caee61a38f4335c7a1483cb4cc6ff523
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/KafkaSender$.html
@@ -0,0 +1,501 @@
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + EnsembleServingActor(p: SimpleOnDemandControllerInfo, pipes: List[(BaseRouteContext[T]) ⇒ BaseRouteContext[T]]) + +
+ +
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + type + + + Receive = PartialFunction[Any, Unit] + +
+ +
+
+
+ +- Definition Classes
- Actor
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + actorRefFactory: ActorContext + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + applyPipes(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + aroundPostRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPostStop(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreStart(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundReceive(receive: akka.actor.Actor.Receive, msg: Any): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + cachedQueryCtx: AtomicReference[String] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + val + + + context: ActorContext + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + def + + + doQuery(ctxStr: String): String + +
+ +
+
+
+ +- Definition Classes
- EnsembleServingActor → AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + postRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + postStop(): Unit + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + def + + + preRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + preStart(): Unit + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + def + + + receive: akka.actor.Actor.Receive + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor → Actor
-
+
+
+
+ + + val + + + route: Route + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + implicit final + val + + + self: ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + sender(): ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + def + + + supervisorStrategy: SupervisorStrategy + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + timeout: Timeout + +
+ +
+
+
+ +- Definition Classes
- AbstractGenericOnDemandRestfulControlActor
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + unhandled(message: Any): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AbstractGenericOnDemandRestfulControlActor[T]
+
+
Inherited from Logging
+
+
Inherited from Actor
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.actor
+KafkaSender
+ Related Docs:
+ class KafkaSender
+ | package actor
+
+
+
+
+
+ + + + object + + + KafkaSender + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- KafkaSender
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/KafkaSender.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/KafkaSender.html
new file mode 100644
index 0000000000000000000000000000000000000000..f44ad3134c893329b00c6b9bd29931df5c625cbf
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/KafkaSender.html
@@ -0,0 +1,538 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + apply(topic: String, key: String): KafkaSender + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.actor
+KafkaSender
+ Related Docs:
+ object KafkaSender
+ | package actor
+
+
+
+
+
+ + + final + class + + + KafkaSender extends AnyRef + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- KafkaSender
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/OnDemandGenericControlActor.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/OnDemandGenericControlActor.html
new file mode 100644
index 0000000000000000000000000000000000000000..9bcb97879a0acff9f8d14cade6702b99e7fcab49
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/OnDemandGenericControlActor.html
@@ -0,0 +1,879 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + KafkaSender(topic: String, key: String) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + producer: KafkaProducer[String, String] + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + props: Properties + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.actor
+OnDemandGenericControlActor
Related Doc:
+ package actor
+
+
+
+
+
+ + + + class + + + OnDemandGenericControlActor extends Actor with Logging + +
+ +:: Experimental ::
Actor that receives query and starts to control when it is requested. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OnDemandGenericControlActor
- Logging
- Actor
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..bf1f415fdeedea8692774f1193d20bdae81023aa
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/actor/package.html
@@ -0,0 +1,207 @@
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OnDemandGenericControlActor(pipes: () ⇒ DeviceCtxCtlCase) + +
+ +
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + type + + + Receive = PartialFunction[Any, Unit] + +
+ +
+
+
+ +- Definition Classes
- Actor
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + actorRefFactory: ActorContext + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + aroundPostRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPostStop(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreStart(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundReceive(receive: akka.actor.Actor.Receive, msg: Any): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + val + + + context: ActorContext + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + postRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + postStop(): Unit + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericControlActor → Actor
-
+
+
+
+ + + def + + + preRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + preStart(): Unit + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericControlActor → Actor
-
+
+
+
+ + + def + + + receive: akka.actor.Actor.Receive + +
+ +
+
+
+ +- Definition Classes
- OnDemandGenericControlActor → Actor
-
+
+
+
+ + + val + + + route: Route + +
+ +
+
+
+
+ -
+
+
+
+ + implicit final + val + + + self: ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + sender(): ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + val + + + serviceStartTime: DateTime + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + supervisorStrategy: SupervisorStrategy + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + timeout: Timeout + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + unhandled(message: Any): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Logging
+
+
Inherited from Actor
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ + + + package + + + actor + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..1dc23388f0d7c5d822a310d03ffa93f3d7a3e832
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/package.html
@@ -0,0 +1,211 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + abstract + class + + + AbstractGenericOnDemandRestfulControlActor[T] extends Actor with Logging + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + CompositeServingActor[T] extends AbstractGenericOnDemandRestfulControlActor[T] + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + EnsembleServingActor[T] extends AbstractGenericOnDemandRestfulControlActor[T] + +
+ +
+
+
+
+ -
+
+
+
+ + final + class + + + KafkaSender extends AnyRef + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + OnDemandGenericControlActor extends Actor with Logging + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Actor that receives query and starts to control when it is requested. +
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + + object + + + KafkaSender + +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+ + + + package + + + controller + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/BaseCase.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/BaseCase.html
new file mode 100644
index 0000000000000000000000000000000000000000..0a6f46a0b867a7e454b4238a027ebf2488f415d5
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/BaseCase.html
@@ -0,0 +1,583 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + abstract + class + + + AbstractGenericOnDemandRestfulController[T] extends BaseQueryWoReaderPipeController[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandControllerInfo, ActorSystem] + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + OnDemandCompositeServingRestfulController[T] extends AbstractGenericOnDemandRestfulController[T] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Controller that manipulates restful query operators. +
-
+
+
+
+ + + class + + + OnDemandGenericController extends BaseQueryPipeController[DeviceCtxCtlCase, DeviceCtxCtlCase, DeviceCtxCtlCase, OnDemandControllerInfo, ActorSystem] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Controller that manipulate reader, operator, and writer handles +when it is requested. +
-
+
+
+
+ + + class + + + StreamingGenericController extends BasGenericePipeController[DataFrame, DataFrame, StreamingQuery, Message, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Controller that manipulate reader, operator, and writer handles +when engine starts. +
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+ + + + trait + + + BaseCase extends BaseDoer with BaseParam + +
+ +
+ Linear Supertypes
+
+
+ Known Subclasses
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- BaseCase
- BaseParam
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/BaseCumulativeCase.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/BaseCumulativeCase.html
new file mode 100644
index 0000000000000000000000000000000000000000..5c50eed698885f4ec31b5c1d3285d4563e93d150
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/BaseCumulativeCase.html
@@ -0,0 +1,583 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Abstract Value Members
+ +
+
+
+
+
+
+ Concrete Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseParam
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + trait + + + BaseCumulativeCase extends BaseDoer with BaseParam + +
+ +
+ Linear Supertypes
+
+
+ Known Subclasses
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- BaseCumulativeCase
- BaseParam
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/CumulativeContext.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/CumulativeContext.html
new file mode 100644
index 0000000000000000000000000000000000000000..f2180fdc0e867b8d6d23931950c41043a64fc1ac
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/CumulativeContext.html
@@ -0,0 +1,926 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Abstract Value Members
+ +
+
+
+
+
+
+ Concrete Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseParam
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + class + + + CumulativeContext extends BaseCumulativeContext[EnsembleCase, String, Double] + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- CumulativeContext
- BaseCumulativeContext
- BaseRouteContext
- BaseContext
- BaseParam
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/EnsembleCase.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/EnsembleCase.html
new file mode 100644
index 0000000000000000000000000000000000000000..45c9c3ce15e4e85479f75039e5ea3ce459ee9e33
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/EnsembleCase.html
@@ -0,0 +1,552 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + CumulativeContext(yourCtxStr: String)(implicit ev: JsonReader[EnsembleCase]) + +
+ +
+
+
+
+ -
+
+
+
+ + + new + + + CumulativeContext(myCtxCase: EnsembleCase) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + aggregateAnd(items: Array[Double]): Double + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateAvg(items: Array[Double]): Double + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateData(data: Array[String], method: Method, parser: (String) ⇒ Array[Double])(implicit ev1: ClassTag[String], ev2: ClassTag[Double]): Array[String] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateMax(items: Array[Double]): Double + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateMin(items: Array[Double]): Double + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateOr(items: Array[Double]): Double + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateOutput(method: Method, parser: (String) ⇒ Array[Double]): BaseCumulativeContext[EnsembleCase, String, Double] + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + aggregateSum(items: Array[Double]): Double + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + + def + + + appendOutput(output: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + copy: CumulativeContext + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + getData(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + getInput(): Some[String] + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + getOutput(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + getOutputList(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + getRoute(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + + val + + + myCtxCase: EnsembleCase + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseCumulativeContext → BaseRouteContext
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + setData(data: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + setInput(input: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + setOutput(output: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + setRoute(route: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toCase(jsonStr: String): EnsembleCase + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + toJsonString: String + +
+ +
+
+
+ +- Definition Classes
- CumulativeContext → BaseRouteContext
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseCumulativeContext[EnsembleCase, String, Double]
+
+
Inherited from BaseRouteContext[EnsembleCase]
+
+
Inherited from BaseContext[EnsembleCase]
+
+
Inherited from BaseParam
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + sealed + case class + + + EnsembleCase(data: Option[Array[String]], route: Option[String], input: Option[Array[String]], output: Option[Array[String]]) extends BaseDoer with BaseCumulativeCase with Product with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- EnsembleCase
- Product
- Equals
- BaseCumulativeCase
- BaseParam
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/MyJsonProtocol$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/MyJsonProtocol$.html
new file mode 100644
index 0000000000000000000000000000000000000000..92790c4d2a174d3b0186b53f2528b3974aa46bd2
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/MyJsonProtocol$.html
@@ -0,0 +1,2182 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + EnsembleCase(data: Option[Array[String]], route: Option[String], input: Option[Array[String]], output: Option[Array[String]]) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + var + + + data: Option[Array[String]] + +
+ +
+
+
+ +- Definition Classes
- EnsembleCase → BaseCumulativeCase
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + var + + + input: Option[Array[String]] + +
+ +
+
+
+ +- Definition Classes
- EnsembleCase → BaseCumulativeCase
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + var + + + output: Option[Array[String]] + +
+ +
+
+
+ +- Definition Classes
- EnsembleCase → BaseCumulativeCase
-
+
+
+
+ + + var + + + route: Option[String] + +
+ +
+
+
+ +- Definition Classes
- EnsembleCase → BaseCumulativeCase
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Product
+
+
Inherited from Equals
+
+
Inherited from BaseCumulativeCase
+
+
Inherited from BaseParam
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + object + + + MyJsonProtocol extends DefaultJsonProtocol + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- MyJsonProtocol
- DefaultJsonProtocol
- AdditionalFormats
- ProductFormats
- ProductFormatsInstances
- CollectionFormats
- StandardFormats
- BasicFormats
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/MyRouteJsonProtocol$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/MyRouteJsonProtocol$.html
new file mode 100644
index 0000000000000000000000000000000000000000..7e3955ec8679fde39cc15cfe75e019db8e433db8
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/MyRouteJsonProtocol$.html
@@ -0,0 +1,2182 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + OptionFormat[T] extends (StandardFormats.this)#JF[Option[T]] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + implicit + object + + + BigDecimalJsonFormat extends JsonFormat[BigDecimal] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + BigIntJsonFormat extends JsonFormat[BigInt] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + BooleanJsonFormat extends JsonFormat[Boolean] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + ByteJsonFormat extends JsonFormat[Byte] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + CharJsonFormat extends JsonFormat[Char] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + DoubleJsonFormat extends JsonFormat[Double] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + val + + + EnsembleCaseFormat: RootJsonFormat[EnsembleCase] + +
+ +
+
+
+
+ -
+
+
+
+ + implicit + object + + + FloatJsonFormat extends JsonFormat[Float] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + IntJsonFormat extends JsonFormat[Int] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + JsValueFormat extends JsonFormat[JsValue] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + object + + + LongJsonFormat extends JsonFormat[Long] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + RootJsArrayFormat extends RootJsonFormat[JsArray] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + object + + + RootJsObjectFormat extends RootJsonFormat[JsObject] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + object + + + ShortJsonFormat extends JsonFormat[Short] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + StringJsonFormat extends JsonFormat[String] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + SymbolJsonFormat extends JsonFormat[Symbol] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + UnitJsonFormat extends JsonFormat[Unit] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + def + + + arrayFormat[T](implicit arg0: JsonFormat[T], arg1: ClassManifest[T]): RootJsonFormat[Array[T]] { def write(array: Array[T]): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + def + + + eitherFormat[A, B](implicit arg0: JF[A], arg1: JF[B]): JF[Either[A, B]] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + extractFieldNames(classManifest: ClassManifest[_]): Array[String] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- ProductFormats
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + + def + + + fromField[T](value: JsValue, fieldName: String)(implicit reader: JsonReader[T]): T + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- ProductFormats
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + implicit + def + + + immIndexedSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[IndexedSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immIterableFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Iterable[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immLinearSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[LinearSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Seq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immSetFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Set[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + indexedSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[IndexedSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + implicit + def + + + iterableFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Iterable[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + + def + + + jsonFormat[T](reader: JsonReader[T], writer: JsonWriter[T]): JsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String, fieldName20: String, fieldName21: String, fieldName22: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21], arg21: JF[P22]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String, fieldName20: String, fieldName21: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String, fieldName20: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, T <: Product](construct: (P1, P2, P3, P4, P5, P6) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, T <: Product](construct: (P1, P2, P3, P4, P5) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, T <: Product](construct: (P1, P2, P3, P4) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, T <: Product](construct: (P1, P2, P3) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, T <: Product](construct: (P1, P2) ⇒ T, fieldName1: String, fieldName2: String)(implicit arg0: JF[P1], arg1: JF[P2]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, T <: Product](construct: (P1) ⇒ T, fieldName1: String)(implicit arg0: JF[P1]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat0[T](construct: () ⇒ T): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormats
-
+
+
+
+ + + def + + + jsonFormat1[P1, T <: Product](construct: (P1) ⇒ T)(implicit arg0: JF[P1], arg1: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat10[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat11[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat12[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat13[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat14[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat15[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat16[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat17[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat18[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat19[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat2[P1, P2, T <: Product](construct: (P1, P2) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat20[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat21[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21], arg21: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat22[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21], arg21: JF[P22], arg22: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat3[P1, P2, P3, T <: Product](construct: (P1, P2, P3) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat4[P1, P2, P3, P4, T <: Product](construct: (P1, P2, P3, P4) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat5[P1, P2, P3, P4, P5, T <: Product](construct: (P1, P2, P3, P4, P5) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat6[P1, P2, P3, P4, P5, P6, T <: Product](construct: (P1, P2, P3, P4, P5, P6) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat7[P1, P2, P3, P4, P5, P6, P7, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat8[P1, P2, P3, P4, P5, P6, P7, P8, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat9[P1, P2, P3, P4, P5, P6, P7, P8, P9, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + lazyFormat[T](format: ⇒ JsonFormat[T]): JsonFormat[T] { lazy val delegate: spray.json.JsonFormat[T] } + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T <: AnyRef](reader: RootJsonReader[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T <: AnyRef](reader: JsonReader[T]): JsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T](writer: RootJsonWriter[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T](writer: JsonWriter[T]): JsonFormat[T] { def read(value: spray.json.JsValue): Nothing } + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + def + + + linearSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[LinearSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + listFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[List[T]] { def write(list: List[T]): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + mapFormat[K, V](implicit arg0: JsonFormat[K], arg1: JsonFormat[V]): RootJsonFormat[Map[K, V]] { def write(m: Map[K,V]): spray.json.JsObject } + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + def + + + optionFormat[T](implicit arg0: JF[T]): JF[Option[T]] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + + def + + + productElement2Field[T](fieldName: String, p: Product, ix: Int, rest: List[JsField])(implicit writer: JsonWriter[T]): List[JsField] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- ProductFormats
-
+
+
+
+ + + def + + + rootFormat[T](format: JsonFormat[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + rootJsonFormat[T](reader: RootJsonReader[T], writer: RootJsonWriter[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + safeReader[A](implicit arg0: JsonReader[A]): JsonReader[Either[Exception, A]] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + def + + + seqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Seq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + setFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Set[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + implicit + def + + + tuple1Format[A](implicit arg0: JF[A]): JF[(A)] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple2Format[A, B](implicit arg0: JF[A], arg1: JF[B]): RootJsonFormat[(A, B)] { def write(t: (A, B)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple3Format[A, B, C](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C]): RootJsonFormat[(A, B, C)] { def write(t: (A, B, C)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple4Format[A, B, C, D](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D]): RootJsonFormat[(A, B, C, D)] { def write(t: (A, B, C, D)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple5Format[A, B, C, D, E](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D], arg4: JF[E]): RootJsonFormat[(A, B, C, D, E)] { def write(t: (A, B, C, D, E)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple6Format[A, B, C, D, E, F](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D], arg4: JF[E], arg5: JF[F]): RootJsonFormat[(A, B, C, D, E, F)] { def write(t: (A, B, C, D, E, F)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple7Format[A, B, C, D, E, F, G](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D], arg4: JF[E], arg5: JF[F], arg6: JF[G]): RootJsonFormat[(A, B, C, D, E, F, G)] { def write(t: (A, B, C, D, E, F, G)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + vectorFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Vector[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + + def + + + viaSeq[I <: Iterable[T], T](f: (Seq[T]) ⇒ I)(implicit arg0: JsonFormat[T]): RootJsonFormat[I] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from DefaultJsonProtocol
+
+
Inherited from AdditionalFormats
+
+
Inherited from ProductFormats
+
+
Inherited from ProductFormatsInstances
+
+
Inherited from CollectionFormats
+
+
Inherited from StandardFormats
+
+
Inherited from BasicFormats
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.vo
+MyRouteJsonProtocol
Related Doc:
+ package vo
+
+
+
+
+
+ + + + object + + + MyRouteJsonProtocol extends DefaultJsonProtocol + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- MyRouteJsonProtocol
- DefaultJsonProtocol
- AdditionalFormats
- ProductFormats
- ProductFormatsInstances
- CollectionFormats
- StandardFormats
- BasicFormats
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteContext$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteContext$.html
new file mode 100644
index 0000000000000000000000000000000000000000..a1b2683fd194d017d9f68f37961965e0e8efd261
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteContext$.html
@@ -0,0 +1,505 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + OptionFormat[T] extends (StandardFormats.this)#JF[Option[T]] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + implicit + object + + + BigDecimalJsonFormat extends JsonFormat[BigDecimal] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + BigIntJsonFormat extends JsonFormat[BigInt] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + BooleanJsonFormat extends JsonFormat[Boolean] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + ByteJsonFormat extends JsonFormat[Byte] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + CharJsonFormat extends JsonFormat[Char] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + DoubleJsonFormat extends JsonFormat[Double] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + FloatJsonFormat extends JsonFormat[Float] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + IntJsonFormat extends JsonFormat[Int] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + JsValueFormat extends JsonFormat[JsValue] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + object + + + LongJsonFormat extends JsonFormat[Long] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + RootJsArrayFormat extends RootJsonFormat[JsArray] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + object + + + RootJsObjectFormat extends RootJsonFormat[JsObject] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + val + + + RouteCtxCaseFormat: RootJsonFormat[RouteCtxCase] + +
+ +
+
+
+
+ -
+
+
+
+ + implicit + object + + + ShortJsonFormat extends JsonFormat[Short] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + StringJsonFormat extends JsonFormat[String] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + SymbolJsonFormat extends JsonFormat[Symbol] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + object + + + UnitJsonFormat extends JsonFormat[Unit] + +
+ +
+
+
+ +- Definition Classes
- BasicFormats
-
+
+
+
+ + implicit + def + + + arrayFormat[T](implicit arg0: JsonFormat[T], arg1: ClassManifest[T]): RootJsonFormat[Array[T]] { def write(array: Array[T]): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + def + + + eitherFormat[A, B](implicit arg0: JF[A], arg1: JF[B]): JF[Either[A, B]] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + extractFieldNames(classManifest: ClassManifest[_]): Array[String] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- ProductFormats
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + + def + + + fromField[T](value: JsValue, fieldName: String)(implicit reader: JsonReader[T]): T + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- ProductFormats
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + implicit + def + + + immIndexedSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[IndexedSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immIterableFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Iterable[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immLinearSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[LinearSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Seq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + immSetFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Set[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + indexedSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[IndexedSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + implicit + def + + + iterableFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Iterable[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + + def + + + jsonFormat[T](reader: JsonReader[T], writer: JsonWriter[T]): JsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String, fieldName20: String, fieldName21: String, fieldName22: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21], arg21: JF[P22]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String, fieldName20: String, fieldName21: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String, fieldName20: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String, fieldName19: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String, fieldName18: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String, fieldName17: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String, fieldName16: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String, fieldName15: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String, fieldName14: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String, fieldName13: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String, fieldName12: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String, fieldName11: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String, fieldName10: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, P9, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String, fieldName9: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, P8, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String, fieldName8: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, P7, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String, fieldName7: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, P6, T <: Product](construct: (P1, P2, P3, P4, P5, P6) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String, fieldName6: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, P5, T <: Product](construct: (P1, P2, P3, P4, P5) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String, fieldName5: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, P4, T <: Product](construct: (P1, P2, P3, P4) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String, fieldName4: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, P3, T <: Product](construct: (P1, P2, P3) ⇒ T, fieldName1: String, fieldName2: String, fieldName3: String)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, P2, T <: Product](construct: (P1, P2) ⇒ T, fieldName1: String, fieldName2: String)(implicit arg0: JF[P1], arg1: JF[P2]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat[P1, T <: Product](construct: (P1) ⇒ T, fieldName1: String)(implicit arg0: JF[P1]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat0[T](construct: () ⇒ T): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormats
-
+
+
+
+ + + def + + + jsonFormat1[P1, T <: Product](construct: (P1) ⇒ T)(implicit arg0: JF[P1], arg1: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat10[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat11[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat12[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat13[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat14[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat15[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat16[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat17[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat18[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat19[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat2[P1, P2, T <: Product](construct: (P1, P2) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat20[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat21[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21], arg21: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat22[P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9, P10, P11, P12, P13, P14, P15, P16, P17, P18, P19, P20, P21, P22) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: JF[P10], arg10: JF[P11], arg11: JF[P12], arg12: JF[P13], arg13: JF[P14], arg14: JF[P15], arg15: JF[P16], arg16: JF[P17], arg17: JF[P18], arg18: JF[P19], arg19: JF[P20], arg20: JF[P21], arg21: JF[P22], arg22: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat3[P1, P2, P3, T <: Product](construct: (P1, P2, P3) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat4[P1, P2, P3, P4, T <: Product](construct: (P1, P2, P3, P4) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat5[P1, P2, P3, P4, P5, T <: Product](construct: (P1, P2, P3, P4, P5) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat6[P1, P2, P3, P4, P5, P6, T <: Product](construct: (P1, P2, P3, P4, P5, P6) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat7[P1, P2, P3, P4, P5, P6, P7, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat8[P1, P2, P3, P4, P5, P6, P7, P8, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + jsonFormat9[P1, P2, P3, P4, P5, P6, P7, P8, P9, T <: Product](construct: (P1, P2, P3, P4, P5, P6, P7, P8, P9) ⇒ T)(implicit arg0: JF[P1], arg1: JF[P2], arg2: JF[P3], arg3: JF[P4], arg4: JF[P5], arg5: JF[P6], arg6: JF[P7], arg7: JF[P8], arg8: JF[P9], arg9: ClassManifest[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- ProductFormatsInstances
-
+
+
+
+ + + def + + + lazyFormat[T](format: ⇒ JsonFormat[T]): JsonFormat[T] { lazy val delegate: spray.json.JsonFormat[T] } + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T <: AnyRef](reader: RootJsonReader[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T <: AnyRef](reader: JsonReader[T]): JsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T](writer: RootJsonWriter[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + lift[T](writer: JsonWriter[T]): JsonFormat[T] { def read(value: spray.json.JsValue): Nothing } + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + def + + + linearSeqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[LinearSeq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + listFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[List[T]] { def write(list: List[T]): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + mapFormat[K, V](implicit arg0: JsonFormat[K], arg1: JsonFormat[V]): RootJsonFormat[Map[K, V]] { def write(m: Map[K,V]): spray.json.JsObject } + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + def + + + optionFormat[T](implicit arg0: JF[T]): JF[Option[T]] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + + def + + + productElement2Field[T](fieldName: String, p: Product, ix: Int, rest: List[JsField])(implicit writer: JsonWriter[T]): List[JsField] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- ProductFormats
-
+
+
+
+ + + def + + + rootFormat[T](format: JsonFormat[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + rootJsonFormat[T](reader: RootJsonReader[T], writer: RootJsonWriter[T]): RootJsonFormat[T] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + + def + + + safeReader[A](implicit arg0: JsonReader[A]): JsonReader[Either[Exception, A]] + +
+ +
+
+
+ +- Definition Classes
- AdditionalFormats
-
+
+
+
+ + implicit + def + + + seqFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Seq[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + implicit + def + + + setFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Set[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + implicit + def + + + tuple1Format[A](implicit arg0: JF[A]): JF[(A)] + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple2Format[A, B](implicit arg0: JF[A], arg1: JF[B]): RootJsonFormat[(A, B)] { def write(t: (A, B)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple3Format[A, B, C](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C]): RootJsonFormat[(A, B, C)] { def write(t: (A, B, C)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple4Format[A, B, C, D](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D]): RootJsonFormat[(A, B, C, D)] { def write(t: (A, B, C, D)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple5Format[A, B, C, D, E](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D], arg4: JF[E]): RootJsonFormat[(A, B, C, D, E)] { def write(t: (A, B, C, D, E)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple6Format[A, B, C, D, E, F](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D], arg4: JF[E], arg5: JF[F]): RootJsonFormat[(A, B, C, D, E, F)] { def write(t: (A, B, C, D, E, F)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + tuple7Format[A, B, C, D, E, F, G](implicit arg0: JF[A], arg1: JF[B], arg2: JF[C], arg3: JF[D], arg4: JF[E], arg5: JF[F], arg6: JF[G]): RootJsonFormat[(A, B, C, D, E, F, G)] { def write(t: (A, B, C, D, E, F, G)): spray.json.JsArray } + +
+ +
+
+
+ +- Definition Classes
- StandardFormats
-
+
+
+
+ + implicit + def + + + vectorFormat[T](implicit arg0: JsonFormat[T]): RootJsonFormat[Vector[T]] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + + def + + + viaSeq[I <: Iterable[T], T](f: (Seq[T]) ⇒ I)(implicit arg0: JsonFormat[T]): RootJsonFormat[I] + +
+ +
+
+
+ +- Definition Classes
- CollectionFormats
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from DefaultJsonProtocol
+
+
Inherited from AdditionalFormats
+
+
Inherited from ProductFormats
+
+
Inherited from ProductFormatsInstances
+
+
Inherited from CollectionFormats
+
+
Inherited from StandardFormats
+
+
Inherited from BasicFormats
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.vo
+RouteContext
+ Related Docs:
+ class RouteContext
+ | package vo
+
+
+
+
+
+ + + + object + + + RouteContext extends Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RouteContext
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteContext.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteContext.html
new file mode 100644
index 0000000000000000000000000000000000000000..094416eee65d5a59517807d338c62a4a1ab90ecc
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteContext.html
@@ -0,0 +1,773 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toCase(jsonStr: String)(implicit ev: JsonReader[RouteCtxCase]): RouteCtxCase + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.controller.vo
+RouteContext
+ Related Docs:
+ object RouteContext
+ | package vo
+
+
+
+
+
+ + + + class + + + RouteContext extends BaseRouteContext[RouteCtxCase] + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RouteContext
- BaseRouteContext
- BaseContext
- BaseParam
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteCtxCase.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteCtxCase.html
new file mode 100644
index 0000000000000000000000000000000000000000..01e2fb9c00a97431a51db5f4b2332aa687bc4d98
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/RouteCtxCase.html
@@ -0,0 +1,552 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + RouteContext(yourCtxStr: String)(implicit ev: JsonReader[RouteCtxCase]) + +
+ +
+
+
+
+ -
+
+
+
+ + + new + + + RouteContext(myCtxCase: RouteCtxCase) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + copy: RouteContext + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + getData(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + getInput(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + getOutput(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + getOutputList(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- BaseRouteContext
-
+
+
+
+ + + def + + + getRoute(): Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + + val + + + myCtxCase: RouteCtxCase + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + setData(data: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + setInput(input: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + setOutput(output: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + setRoute(route: Option[String]): Unit + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toCase(yourCtxStr: String): RouteCtxCase + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + toJsonString: String + +
+ +
+
+
+ +- Definition Classes
- RouteContext → BaseRouteContext
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseRouteContext[RouteCtxCase]
+
+
Inherited from BaseContext[RouteCtxCase]
+
+
Inherited from BaseParam
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + case class + + + RouteCtxCase(data: Option[String], route: Option[String], input: Option[String], output: Option[String]) extends BaseDoer with BaseCase with Product with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RouteCtxCase
- Product
- Equals
- BaseCase
- BaseParam
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..c88b243b9aa9c42b8ec1a2b19b65f97bc44655fc
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/controller/vo/package.html
@@ -0,0 +1,257 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + RouteCtxCase(data: Option[String], route: Option[String], input: Option[String], output: Option[String]) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + var + + + data: Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteCtxCase → BaseCase
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + var + + + input: Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteCtxCase → BaseCase
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + var + + + output: Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteCtxCase → BaseCase
-
+
+
+
+ + + var + + + route: Option[String] + +
+ +
+
+
+ +- Definition Classes
- RouteCtxCase → BaseCase
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Product
+
+
Inherited from Equals
+
+
Inherited from BaseCase
+
+
Inherited from BaseParam
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + vo + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..43310197f554391712b59aa54d30ab3272b24610
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/package.html
@@ -0,0 +1,169 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + trait + + + BaseCase extends BaseDoer with BaseParam + +
+ +
+
+
+
+ -
+
+
+
+ + + trait + + + BaseCumulativeCase extends BaseDoer with BaseParam + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + CumulativeContext extends BaseCumulativeContext[EnsembleCase, String, Double] + +
+ +
+
+
+
+ -
+
+
+
+ + sealed + case class + + + EnsembleCase(data: Option[Array[String]], route: Option[String], input: Option[Array[String]], output: Option[Array[String]]) extends BaseDoer with BaseCumulativeCase with Product with Serializable + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + RouteContext extends BaseRouteContext[RouteCtxCase] + +
+ +
+
+
+
+ -
+
+
+
+ + + case class + + + RouteCtxCase(data: Option[String], route: Option[String], input: Option[String], output: Option[String]) extends BaseDoer with BaseCase with Product with Serializable + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + + object + + + MyJsonProtocol extends DefaultJsonProtocol + +
+ +
+
+
+
+ -
+
+
+
+ + + object + + + MyRouteJsonProtocol extends DefaultJsonProtocol + +
+ +
+
+
+
+ -
+
+
+
+ + + object + + + RouteContext extends Serializable + +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+ 
+ + + + package + + + pipe + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/GenericRestfulContextQueryPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/GenericRestfulContextQueryPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..8f5e8bf83e8649f5420e82abeffb20bdf5ca779e
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/GenericRestfulContextQueryPipeOperator.html
@@ -0,0 +1,675 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.query.operator
+GenericRestfulContextQueryPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + GenericRestfulContextQueryPipeOperator[T] extends BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem] with Logging + +
+ +:: Experimental ::
Operator that queries to rest server when it is requested +
+ Linear Supertypes
+
+
+ Known Subclasses
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- GenericRestfulContextQueryPipeOperator
- BaseContextQueryPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputAggregatePipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputAggregatePipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..b460dca033fc3a1c0a126e8574cb5a22dc50c70e
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputAggregatePipeOperator.html
@@ -0,0 +1,621 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + GenericRestfulContextQueryPipeOperator(p: OnDemandPipeOperatorInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + info: RestfulQueryPipeOperatorInfo + +
+ +
+
+
+ +- Attributes
- protected
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(c: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): (BaseRouteContext[T]) ⇒ BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- BaseContextQueryPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(url: String, body: String): Future[WSResponse] + +
+ +
+
+
+ +- Attributes
- protected
-
+
+
+
+ + + def + + + queryUrl(url: String, ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem]
+
+
Inherited from BaseSimplePipeOperator[BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeOperatorInfo, (BaseRouteContext[T]) ⇒ BaseRouteContext[T], (BaseRouteContext[T]) ⇒ BaseRouteContext[T]]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.query.operator
+OutputAggregatePipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + OutputAggregatePipeOperator[T] extends BaseContextQueryPipeOperator[BaseCumulativeContext[T, String, Double], ActorSystem] + +
+ +Operator that queries to rest server when it is requested +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OutputAggregatePipeOperator
- BaseContextQueryPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputCumulativePipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputCumulativePipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..715529df3fe4d5877d4adabee413ba685db4bbac
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputCumulativePipeOperator.html
@@ -0,0 +1,674 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OutputAggregatePipeOperator(p: OnDemandPipeOperatorInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(c: (BaseCumulativeContext[T, String, Double]) ⇒ BaseCumulativeContext[T, String, Double]): (BaseCumulativeContext[T, String, Double]) ⇒ BaseCumulativeContext[T, String, Double] + +
+ +
+
+
+ +- Definition Classes
- BaseContextQueryPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- OutputAggregatePipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(ctx: BaseCumulativeContext[T, String, Double]): BaseCumulativeContext[T, String, Double] + +
+ +
+
+
+ +- Definition Classes
- OutputAggregatePipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- OutputAggregatePipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseContextQueryPipeOperator[BaseCumulativeContext[T, String, Double], ActorSystem]
+
+
Inherited from BaseSimplePipeOperator[BaseCumulativeContext[T, String, Double], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[(BaseCumulativeContext[T, String, Double]) ⇒ BaseCumulativeContext[T, String, Double], BaseCumulativeContext[T, String, Double], BaseCumulativeContext[T, String, Double], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeOperatorInfo, (BaseCumulativeContext[T, String, Double]) ⇒ BaseCumulativeContext[T, String, Double], (BaseCumulativeContext[T, String, Double]) ⇒ BaseCumulativeContext[T, String, Double]]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.query.operator
+OutputCumulativePipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + OutputCumulativePipeOperator[T] extends GenericRestfulContextQueryPipeOperator[T] + +
+ +Operator that queries to rest server when it is requested +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OutputCumulativePipeOperator
- GenericRestfulContextQueryPipeOperator
- BaseContextQueryPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputRestfulContextQueryPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputRestfulContextQueryPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..e684c7d08acb3cb59db54b9827782c46df683844
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/OutputRestfulContextQueryPipeOperator.html
@@ -0,0 +1,674 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OutputCumulativePipeOperator(p: OnDemandPipeOperatorInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + info: RestfulQueryPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- OutputCumulativePipeOperator → GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(c: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): (BaseRouteContext[T]) ⇒ BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- BaseContextQueryPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- OutputCumulativePipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(ctx: BaseRouteContext[T]): BaseCumulativeContext[T, String, Double] + +
+ +
+
+
+ +- Definition Classes
- OutputCumulativePipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(url: String, body: String): Future[WSResponse] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + + def + + + queryUrl(url: String, ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- OutputCumulativePipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from GenericRestfulContextQueryPipeOperator[T]
+
+
Inherited from BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem]
+
+
Inherited from BaseSimplePipeOperator[BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeOperatorInfo, (BaseRouteContext[T]) ⇒ BaseRouteContext[T], (BaseRouteContext[T]) ⇒ BaseRouteContext[T]]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.query.operator
+OutputRestfulContextQueryPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + OutputRestfulContextQueryPipeOperator[T] extends GenericRestfulContextQueryPipeOperator[T] + +
+ +Operator that queries to rest server when it is requested +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OutputRestfulContextQueryPipeOperator
- GenericRestfulContextQueryPipeOperator
- BaseContextQueryPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/RouteMappingPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/RouteMappingPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..2f2198adb4b30fe2e8fba495a030f91524c0928f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/RouteMappingPipeOperator.html
@@ -0,0 +1,621 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OutputRestfulContextQueryPipeOperator(p: OnDemandPipeOperatorInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + info: RestfulQueryPipeOperatorInfo + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(c: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): (BaseRouteContext[T]) ⇒ BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- BaseContextQueryPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- OutputRestfulContextQueryPipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- OutputRestfulContextQueryPipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(url: String, body: String): Future[WSResponse] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + + def + + + queryUrl(url: String, ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- OutputRestfulContextQueryPipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from GenericRestfulContextQueryPipeOperator[T]
+
+
Inherited from BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem]
+
+
Inherited from BaseSimplePipeOperator[BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeOperatorInfo, (BaseRouteContext[T]) ⇒ BaseRouteContext[T], (BaseRouteContext[T]) ⇒ BaseRouteContext[T]]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.query.operator
+RouteMappingPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + RouteMappingPipeOperator[T] extends BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem] + +
+ +Operator that queries to rest server when it is requested +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RouteMappingPipeOperator
- BaseContextQueryPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/RouteRestfulContextQueryPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/RouteRestfulContextQueryPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..ec7e682f71ca41b1031b611b75d678dc46db2885
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/RouteRestfulContextQueryPipeOperator.html
@@ -0,0 +1,674 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + RouteMappingPipeOperator(p: OnDemandPipeOperatorInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(c: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): (BaseRouteContext[T]) ⇒ BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- BaseContextQueryPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- RouteMappingPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- RouteMappingPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- RouteMappingPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem]
+
+
Inherited from BaseSimplePipeOperator[BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeOperatorInfo, (BaseRouteContext[T]) ⇒ BaseRouteContext[T], (BaseRouteContext[T]) ⇒ BaseRouteContext[T]]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.query.operator
+RouteRestfulContextQueryPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + RouteRestfulContextQueryPipeOperator[T] extends GenericRestfulContextQueryPipeOperator[T] + +
+ +Operator that queries to rest server when it is requested +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RouteRestfulContextQueryPipeOperator
- GenericRestfulContextQueryPipeOperator
- BaseContextQueryPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..cf5135ad0a75a0b25b39e085bfd8d7654e68919d
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/operator/package.html
@@ -0,0 +1,235 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + RouteRestfulContextQueryPipeOperator(p: OnDemandPipeOperatorInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + info: RestfulQueryPipeOperatorInfo + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(c: (BaseRouteContext[T]) ⇒ BaseRouteContext[T]): (BaseRouteContext[T]) ⇒ BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- BaseContextQueryPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeOperatorInfo + +
+ +
+
+
+ +- Definition Classes
- RouteRestfulContextQueryPipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Definition Classes
- RouteRestfulContextQueryPipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + query(url: String, body: String): Future[WSResponse] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + + def + + + queryUrl(url: String, ctx: BaseRouteContext[T]): BaseRouteContext[T] + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- GenericRestfulContextQueryPipeOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- GenericRestfulContextQueryPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- RouteRestfulContextQueryPipeOperator → GenericRestfulContextQueryPipeOperator → BaseContextQueryPipeOperator
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from GenericRestfulContextQueryPipeOperator[T]
+
+
Inherited from BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem]
+
+
Inherited from BaseSimplePipeOperator[BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[(BaseRouteContext[T]) ⇒ BaseRouteContext[T], BaseRouteContext[T], BaseRouteContext[T], OnDemandPipeOperatorInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeOperatorInfo, (BaseRouteContext[T]) ⇒ BaseRouteContext[T], (BaseRouteContext[T]) ⇒ BaseRouteContext[T]]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + operator + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- operator
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..b5c342059e991df57e563bc04e5695d26403010c
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/package.html
@@ -0,0 +1,135 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + GenericRestfulContextQueryPipeOperator[T] extends BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem] with Logging + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Operator that queries to rest server when it is requested +
-
+
+
+
+ + + class + + + OutputAggregatePipeOperator[T] extends BaseContextQueryPipeOperator[BaseCumulativeContext[T, String, Double], ActorSystem] + +
+ +
+
+
+ Operator that queries to rest server when it is requested +
+ -
+
+
+
+ + + class + + + OutputCumulativePipeOperator[T] extends GenericRestfulContextQueryPipeOperator[T] + +
+ +
+
+
+ Operator that queries to rest server when it is requested +
+ -
+
+
+
+ + + class + + + OutputRestfulContextQueryPipeOperator[T] extends GenericRestfulContextQueryPipeOperator[T] + +
+ +
+
+
+ Operator that queries to rest server when it is requested +
+ -
+
+
+
+ + + class + + + RouteMappingPipeOperator[T] extends BaseContextQueryPipeOperator[BaseRouteContext[T], ActorSystem] + +
+ +
+
+
+ Operator that queries to rest server when it is requested +
+ -
+
+
+
+ + + class + + + RouteRestfulContextQueryPipeOperator[T] extends GenericRestfulContextQueryPipeOperator[T] + +
+ +
+
+
+ Operator that queries to rest server when it is requested +
+
+
+
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + query + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/MyDLParser.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/MyDLParser.html
new file mode 100644
index 0000000000000000000000000000000000000000..df6bce3c30d72db87b5016c011e8052f1d913985
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/MyDLParser.html
@@ -0,0 +1,521 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ ++ + + class + + + MyDLParser extends BaseParser[String, String] + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- MyDLParser
- BaseParser
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/MyMLParser.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/MyMLParser.html
new file mode 100644
index 0000000000000000000000000000000000000000..fd2839070aee04f79d8d6c9b17036e4c4602384d
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/MyMLParser.html
@@ -0,0 +1,521 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + MyDLParser() + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + parse(item: String): String + +
+ +
+
+
+ +- Definition Classes
- MyDLParser → BaseParser
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseParser[String, String]
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + class + + + MyMLParser extends BaseParser[String, String] + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- MyMLParser
- BaseParser
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..2f5d865f907ff28a5ed99dbb4a2b995b4aca6f3f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/query/parser/package.html
@@ -0,0 +1,161 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + MyMLParser() + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + parse(item: String): String + +
+ +
+
+
+ +- Definition Classes
- MyMLParser → BaseParser
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseParser[String, String]
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + parser + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- parser
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/BindServing.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/BindServing.html
new file mode 100644
index 0000000000000000000000000000000000000000..ce6615adb6a46cd1a79faeb981b58b480c411fe5
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/BindServing.html
@@ -0,0 +1,459 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + MyDLParser extends BaseParser[String, String] + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + MyMLParser extends BaseParser[String, String] + +
+ +
+
+
+
+
+
+
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + sealed + case class + + + BindServing() extends Product with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- BindServing
- Serializable
- Serializable
- Product
- Equals
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ReloadServing.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ReloadServing.html
new file mode 100644
index 0000000000000000000000000000000000000000..c5ff04364d190647abdb44bbe612fc7c239db39e
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ReloadServing.html
@@ -0,0 +1,459 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + BindServing() + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from Product
+
+
Inherited from Equals
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + sealed + case class + + + ReloadServing() extends Product with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- ReloadServing
- Serializable
- Serializable
- Product
- Equals
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingMaster.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingMaster.html
new file mode 100644
index 0000000000000000000000000000000000000000..9648088342ebbca58c99eae66a251900ee80eb90
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingMaster.html
@@ -0,0 +1,976 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + ReloadServing() + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from Product
+
+
Inherited from Equals
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + class + + + ServingMaster extends Actor with Logging + +
+ +Master Actor for Serving +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- ServingMaster
- Logging
- Actor
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingPipeRunner$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingPipeRunner$.html
new file mode 100644
index 0000000000000000000000000000000000000000..ab9b8bbafeb586bb2d2ff5ef75b5a9bbdd926057
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingPipeRunner$.html
@@ -0,0 +1,524 @@
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + ServingMaster(runnerInfo: WebserviceRunnerInfo, actor: ActorRef) + +
+ +
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + type + + + Receive = PartialFunction[Any, Unit] + +
+ +
+
+
+ +- Definition Classes
- Actor
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + aroundPostRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPostStop(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundPreStart(): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + + def + + + aroundReceive(receive: akka.actor.Actor.Receive, msg: Any): Unit + +
+ +
+
+
+ +- Attributes
- protected[akka]
- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + implicit + val + + + context: ActorContext + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + var + + + currentServingActor: Option[ActorRef] + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + ip: String + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + port: Int + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + postRestart(reason: Throwable): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + postStop(): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + preRestart(reason: Throwable, message: Option[Any]): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + def + + + preStart(): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
- Annotations
- + @throws( + + classOf[java.lang.Exception] + ) + +
-
+
+
+
+ + + val + + + protocol: String + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + receive: akka.actor.Actor.Receive + +
+ +
+
+
+ +- Definition Classes
- ServingMaster → Actor
-
+
+
+
+ + + var + + + retry: Int + +
+ +
+
+
+
+ -
+
+
+
+ + implicit final + val + + + self: ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + sender(): ActorRef + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + + val + + + serverUrl: String + +
+ +
+
+
+
+ -
+
+
+
+ + + var + + + sprayHttpListener: Option[ActorRef] + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + ssl: Boolean + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + supervisorStrategy: SupervisorStrategy + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + timeout: Timeout + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + unhandled(message: Any): Unit + +
+ +
+
+
+ +- Definition Classes
- Actor
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Logging
+
+
Inherited from Actor
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.runner
+ServingPipeRunner
+ Related Docs:
+ class ServingPipeRunner
+ | package runner
+
+
+
+
+
+ + + + object + + + ServingPipeRunner extends Logging with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- ServingPipeRunner
- Serializable
- Serializable
- Logging
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingPipeRunner.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingPipeRunner.html
new file mode 100644
index 0000000000000000000000000000000000000000..edf5a1ca027a185cfb0fb618bfb61ba547d17bc9
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/ServingPipeRunner.html
@@ -0,0 +1,617 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + apply(serviceInfo: OnDemandRunnerInfo): BaseRunner[ActorSystem, OnDemandRunnerInfo, BaseResult] + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from Logging
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+ 
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.runner
+ServingPipeRunner
+ Related Docs:
+ object ServingPipeRunner
+ | package runner
+
+
+
+
+
+ + + final + class + + + ServingPipeRunner extends BaseRunner[ActorSystem, OnDemandRunnerInfo, BaseResult] + +
+ +:: Experimental ::
Runner that serves pipelined query when client requests through restful interface +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- ServingPipeRunner
- BaseRunner
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/StartServing.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/StartServing.html
new file mode 100644
index 0000000000000000000000000000000000000000..a299b993f2558b24a709c7577750cffbf0e4ae82
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/StartServing.html
@@ -0,0 +1,459 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + ServingPipeRunner(o: OnDemandRunnerInfo) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + getSession: ActorSystem + +
+ +
+
+
+ +- Definition Classes
- ServingPipeRunner → BaseRunner
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + init(actor: Any): BaseResult + +
+ +
+
+
+ +- Definition Classes
- ServingPipeRunner → BaseRunner
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + run(actor: Any): BaseResult + +
+ +
+
+
+ +- Definition Classes
- ServingPipeRunner → BaseRunner
-
+
+
+
+ + + var + + + servingMaster: ActorRef + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- ServingPipeRunner → BaseRunner
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseRunner[ActorSystem, OnDemandRunnerInfo, BaseResult]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + sealed + case class + + + StartServing() extends Product with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- StartServing
- Serializable
- Serializable
- Product
- Equals
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/StopServing.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/StopServing.html
new file mode 100644
index 0000000000000000000000000000000000000000..b75dfbb3a4da89111f74290d645573c5e2930d5d
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/StopServing.html
@@ -0,0 +1,459 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + StartServing() + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from Product
+
+
Inherited from Equals
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + sealed + case class + + + StopServing() extends Product with Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- StopServing
- Serializable
- Serializable
- Product
- Equals
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..99a48a9b8658e0cbde1b5ad387b54c0aa5e674a4
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/runner/package.html
@@ -0,0 +1,225 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + StopServing() + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from Product
+
+
Inherited from Equals
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + runner + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/FilterOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/FilterOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..f8fe76a880c5ea74d6d399f589745fb69b1fb423
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/FilterOperator.html
@@ -0,0 +1,608 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + sealed + case class + + + BindServing() extends Product with Serializable + +
+ +
+
+
+
+ -
+
+
+
+ + sealed + case class + + + ReloadServing() extends Product with Serializable + +
+ +
+
+
+
+ -
+
+
+
+ + + class + + + ServingMaster extends Actor with Logging + +
+ +
+
+
+ Master Actor for Serving +
+ -
+
+
+
+ + final + class + + + ServingPipeRunner extends BaseRunner[ActorSystem, OnDemandRunnerInfo, BaseResult] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Runner that serves pipelined query when client requests through restful interface +
-
+
+
+
+ + sealed + case class + + + StartServing() extends Product with Serializable + +
+ +
+
+
+
+ -
+
+
+
+ + sealed + case class + + + StopServing() extends Product with Serializable + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + + object + + + ServingPipeRunner extends Logging with Serializable + +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+FilterOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + FilterOperator extends BaseSimplePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that selects which rows in a given column of input dataframe should +be kept and which rows should be removed. Rows satisfying the given condition +are kept, remaining rows are removed. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- FilterOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/GroupByOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/GroupByOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..ce8d39daa36a9aca96f466a93c8a001d05c298d0
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/GroupByOperator.html
@@ -0,0 +1,597 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + FilterOperator(o: StreamPipeOperatorInfo, s: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.StreamOperatorProto.FilterInfo + FilterInfo contains attributes as follows:
- columnName: Column name to be filtered in the given input dataframe + (required)
- condition: Condition to select rows. Enum(EQUAL,LESS_THAN, + LARGE_THAN,LESS_EQUAL,LARGE_EQUAL,EXIST,LIKE) (required)
- value: Base value to compare with the value of row (optional)
- pattern: String pattern to compare with the string value of row + (optional)
FilterPipeInfo
message FilterInfo { +required string colName = 4; +required Condition condition = 5 [default = EQUAL]; +optional int32 value = 6; +optional string pattern = 7; +enum Condition { + EQUAL = 0; + LESS_THAN = 1; + LARGE_THAN = 2; + LESS_EQUAL = 3; + LARGE_EQUAL = 4; + EXIST = 5; + LIKE = 6; +} +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: (DataFrame) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+ Operates filtering function for data cleaning +
+Operates filtering function for data cleaning +
- df
Input dataframe
- returns
DataFrame Output dataframe
- Definition Classes
- FilterOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: FilterPipeInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseSimplePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[(DataFrame) ⇒ DataFrame, DataFrame, DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, (DataFrame) ⇒ DataFrame, (DataFrame) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+GroupByOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + GroupByOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that pipelines dataframe by aggregating records +according to a given group condition. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- GroupByOperator
- BasePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/OrderByOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/OrderByOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..c3799d247176fed272904f79db864d32d0dfd9c2
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/OrderByOperator.html
@@ -0,0 +1,582 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + GroupByOperator(o: StreamPipeOperatorInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.StreamOperatorProto.GroupbyPipeInfo + GroupbyPipeInfo contains attributes as follows:
- timeColName: Column name containing time information + (optional)
- keyColName: A list of column names to be used as group by keys + (required)
- valColName: A list of column name to be used as a value columns + (required)
- groupby: Method for aggregation. (required)
- window: Window information including key, time window length, + and sliding interval.
GroupbyPipeInfo
message GroupbyPipeInfo { + optional string timeColName = 3; + repeated string keyColName = 4; + repeated string valColName = 5; + enum GroupbyOp { + SUM = 0; + COUNT = 1; + AVG = 2; + MIN = 3; + MAX = 4; + } + required GroupbyOp groupby = 6; + optional Window window = 7; +}Window
message Window { + required string key = 1; + required string windowLength = 2; + required string slidingInterval = 3; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: (Any) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+ Operates groupby function for data integration +
+Operates groupby function for data integration +
- df
Input dataframe
- returns
DataFrame Output dataframe
- Definition Classes
- GroupByOperator → BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[(Any) ⇒ DataFrame, DataFrame, DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, (Any) ⇒ DataFrame, (DataFrame) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+OrderByOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + OrderByOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that performs to order by a specific column using a given condition. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- OrderByOperator
- BasePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/RenameColumns$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/RenameColumns$.html
new file mode 100644
index 0000000000000000000000000000000000000000..8aa1a2370ab914d023721e7b478669830bb2361f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/RenameColumns$.html
@@ -0,0 +1,499 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + OrderByOperator(o: StreamPipeOperatorInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.StreamPipeControlProto.OrderbyPipeInfo + OrderbyPipeInfo contains attributes as follows:
- keyColName: Column which should be used for sorting (required)
- method: Direction of sorting (ascending, descending). Enum(ASC, + DESC) (required)
OrderbyPipeInfo
message OrderbyPipeInfo { +required string keyColName = 1; +required Method method = 2 [default = ASC]; +enum Method { + ASC = 0; + DESC = 1; +} +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: (Any) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+ Operates OrderByColumn.
+Operates OrderByColumn. +
- df
Input dataframe
- returns
DataFrame Output dataframe
- Definition Classes
- OrderByOperator → BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[(Any) ⇒ DataFrame, DataFrame, DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, (Any) ⇒ DataFrame, (DataFrame) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+RenameColumns
Related Doc:
+ package operator
+
+
+
+
+
+ + + + object + + + RenameColumns + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RenameColumns
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/RenameColumnsPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/RenameColumnsPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..f8d78f1afe4f850a4c594bcb5d906437b2507ae0
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/RenameColumnsPipeOperator.html
@@ -0,0 +1,615 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + apply(o: StreamPipeOperatorInfo, s: SparkSession): RenameColumnsPipeOperator + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+RenameColumnsPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + RenameColumnsPipeOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that changes the column names to be selected. +In addition, changes the column type to be selected. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- RenameColumnsPipeOperator
- BasePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SelectColumns$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SelectColumns$.html
new file mode 100644
index 0000000000000000000000000000000000000000..85896b434cb3174d4e6d0feb2a2c889ff3043a1c
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SelectColumns$.html
@@ -0,0 +1,499 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + RenameColumnsPipeOperator(o: StreamPipeOperatorInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.StreamPipeControlProto.RenameColumnsPipeInfo + RenameColumnsPipeInfo contains attributes as follows:
- selectedColumn: Column information to be selected (repeated)
RenameColumnsPipeInfo
message RenameColumnsPipeInfo { +repeated SelectedColumnInfo selectedColumn = 1; +}SelectedColumnInfo
message SelectedColumnInfo { + required int32 selectedColIndex = 1; + required string newColName = 2; + optional FieldType newFieldType = 3 [default = STRING]; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: (Any) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+ Changes specific column name and type.
+Changes specific column name and type. +
- df
Input function pipe
- returns
output data pipe
- Definition Classes
- RenameColumnsPipeOperator → BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: RenameColumnsPipeInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + selectedCols: Array[(Int, String, String)] + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[(Any) ⇒ DataFrame, DataFrame, DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, (Any) ⇒ DataFrame, (DataFrame) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+SelectColumns
Related Doc:
+ package operator
+
+
+
+
+
+ + + + object + + + SelectColumns + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- SelectColumns
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SelectColumnsPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SelectColumnsPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..9ca977d25129306033a29778d25210353286e5e2
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SelectColumnsPipeOperator.html
@@ -0,0 +1,648 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + apply(o: StreamPipeOperatorInfo, s: SparkSession): SelectColumnsPipeOperator + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+SelectColumnsPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + SelectColumnsPipeOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that selects the columns that user wants to choose. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- SelectColumnsPipeOperator
- BasePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SparkMLPredictPipeOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SparkMLPredictPipeOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..f68b58904b61468c678ed818c530e14b66ee8489
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/SparkMLPredictPipeOperator.html
@@ -0,0 +1,645 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + SelectColumnsPipeOperator(o: StreamPipeOperatorInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.StreamOperatorProto.SelectColumnsPipeInfo + SelectColumnsPipeInfo contains attributes as follows:
- col: Column ids to be selected (repeated)
- colName: Column names to be selected (repeated)
- isRename: set "true" if you want to change the column names + to be selected (optional)
- newName: Column names to be changed (repeated)
SelectColumnsInfo
message SelectColumnsPipeInfo { +repeated int32 col = 1; +repeated string colName = 2; +optional bool isRename = 3 [default = false]; +repeated string newName = 4; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + isRename: Boolean + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + newCols: ProtocolStringList + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: (Any) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+ Selects specific columns.
+Selects specific columns. +
- df
Input function pipe
- returns
output data pipe
- Definition Classes
- SelectColumnsPipeOperator → BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: SelectColumnsPipeInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + selectedCols: Array[String] + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[(Any) ⇒ DataFrame, DataFrame, DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, (Any) ⇒ DataFrame, (DataFrame) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+SparkMLPredictPipeOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + SparkMLPredictPipeOperator extends BaseSimplePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that performs predition with ML model in the given dataframe. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- SparkMLPredictPipeOperator
- BaseSimplePipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamAllJoinOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamAllJoinOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..b7be5b71588de321a8ce422f00081adbbcb25107
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamAllJoinOperator.html
@@ -0,0 +1,593 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + SparkMLPredictPipeOperator(o: StreamPipeOperatorInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.StreamOperatorProto.SparkMLStreamPredictOperatorInfo + SparkMLStreamPredictOperatorInfo contains attributes as follows:
- clsNameForModel: Class name for loading ml model. + "org.apache.spark.ml.PipelineModel" is highly recommended.(required)
- modelPath: Path for ml model. + The path should contain metadata and stage directory + in the path (required).
SparkMLStreamPredictOperatorInfo
message SparkMLStreamPredictOperatorInfo { +required string clsNameForModel = 1; +required string modelPath = 2; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + loadModel(modelPath: String): PipelineModel + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + + val + + + model: PipelineModel + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: (DataFrame) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+ Execute prediction with ML model.
+Execute prediction with ML model. +
- df
Input function pipe
- returns
output data pipe
- Definition Classes
- SparkMLPredictPipeOperator → BaseSimplePipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: EnergyMLStreamPredictPipeOperatorInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + predict(df: (DataFrame) ⇒ DataFrame): (DataFrame) ⇒ DataFrame + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseSimplePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[(DataFrame) ⇒ DataFrame, DataFrame, DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, (DataFrame) ⇒ DataFrame, (DataFrame) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+StreamAllJoinOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + StreamAllJoinOperator[T] extends BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that full joins multiple dataframes by key. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- StreamAllJoinOperator
- BaseJoinPipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamJoinOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamJoinOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..9039f5486e6b853cd94eaa632475d2ccbb7a797f
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamJoinOperator.html
@@ -0,0 +1,621 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + StreamAllJoinOperator(o: StreamPipeOperatorInfo, s: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + AllJoinPipeInfo + AllJoinPipeInfo contains attributes as follows:
- key: key to join
SelectColumnsInfo
message AllJoinPipeInfo { + required string key = 1; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: Seq[(Any) ⇒ DataFrame]): (Seq[DataFrame]) ⇒ DataFrame + +
+ +
+
+
+ Joins all columns in multiple dataframe by key.
+Joins all columns in multiple dataframe by key. +
- df
Input function pipe
- returns
output function pipe
- Definition Classes
- StreamAllJoinOperator → BaseJoinPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: AllJoinPipeInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseJoinPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[Seq[(Any) ⇒ DataFrame], Seq[DataFrame], DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, Seq[(Any) ⇒ DataFrame], (Seq[DataFrame]) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+StreamJoinOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + StreamJoinOperator[T] extends BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that joins selected join columns by key with multiple dataframes +and groups joined records by group-by key. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- StreamJoinOperator
- BaseJoinPipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamTimeJoinOperator.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamTimeJoinOperator.html
new file mode 100644
index 0000000000000000000000000000000000000000..65b5fcdae033f87dc87fcd08d17ee0fff109e540
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/StreamTimeJoinOperator.html
@@ -0,0 +1,702 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + StreamJoinOperator(o: StreamPipeOperatorInfo, s: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + JoinPipeInfo + JoinPipeInfo contains attributes as follows:
- key: join key (required)
- joinColumns: columns to join (required)
- joinType: Type of join (optional)
- GroupbyPipeInfo contains attributes as follows:
- timeColName: Column name containing time information (optional)
- keyColName: A list of column names to be used as group by keys + (required)
- valColName: A list of column name to be used as a value columns + (required)
- groupby: Method for aggregation. (required)
- window: Window information including key, time window length, + and sliding interval.
JoinPipeInfo
message JoinPipeInfo { +required string key = 1; +repeated string joinColumns = 2; +optional JoinType joinType = 3 [default = INNER]; +optional GroupbyPipeInfo groupBy = 7; +}JoinType
enum JoinType { +INNER = 0; +LEFT_OUTER = 1; +RIGHT_OUTER = 2; +}GroupbyPipeInfo
message GroupbyPipeInfo { + optional string timeColName = 3; + repeated string keyColName = 4; + repeated string valColName = 5; + enum GroupbyOp { + SUM = 0; + COUNT = 1; + AVG = 2; + MIN = 3; + MAX = 4; + } + required GroupbyOp groupby = 6; + optional Window window = 7; +}Window
message Window { +required string key = 1; +required string windowLength = 2; +required string slidingInterval = 3; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: Seq[(Any) ⇒ DataFrame]): (Seq[DataFrame]) ⇒ DataFrame + +
+ +
+
+
+ Joins multiple dataframe by key.
+Joins multiple dataframe by key. +
- df
Input function pipe
- returns
output function pipe
- Definition Classes
- StreamJoinOperator → BaseJoinPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: JoinPipeInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseJoinPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[Seq[(Any) ⇒ DataFrame], Seq[DataFrame], DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, Seq[(Any) ⇒ DataFrame], (Seq[DataFrame]) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.operator
+StreamTimeJoinOperator
Related Doc:
+ package operator
+
+
+
+
+
+ + + + class + + + StreamTimeJoinOperator[T] extends BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that joins columns in multiple dataframes by key within time slot. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- StreamTimeJoinOperator
- BaseJoinPipeOperator
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..0afe28c9d697e8ca2302ec67b4e78e8f37e355f1
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/operator/package.html
@@ -0,0 +1,305 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + StreamTimeJoinOperator(o: StreamPipeOperatorInfo, s: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + JoinWithTimeInfo + JoinWithTimeInfo contains attributes as follows:
- timeColName: Column name containing time information (required)
- keyColName: A list of column names to be used as group by keys + (required)
- timeInterval: size of time slot in seconds or minutes. (required)
- joinType: Type of join (optional)
JoinWithTimeInfo
message JoinWithTimeInfo { + optional string timeColName = 3; + repeated string keyColName = 4; +required string timeInterval = 3 [default = "1 minutes"]; +optional JoinType joinType = 4 [default = INNER]; +}JoinType
enum JoinType { +INNER = 0; +LEFT_OUTER = 1; +RIGHT_OUTER = 2; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + val + + + command: String + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + df2_keyCol: String + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + df2_timeCol: String + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + df_keyCol: String + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + df_timeCol: String + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + joinOp: String + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + operate(df: Seq[(Any) ⇒ DataFrame]): (Seq[DataFrame]) ⇒ DataFrame + +
+ +
+
+
+ +- Definition Classes
- StreamTimeJoinOperator → BaseJoinPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: JoinWithTimeInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BaseJoinPipeOperator → BaseGenericPipeOperator → BaseGenericMutantOperator
- Annotations
- + @DeveloperApi() + +
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[Seq[(Any) ⇒ DataFrame], Seq[DataFrame], DataFrame, StreamPipeOperatorInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeOperatorInfo, Seq[(Any) ⇒ DataFrame], (Seq[DataFrame]) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + operator + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..78b26b13a3a7822a90267128a0e0e9d32274568c
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/package.html
@@ -0,0 +1,152 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + FilterOperator extends BaseSimplePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that selects which rows in a given column of input dataframe should +be kept and which rows should be removed. Rows satisfying the given condition +are kept, remaining rows are removed. +
-
+
+
+
+ + + class + + + GroupByOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that pipelines dataframe by aggregating records +according to a given group condition. +
-
+
+
+
+ + + class + + + OrderByOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that performs to order by a specific column using a given condition. +
-
+
+
+
+ + + class + + + RenameColumnsPipeOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that changes the column names to be selected. +In addition, changes the column type to be selected. +
-
+
+
+
+ + + class + + + SelectColumnsPipeOperator extends BasePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that selects the columns that user wants to choose. +
-
+
+
+
+ + + class + + + SparkMLPredictPipeOperator extends BaseSimplePipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that performs predition with ML model in the given dataframe. +
-
+
+
+
+ + + class + + + StreamAllJoinOperator[T] extends BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that full joins multiple dataframes by key. +
-
+
+
+
+ + + class + + + StreamJoinOperator[T] extends BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that joins selected join columns by key with multiple dataframes +and groups joined records by group-by key. +
-
+
+
+
+ + + class + + + StreamTimeJoinOperator[T] extends BaseJoinPipeOperator[DataFrame, StreamPipeOperatorInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that joins columns in multiple dataframes by key within time slot. +
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + + object + + + RenameColumns + +
+ +
+
+
+
+ -
+
+
+
+ + + object + + + SelectColumns + +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + stream + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/FilePipeReader.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/FilePipeReader.html
new file mode 100644
index 0000000000000000000000000000000000000000..be78cc3e6dca5acb3464f9deb9aac08ce92db4ba
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/FilePipeReader.html
@@ -0,0 +1,765 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ ++ + + class + + + FilePipeReader extends BasePipeReader[DataFrame, StreamPipeReaderInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Operator that reads dataframe from file source. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- FilePipeReader
- BasePipeReader
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaContextQueryPipeReader$.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaContextQueryPipeReader$.html
new file mode 100644
index 0000000000000000000000000000000000000000..e10e90e41390d3551e702e01e2510ed897348b3c
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaContextQueryPipeReader$.html
@@ -0,0 +1,522 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + FilePipeReader(o: StreamPipeReaderInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + FilePipeReaderInfo + FilePipeReaderInfo contains attributes as follows:
- filePath: List of data file path (required)
- fileType: File type (optional)
- maxFilesPerTrigger: The maximum number of new files + to be considered in every trigger.
- timeColName: Column name containing time information (required)
- watermark: Time slot in seconds or minutest + The event time column and the threshold on + how late the data is expected to be + in terms of event time.
- field: Field information (repeated)
- delimiter: delimiter, default value is ',' (optional)
- header: existance of header (optional)
FilePipeReaderInfo
message FilePipeReaderInfo { + required string filePath = 1; + required FileType fileType = 2 [default = JSON]; + optional int32 maxFilesPerTrigger = 3; + optional string timeColName = 5 [default = "timestamp"]; + optional string watermark = 6 [default = "1 seconds"]; + repeated FieldInfo field = 7; + optional string delimiter = 8 [default = ","]; + optional bool header = 9 [default = false]; + enum FileType { + CSV = 0; + JSON = 1; + PARQUET = 2; + TEXT = 3; + } +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- FilePipeReader → BasePipeReader
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + fileType: String + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + + val + + + maxFiles: Int + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeReaderInfo + +
+ +
+
+
+ Object that contains message + FilePipeReaderInfo + FilePipeReaderInfo contains attributes as follows:
+Object that contains message + FilePipeReaderInfo + FilePipeReaderInfo contains attributes as follows:
- filePath: List of data file path (required)
- fileType: File type (optional)
- maxFilesPerTrigger: The maximum number of new files + to be considered in every trigger.
- timeColName: Column name containing time information (required)
- watermark: Time slot in seconds or minutest + The event time column and the threshold on + how late the data is expected to be + in terms of event time.
- field: Field information (repeated)
- delimiter: delimiter, default value is ',' (optional)
- header: existance of header (optional)
FilePipeReaderInfo
message FilePipeReaderInfo { + required string filePath = 1; + required FileType fileType = 2 [default = JSON]; + optional int32 maxFilesPerTrigger = 3; + optional string timeColName = 5 [default = "timestamp"]; + optional string watermark = 6 [default = "1 seconds"]; + repeated FieldInfo field = 7; + optional string delimiter = 8 [default = ","]; + optional bool header = 9 [default = false]; + enum FileType { + CSV = 0; + JSON = 1; + PARQUET = 2; + TEXT = 3; + } +} -
+
+
+
+ + final + def + + + operate(in: Int): (Int) ⇒ DataFrame + +
+ +
+
+
+ +- Definition Classes
- BasePipeReader → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: FilePipeReaderInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + read(): DataFrame + +
+ +
+
+
+ +- Definition Classes
- FilePipeReader → BasePipeReader
-
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeReader → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + streamReader: DataStreamReader + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + userSchema: StructType + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeReader[DataFrame, StreamPipeReaderInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[Int, Int, DataFrame, StreamPipeReaderInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeReaderInfo, Int, (Int) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.reader
+KafkaContextQueryPipeReader
+ Related Docs:
+ class KafkaContextQueryPipeReader
+ | package reader
+
+
+
+
+
+ + + + object + + + KafkaContextQueryPipeReader extends Serializable + +
+ +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- KafkaContextQueryPipeReader
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaContextQueryPipeReader.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaContextQueryPipeReader.html
new file mode 100644
index 0000000000000000000000000000000000000000..d227f2c98dec8b79a7469648026ffc75b6cda114
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaContextQueryPipeReader.html
@@ -0,0 +1,638 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + apply[P](p: OnDemandPipeReaderInfo, system: ActorSystem): KafkaContextQueryPipeReader + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + createConsumerConfig(p: KafkaContextQueryReaderInfo): Properties + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.reader
+KafkaContextQueryPipeReader
+ Related Docs:
+ object KafkaContextQueryPipeReader
+ | package reader
+
+
+
+
+
+ + + final + class + + + KafkaContextQueryPipeReader extends BasePipeReader[DeviceCtxCtlCase, OnDemandPipeReaderInfo, ActorSystem] + +
+ +:: Experimental ::
Reader that queries to kafka in on-demand way. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- KafkaContextQueryPipeReader
- BasePipeReader
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaPipeReader.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaPipeReader.html
new file mode 100644
index 0000000000000000000000000000000000000000..98f356174cb569bc1bde988fed092224987c2aab
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/KafkaPipeReader.html
@@ -0,0 +1,771 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + KafkaContextQueryPipeReader(p: OnDemandPipeReaderInfo, system: ActorSystem) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- KafkaContextQueryPipeReader → BasePipeReader
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + operate(in: Int): (Int) ⇒ DeviceCtxCtlCase + +
+ +
+
+
+ +- Definition Classes
- BasePipeReader → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: OnDemandPipeReaderInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + read(): DeviceCtxCtlCase + +
+ +
+
+
+ +- Definition Classes
- KafkaContextQueryPipeReader → BasePipeReader
-
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeReader → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + implicit + val + + + system: ActorSystem + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeReader[DeviceCtxCtlCase, OnDemandPipeReaderInfo, ActorSystem]
+
+
Inherited from BaseGenericPipeOperator[Int, Int, DeviceCtxCtlCase, OnDemandPipeReaderInfo, ActorSystem]
+
+
Inherited from BaseGenericMutantOperator[OnDemandPipeReaderInfo, Int, (Int) ⇒ DeviceCtxCtlCase]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.reader
+KafkaPipeReader
Related Doc:
+ package reader
+
+
+
+
+
+ + + + class + + + KafkaPipeReader extends BasePipeReader[DataFrame, StreamPipeReaderInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Reader that reads data from kafka and pipelines it to the next. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- KafkaPipeReader
- BasePipeReader
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..c7d95ba0430f57bfc38bccae6f46a937be89f794
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/reader/package.html
@@ -0,0 +1,175 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + KafkaPipeReader(o: StreamPipeReaderInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.DatasourceProto.KafkaPipeReaderInfo + KafkaPipeReaderInfo contains attributes as follows:
- bootStrapServers: Address of Kafka server (required)
- zooKeeperConnect: Address of Kafka Zookeeper (required)
- topic: Topic where fetch data (required)
- addTimestamp: Flag for adding timestamp column automatically
- timestampName: Column name for timestamp field
- watermark: Time slot in seconds or minutest + The event time column and the threshold on + how late the data is expected to be + in terms of event time.
- sampleJsonPath: Json file path containing sample dataset. + The system gets hint for the record format from it.
- failOnDataLoss: Determines whether or not a streaming query + should fail if it's possible data has been lost + (e.g., topics are deleted, offsets are out of range). + It is important to monitor your streaming queries, + especially with temporal infrastructure like Kafka. + Offsets typically go out of range + when Kafka's log cleaner activates. + If a specific streaming query can not process + data quickly enough it may fall behind + the earliest offsets after the log cleaner rolls + a log segment + Sometimes failOnDataLoss may be a false alarm. + You can disable it if it is not working + as expected based on your use case. + Refer to followed site for more information. + https://github.com/vertica/PSTL/wiki/Kafka-Source
KafkaPipeReaderInfo
message KafkaPipeReaderInfo { + required string bootStrapServers = 1; + required string zooKeeperConnect = 2; + required string topic = 3; + // FIXME: Avoid the case that the addTimestamp is 'true' with no setting of timestampName" + required bool addTimestamp = 4 [default = true]; + optional string timestampName = 5; + optional string watermark = 6; + optional string sampleJsonPath = 7; + required bool failOnDataLoss = 8 [default = false]; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- KafkaPipeReader → BasePipeReader
-
+
+
+
+ + + val + + + df: DataStreamReader + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeReaderInfo + +
+ +
+
+
+ Object that contains message + ksb.csle.common.proto.DatasourceProto.KafkaPipeReaderInfo + KafkaPipeReaderInfo contains attributes as follows:
+Object that contains message + ksb.csle.common.proto.DatasourceProto.KafkaPipeReaderInfo + KafkaPipeReaderInfo contains attributes as follows:
- bootStrapServers: Address of Kafka server (required)
- zooKeeperConnect: Address of Kafka Zookeeper (required)
- topic: Topic where fetch data (required)
- addTimestamp: Flag for adding timestamp column automatically
- timestampName: Column name for timestamp field
- watermark: Time slot in seconds or minutest + The event time column and the threshold on + how late the data is expected to be + in terms of event time.
- sampleJsonPath: Json file path containing sample dataset. + The system gets hint for the record format from it.
- failOnDataLoss: Determines whether or not a streaming query + should fail if it's possible data has been lost + (e.g., topics are deleted, offsets are out of range). + It is important to monitor your streaming queries, + especially with temporal infrastructure like Kafka. + Offsets typically go out of range + when Kafka's log cleaner activates. + If a specific streaming query can not process + data quickly enough it may fall behind + the earliest offsets after the log cleaner rolls + a log segment + Sometimes failOnDataLoss may be a false alarm. + You can disable it if it is not working + as expected based on your use case. + Refer to followed site for more information. + https://github.com/vertica/PSTL/wiki/Kafka-Source
KafkaPipeReaderInfo
message KafkaPipeReaderInfo { + required string bootStrapServers = 1; + required string zooKeeperConnect = 2; + required string topic = 3; + // FIXME: Avoid the case that the addTimestamp is 'true' with no setting of timestampName" + required bool addTimestamp = 4 [default = true]; + optional string timestampName = 5; + optional string watermark = 6; + optional string sampleJsonPath = 7; + required bool failOnDataLoss = 8 [default = false]; +} -
+
+
+
+ + final + def + + + operate(in: Int): (Int) ⇒ DataFrame + +
+ +
+
+
+ +- Definition Classes
- BasePipeReader → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: KafkaPipeReaderInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + read(): DataFrame + +
+ +
+
+
+ Reads data from kafka topic +TODO: Define and use parameters to set watermark and timestamp column.
+Reads data from kafka topic +TODO: Define and use parameters to set watermark and timestamp column. +
- returns
dataframe
- Definition Classes
- KafkaPipeReader → BasePipeReader
-
+
+
+
+ + + val + + + schema: StructType + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeReader → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + val + + + topic: String + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
+
+
+
+
Inherited from BasePipeReader[DataFrame, StreamPipeReaderInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[Int, Int, DataFrame, StreamPipeReaderInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeReaderInfo, Int, (Int) ⇒ DataFrame]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + reader + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/ConsolePipeWriter.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/ConsolePipeWriter.html
new file mode 100644
index 0000000000000000000000000000000000000000..ce73d0cb9e7ac2649cee284cf569ddeacf9bdeab
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/ConsolePipeWriter.html
@@ -0,0 +1,667 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + FilePipeReader extends BasePipeReader[DataFrame, StreamPipeReaderInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Operator that reads dataframe from file source. +
-
+
+
+
+ + final + class + + + KafkaContextQueryPipeReader extends BasePipeReader[DeviceCtxCtlCase, OnDemandPipeReaderInfo, ActorSystem] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Reader that queries to kafka in on-demand way. +
-
+
+
+
+ + + class + + + KafkaPipeReader extends BasePipeReader[DataFrame, StreamPipeReaderInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Reader that reads data from kafka and pipelines it to the next. +
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + + object + + + KafkaContextQueryPipeReader extends Serializable + +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.writer
+ConsolePipeWriter
Related Doc:
+ package writer
+
+
+
+
+
+ + + + class + + + ConsolePipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +:: Experimental ::
Writer that saves DataFrame to a file. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- ConsolePipeWriter
- BasePipeWriter
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/FilePipeWriter.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/FilePipeWriter.html
new file mode 100644
index 0000000000000000000000000000000000000000..c96650b125cc5ed7c32a915b33b07b63c23f47a4
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/FilePipeWriter.html
@@ -0,0 +1,678 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + ConsolePipeWriter(o: StreamPipeWriterInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.DatasourceProto.ConsolePipeWriterInfo + ConsolePipeWriterInfo contains followed attributes:
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
ConsolePipeWriterInfo
message ConsolePipeWriterInfo { + required string mode = 1 [default="append"]; + required string trigger = 2; + }
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- ConsolePipeWriter → BasePipeWriter
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeWriterInfo + +
+ +
+
+
+ Object that contains message + ksb.csle.common.proto.DatasourceProto.ConsolePipeWriterInfo + ConsolePipeWriterInfo contains followed attributes:
+Object that contains message + ksb.csle.common.proto.DatasourceProto.ConsolePipeWriterInfo + ConsolePipeWriterInfo contains followed attributes:
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
ConsolePipeWriterInfo
message ConsolePipeWriterInfo { + required string mode = 1 [default="append"]; + required string trigger = 2; + } -
+
+
+
+ + final + def + + + operate(df: DataFrame): (DataFrame) ⇒ StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: ConsolePipeWriterInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + write(df: DataFrame): StreamingQuery + +
+ +
+
+
+ Writes dataframe to file +
+Writes dataframe to file +
- df
Dataframe to write
- returns
handle StreamingQuery
- Definition Classes
- ConsolePipeWriter → BasePipeWriter
+
+
+
+
Inherited from BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[DataFrame, DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeWriterInfo, DataFrame, (DataFrame) ⇒ StreamingQuery]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + class + + + FilePipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Writer that saves DataFrame to a file. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- FilePipeWriter
- BasePipeWriter
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/HBasePipeWriter.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/HBasePipeWriter.html
new file mode 100644
index 0000000000000000000000000000000000000000..3516b9b96d8a9b7064632d4dee99002a780ff804
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/HBasePipeWriter.html
@@ -0,0 +1,653 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + FilePipeWriter(o: StreamPipeWriterInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.DatasourceProto.FilePipeWriterInfo + FilePipeWriterInfo contains followed attributes:
- fileInfo: FileInfo contains attributes as follows:
- filePath: File path where writes records (required)
- fileType: File type (optional)
- delimiter: Delimiter of each field (optional)
- field: Schema of input record (optional)
- header: True if has a header line (optional)
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
- chechpointLocation: checkpoint file path
FilePipeWriterInfo
message FilePipeWriterInfo { + required FileInfo fileInfo = 1; + optional string mode = 2 [default="append"]; + optional string trigger = 3; + required string checkpointLocation = 4 [default="/checkpoint/file"]; +}FileInfo
message FileInfo { + repeated string filePath = 1; + optional FileType fileType = 2 [default = JSON]; + optional string delimiter = 3 [default = ","]; + repeated FieldInfo field = 4; + optional bool header = 5 [default = false]; + enum FileType { + CSV = 0; + JSON = 1; + PARQUET = 2; + TEXT = 3; + } +}- fileInfo: FileInfo contains attributes as follows:
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- FilePipeWriter → BasePipeWriter
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeWriterInfo + +
+ +
+
+
+ Object that contains message + ksb.csle.common.proto.DatasourceProto.FilePipeWriterInfo + FilePipeWriterInfo contains followed attributes:
+Object that contains message + ksb.csle.common.proto.DatasourceProto.FilePipeWriterInfo + FilePipeWriterInfo contains followed attributes:
- fileInfo: FileInfo contains attributes as follows:
- filePath: File path where writes records (required)
- fileType: File type (optional)
- delimiter: Delimiter of each field (optional)
- field: Schema of input record (optional)
- header: True if has a header line (optional)
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
- chechpointLocation: checkpoint file path
FilePipeWriterInfo
message FilePipeWriterInfo { + required FileInfo fileInfo = 1; + optional string mode = 2 [default="append"]; + optional string trigger = 3; + required string checkpointLocation = 4 [default="/checkpoint/file"]; +}FileInfo
message FileInfo { + repeated string filePath = 1; + optional FileType fileType = 2 [default = JSON]; + optional string delimiter = 3 [default = ","]; + repeated FieldInfo field = 4; + optional bool header = 5 [default = false]; + enum FileType { + CSV = 0; + JSON = 1; + PARQUET = 2; + TEXT = 3; + } +} - fileInfo: FileInfo contains attributes as follows:
-
+
+
+
+ + final + def + + + operate(df: DataFrame): (DataFrame) ⇒ StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + write(df: DataFrame): StreamingQuery + +
+ +
+
+
+ Writes dataframe to file +
+Writes dataframe to file +
- df
Dataframe to write
- returns
handle StreamingQuery
- Definition Classes
- FilePipeWriter → BasePipeWriter
+
+
+
+
Inherited from BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[DataFrame, DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeWriterInfo, DataFrame, (DataFrame) ⇒ StreamingQuery]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.writer
+HBasePipeWriter
Related Doc:
+ package writer
+
+
+
+
+
+ + + + class + + + HBasePipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +:: Experimental ::
Writer that writes streaming data to HBase. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- HBasePipeWriter
- BasePipeWriter
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/KafkaPipeWriter.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/KafkaPipeWriter.html
new file mode 100644
index 0000000000000000000000000000000000000000..fee4cdcda1637f93a4ed0906ab8457a550d9de54
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/KafkaPipeWriter.html
@@ -0,0 +1,705 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + HBasePipeWriter(o: StreamPipeWriterInfo, session: SparkSession) + +
+ +
+
+
+
+
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- HBasePipeWriter → BasePipeWriter
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeWriterInfo + +
+ +
+
+
+
+ -
+
+
+
+ + final + def + + + operate(df: DataFrame): (DataFrame) ⇒ StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: HBasePipeWriterInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + write(df: DataFrame): StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- HBasePipeWriter → BasePipeWriter
+
+
+
+
Inherited from BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[DataFrame, DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeWriterInfo, DataFrame, (DataFrame) ⇒ StreamingQuery]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.writer
+KafkaPipeWriter
Related Doc:
+ package writer
+
+
+
+
+
+ + + + class + + + KafkaPipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +:: ApplicationDeveloperApi ::
Writer that writes datafrom to kafka. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- KafkaPipeWriter
- BasePipeWriter
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/MemoryPipeWriter.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/MemoryPipeWriter.html
new file mode 100644
index 0000000000000000000000000000000000000000..43d6bb5a2ac20bbcd54975248669b272a1038bbc
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/MemoryPipeWriter.html
@@ -0,0 +1,669 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + KafkaPipeWriter(o: StreamPipeWriterInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.DatasourceProto.KafkaPipeWriterInfo + KafkaPipeWriterInfo contains attributes as follows:
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
- bootStrapServers: Address of Kafka server (required)
- zooKeeperConnect: Address of Kafka Zookeeper (required)
- topic: Topic where fetch data (required)
- chechpointLocation: checkpoint file path
- failOnDataLoss: Determines whether or not a streaming query + should fail if it's possible data has been lost + (e.g., topics are deleted, offsets are out of range). + It is important to monitor your streaming queries, + especially with temporal infrastructure like Kafka. + Offsets typically go out of range + when Kafka's log cleaner activates. + If a specific streaming query can not process + data quickly enough it may fall behind + the earliest offsets after the log cleaner rolls + a log segment + Sometimes failOnDataLoss may be a false alarm. + You can disable it if it is not working + as expected based on your use case. + Refer to followed site for more information. + https://github.com/vertica/PSTL/wiki/Kafka-Source
KafkaPipeWriterInfo
message KafkaPipeReaderInfo { + required string mode = 1 [default="append"]; + optional string trigger = 2; + required string bootStrapServers = 3; + required string zooKeeperConnect = 4; + required string topic = 5; + required chechpointLocation: checkpoint file path + required bool failOnDataLoss = 7 [default = false]; +}
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- KafkaPipeWriter → BasePipeWriter
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeWriterInfo + +
+ +
+
+
+ Object that contains message + ksb.csle.common.proto.DatasourceProto.KafkaPipeWriterInfo + KafkaPipeWriterInfo contains attributes as follows:
+Object that contains message + ksb.csle.common.proto.DatasourceProto.KafkaPipeWriterInfo + KafkaPipeWriterInfo contains attributes as follows:
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
- bootStrapServers: Address of Kafka server (required)
- zooKeeperConnect: Address of Kafka Zookeeper (required)
- topic: Topic where fetch data (required)
- chechpointLocation: checkpoint file path
- failOnDataLoss: Determines whether or not a streaming query + should fail if it's possible data has been lost + (e.g., topics are deleted, offsets are out of range). + It is important to monitor your streaming queries, + especially with temporal infrastructure like Kafka. + Offsets typically go out of range + when Kafka's log cleaner activates. + If a specific streaming query can not process + data quickly enough it may fall behind + the earliest offsets after the log cleaner rolls + a log segment + Sometimes failOnDataLoss may be a false alarm. + You can disable it if it is not working + as expected based on your use case. + Refer to followed site for more information. + https://github.com/vertica/PSTL/wiki/Kafka-Source
KafkaPipeWriterInfo
message KafkaPipeReaderInfo { + required string mode = 1 [default="append"]; + optional string trigger = 2; + required string bootStrapServers = 3; + required string zooKeeperConnect = 4; + required string topic = 5; + required chechpointLocation: checkpoint file path + required bool failOnDataLoss = 7 [default = false]; +} -
+
+
+
+ + final + def + + + operate(df: DataFrame): (DataFrame) ⇒ StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: KafkaPipeWriterInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + write(df: DataFrame): StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- KafkaPipeWriter → BasePipeWriter
+
+
+
+
Inherited from BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[DataFrame, DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeWriterInfo, DataFrame, (DataFrame) ⇒ StreamingQuery]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ +
+
+
+
+
+
+
+
+
+
+ ksb.csle.component.pipe.stream.writer
+MemoryPipeWriter
Related Doc:
+ package writer
+
+
+
+
+
+ + + + class + + + MemoryPipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +:: Experimental ::
Writer that writes streaming data to in-memory. +
+ Linear Supertypes
+
+
+
+
+
+
+ Ordering
+
+ -
+
+
- Alphabetic +
- By Inheritance +
+ Inherited
+ +
+ +
-
+
- MemoryPipeWriter
- BasePipeWriter
- BaseGenericPipeOperator
- BaseGenericMutantOperator
- BaseDoer
- Logging
- Serializable
- Serializable
- AnyRef
- Any +
+
+
+ -
+
- Hide All +
- Show All +
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..04222940e0859beda5cea3c82cf57f7ad82ec5a5
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/component/pipe/stream/writer/package.html
@@ -0,0 +1,191 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Instance Constructors
+-
+
+
+
+ + + new + + + MemoryPipeWriter(o: StreamPipeWriterInfo, session: SparkSession) + +
+ +
+
+
+ +- o
Object that contains message + ksb.csle.common.proto.DatasourceProto.MemoryPipeWriter + MemoryPipeWriter contains followed attributes:
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
- tableName: table name in in-memory cache
MemoryPipeWriterInfo
message MemoryPipeWriterInfo { + required string mode = 1 [default="append"]; + required string trigger = 2; + required string tableName = 3; + }
+
+
+
+
+
+ Value Members
+-
+
+
+
+ + final + def + + + !=(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ##(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + ==(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + asInstanceOf[T0]: T0 + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + def + + + clone(): AnyRef + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + close: Unit + +
+ +
+
+
+ +- Definition Classes
- MemoryPipeWriter → BasePipeWriter
-
+
+
+
+ + final + def + + + eq(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + equals(arg0: Any): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + finalize(): Unit + +
+ +
+
+
+ +- Attributes
- protected[java.lang]
- Definition Classes
- AnyRef
- Annotations
- + @throws( + + classOf[java.lang.Throwable] + ) + +
-
+
+
+
+ + final + def + + + getClass(): Class[_] + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + + def + + + hashCode(): Int + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + isInstanceOf[T0]: Boolean + +
+ +
+
+
+ +- Definition Classes
- Any
-
+
+
+
+ + + val + + + logger: Logger + +
+ +
+
+
+ +- Attributes
- protected
- Definition Classes
- Logging
-
+
+
+
+ + final + def + + + ne(arg0: AnyRef): Boolean + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notify(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + final + def + + + notifyAll(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + val + + + o: StreamPipeWriterInfo + +
+ +
+
+
+ Object that contains message + ksb.csle.common.proto.DatasourceProto.MemoryPipeWriter + MemoryPipeWriter contains followed attributes:
+Object that contains message + ksb.csle.common.proto.DatasourceProto.MemoryPipeWriter + MemoryPipeWriter contains followed attributes:
- mode: Write mode such as append, update, and complete
- trigger: triggering interval
- tableName: table name in in-memory cache
MemoryPipeWriterInfo
message MemoryPipeWriterInfo { + required string mode = 1 [default="append"]; + required string trigger = 2; + required string tableName = 3; + } -
+
+
+
+ + final + def + + + operate(df: DataFrame): (DataFrame) ⇒ StreamingQuery + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + + val + + + p: MemoryPipeWriterInfo + +
+ +
+
+
+
+ -
+
+
+
+ + + val + + + session: SparkSession + +
+ +
+
+
+
+ -
+
+
+
+ + + def + + + stop: Unit + +
+ +
+
+
+ +- Definition Classes
- BasePipeWriter → BaseGenericPipeOperator → BaseGenericMutantOperator
-
+
+
+
+ + final + def + + + synchronized[T0](arg0: ⇒ T0): T0 + +
+ +
+
+
+ +- Definition Classes
- AnyRef
-
+
+
+
+ + + def + + + toString(): String + +
+ +
+
+
+ +- Definition Classes
- AnyRef → Any
-
+
+
+
+ + final + def + + + wait(): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long, arg1: Int): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + final + def + + + wait(arg0: Long): Unit + +
+ +
+
+
+ +- Definition Classes
- AnyRef
- Annotations
- + @throws( + + ... + ) + +
-
+
+
+
+ + + def + + + write(df: DataFrame): StreamingQuery + +
+ +
+
+
+ Writes dataframe to memory +
+Writes dataframe to memory +
- df
Dataframe to write
- returns
handle StreamingQuery
- Definition Classes
- MemoryPipeWriter → BasePipeWriter
+
+
+
+
Inherited from BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericPipeOperator[DataFrame, DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession]
+
+
Inherited from BaseGenericMutantOperator[StreamPipeWriterInfo, DataFrame, (DataFrame) ⇒ StreamingQuery]
+
+
Inherited from BaseDoer
+
+
Inherited from Logging
+
+
Inherited from Serializable
+
+
Inherited from Serializable
+
+
Inherited from AnyRef
+
+
+
+ Inherited from Any
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + writer + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..415aaaf99a3a722f16e418bebf79a71f6806e7b2
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/csle/package.html
@@ -0,0 +1,118 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Type Members
+-
+
+
+
+ + + class + + + ConsolePipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Writer that saves DataFrame to a file. +
-
+
+
+
+ + + class + + + FilePipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Writer that saves DataFrame to a file. +
-
+
+
+
+ + + class + + + HBasePipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Writer that writes streaming data to HBase. +
-
+
+
+
+ + + class + + + KafkaPipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +
+
+
+ :: ApplicationDeveloperApi ::
+:: ApplicationDeveloperApi ::
Writer that writes datafrom to kafka. +
-
+
+
+
+ + + class + + + MemoryPipeWriter extends BasePipeWriter[DataFrame, StreamingQuery, StreamPipeWriterInfo, SparkSession] + +
+ +
+
+
+ :: Experimental ::
+:: Experimental ::
Writer that writes streaming data to in-memory. +
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + csle + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/ksb/package.html b/manual1903/api_reference/component-pipe/scaladocs/ksb/package.html
new file mode 100644
index 0000000000000000000000000000000000000000..594d65345e0a09f76977374a8dfda81c99021b9d
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/ksb/package.html
@@ -0,0 +1,118 @@
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ ++ + + package + + + ksb + +
+ + + + +
+
+
+
+
+
+
+ Visibility
+
+ - Public
- All
+
+
+
+
+
+
+
+
+
+
+
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/arrow-down.png b/manual1903/api_reference/component-pipe/scaladocs/lib/arrow-down.png
new file mode 100644
index 0000000000000000000000000000000000000000..7229603ae5b30ce0e0bd09863543b260085c8f2d
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/arrow-down.png differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/arrow-right.png b/manual1903/api_reference/component-pipe/scaladocs/lib/arrow-right.png
new file mode 100644
index 0000000000000000000000000000000000000000..b2f2935dc9be286841e9ae586a78551ed13617b7
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/arrow-right.png differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/class.png b/manual1903/api_reference/component-pipe/scaladocs/lib/class.png
new file mode 100644
index 0000000000000000000000000000000000000000..97edbd49db03f5a728c0ce855e6dd30fb869ebb3
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/class.png differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/class_big.png b/manual1903/api_reference/component-pipe/scaladocs/lib/class_big.png
new file mode 100644
index 0000000000000000000000000000000000000000..cb1f638a585c50456f57b73c4d043c75762ff9a5
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/class_big.png differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/class_diagram.png b/manual1903/api_reference/component-pipe/scaladocs/lib/class_diagram.png
new file mode 100644
index 0000000000000000000000000000000000000000..9d7aec792bebaea124455ad1918fbf0a7c1fc9a1
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/class_diagram.png differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/class_to_object_big.png b/manual1903/api_reference/component-pipe/scaladocs/lib/class_to_object_big.png
new file mode 100644
index 0000000000000000000000000000000000000000..5dd6e38d2e24ce832413d1a3e83deac76861f471
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/class_to_object_big.png differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/constructorsbg.gif b/manual1903/api_reference/component-pipe/scaladocs/lib/constructorsbg.gif
new file mode 100644
index 0000000000000000000000000000000000000000..2e3f5ea53025f68e2636f9c65e5115a3aa1bb581
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/constructorsbg.gif differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/conversionbg.gif b/manual1903/api_reference/component-pipe/scaladocs/lib/conversionbg.gif
new file mode 100644
index 0000000000000000000000000000000000000000..4be145d0af89d312ff04a6bd6efefd5106fd31ee
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/conversionbg.gif differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/defbg-blue.gif b/manual1903/api_reference/component-pipe/scaladocs/lib/defbg-blue.gif
new file mode 100644
index 0000000000000000000000000000000000000000..69038337a793be5ec04430183980b7e393113ea1
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/defbg-blue.gif differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/defbg-green.gif b/manual1903/api_reference/component-pipe/scaladocs/lib/defbg-green.gif
new file mode 100644
index 0000000000000000000000000000000000000000..36c43be3a2c67992ce648a7bdf008d818d7fc0b6
Binary files /dev/null and b/manual1903/api_reference/component-pipe/scaladocs/lib/defbg-green.gif differ
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/diagrams.css b/manual1903/api_reference/component-pipe/scaladocs/lib/diagrams.css
new file mode 100644
index 0000000000000000000000000000000000000000..5fe33f72f5bb4f3ad30465f435b72cbb12e639f9
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/lib/diagrams.css
@@ -0,0 +1,143 @@
+.diagram-container
+{
+ display: none;
+}
+
+.diagram
+{
+ overflow: hidden;
+ padding-top:15px;
+}
+
+.diagram svg
+{
+ display: block;
+ position: absolute;
+ visibility: hidden;
+ margin: auto;
+}
+
+.diagram-help
+{
+ float:right;
+ display:none;
+}
+
+.magnifying
+{
+ cursor: -webkit-zoom-in ! important;
+ cursor: -moz-zoom-in ! important;
+ cursor: pointer;
+}
+
+#close-link
+{
+ position: absolute;
+ z-index: 100;
+ font-family: Arial, sans-serif;
+ font-size: 10pt;
+ text-decoration: underline;
+ color: #315479;
+}
+
+#close:hover
+{
+ text-decoration: none;
+}
+
+svg a
+{
+ cursor:pointer;
+}
+
+svg text
+{
+ font-size: 10px;
+}
+
+/* try to move the node text 1px in order to be vertically
+ centered (does not work in all browsers) */
+svg .node text
+{
+ transform: translate(0px,1px);
+ -ms-transform: translate(0px,1px);
+ -webkit-transform: translate(0px,1px);
+ -o-transform: translate(0px,1px);
+ -moz-transform: translate(0px,1px);
+}
+
+/* hover effect for edges */
+
+svg .edge.over text,
+svg .edge.implicit-incoming.over polygon,
+svg .edge.implicit-outgoing.over polygon
+{
+ fill: #202020;
+}
+
+svg .edge.over path,
+svg .edge.over polygon
+{
+ stroke: #202020;
+}
+
+/* hover effect for nodes in class diagrams */
+
+svg.class-diagram .node
+{
+ opacity: 0.75;
+}
+
+svg.class-diagram .node.this
+{
+ opacity: 1.0;
+}
+
+svg.class-diagram .node.over
+{
+ opacity: 1.0;
+}
+
+svg .node.over polygon
+{
+ stroke: #202020;
+}
+
+/* hover effect for nodes in package diagrams */
+
+svg.package-diagram .node.class.over polygon,
+svg.class-diagram .node.this.class.over polygon
+{
+ fill: #098552;
+ fill: #04663e;
+}
+
+svg.package-diagram .node.trait.over polygon,
+svg.class-diagram .node.this.trait.over polygon
+{
+ fill: #3c7b9b;
+ fill: #235d7b;
+}
+
+svg.package-diagram .node.type.over polygon,
+svg.class-diagram .node.this.type.over polygon
+{
+ fill: #098552;
+ fill: #04663e;
+}
+
+
+svg.package-diagram .node.object.over polygon
+{
+ fill: #183377;
+}
+
+svg.package-diagram .node.outside.over polygon
+{
+ fill: #d4d4d4;
+}
+
+svg.package-diagram .node.default.over polygon
+{
+ fill: #d4d4d4;
+}
diff --git a/manual1903/api_reference/component-pipe/scaladocs/lib/diagrams.js b/manual1903/api_reference/component-pipe/scaladocs/lib/diagrams.js
new file mode 100644
index 0000000000000000000000000000000000000000..680ead7a593d21f926fb2587c990d79405c0a3d1
--- /dev/null
+++ b/manual1903/api_reference/component-pipe/scaladocs/lib/diagrams.js
@@ -0,0 +1,324 @@
+/**
+ * JavaScript functions enhancing the SVG diagrams.
+ *
+ * @author Damien Obrist
+ */
+
+var diagrams = {};
+
+/**
+ * Initializes the diagrams in the main window.
+ */
+$(document).ready(function()
+{
+ // hide diagrams in browsers not supporting SVG
+ if(Modernizr && !Modernizr.inlinesvg)
+ return;
+
+ // only execute this in the main window
+ if(diagrams.isPopup)
+ return;
+
+ if($("#content-diagram").length)
+ $("#inheritance-diagram").css("padding-bottom", "20px");
+
+ $(".diagram-container").css("display", "block");
+
+ $(".diagram").each(function() {
+ // store initial dimensions
+ $(this).data("width", $("svg", $(this)).width());
+ $(this).data("height", $("svg", $(this)).height());
+ // store unscaled clone of SVG element
+ $(this).data("svg", $(this).get(0).childNodes[0].cloneNode(true));
+ });
+
+ // make diagram visible, hide container
+ $(".diagram").css("display", "none");
+ $(".diagram svg").css({
+ "position": "static",
+ "visibility": "visible",
+ "z-index": "auto"
+ });
+
+ // enable linking to diagrams
+ if($(location).attr("hash") == "#inheritance-diagram") {
+ diagrams.toggle($("#inheritance-diagram-container"), true);
+ } else if($(location).attr("hash") == "#content-diagram") {
+ diagrams.toggle($("#content-diagram-container"), true);
+ }
+
+ $(".diagram-link").click(function() {
+ diagrams.toggle($(this).parent());
+ });
+
+ // register resize function
+ $(window).resize(diagrams.resize);
+
+ // don't bubble event to parent div
+ // when clicking on a node of a resized
+ // diagram
+ $("svg a").click(function(e) {
+ e.stopPropagation();
+ });
+
+ diagrams.initHighlighting();
+});
+
+/**
+ * Initializes the diagrams in the popup.
+ */
+diagrams.initPopup = function(id)
+{
+ // copy diagram from main window
+ if(!jQuery.browser.msie)
+ $("body").append(opener.$("#" + id).data("svg"));
+
+ // positioning
+ $("svg").css("position", "absolute");
+ $(window).resize(function()
+ {
+ var svg_w = $("svg").css("width").replace("px", "");
+ var svg_h = $("svg").css("height").replace("px", "");
+ var x = $(window).width() / 2 - svg_w / 2;
+ if(x < 0) x = 0;
+ var y = $(window).height() / 2 - svg_h / 2;
+ if(y < 0) y = 0;
+ $("svg").css("left", x + "px");
+ $("svg").css("top", y + "px");
+ });
+ $(window).resize();
+
+ diagrams.initHighlighting();
+ $("svg a").click(function(e) {
+ opener.diagrams.redirectFromPopup(this.href.baseVal);
+ window.close();
+ });
+ $(document).keyup(function(e) {
+ if (e.keyCode == 27) window.close();
+ });
+}
+
+/**
+ * Initializes highlighting for nodes and edges.
+ */
+diagrams.initHighlighting = function()
+{
+ // helper function since $.hover doesn't work in IE
+
+ function hover(elements, fn)
+ {
+ elements.mouseover(fn);
+ elements.mouseout(fn);
+ }
+
+ // inheritance edges
+
+ hover($("svg .edge.inheritance"), function(evt){
+ var toggleClass = evt.type == "mouseout" ? diagrams.removeClass : diagrams.addClass;
+ var parts = $(this).attr("id").split("_");
+ toggleClass($("#" + parts[0] + "_" + parts[1]));
+ toggleClass($("#" + parts[0] + "_" + parts[2]));
+ toggleClass($(this));
+ });
+
+ // nodes
+
+ hover($("svg .node"), function(evt){
+ var toggleClass = evt.type == "mouseout" ? diagrams.removeClass : diagrams.addClass;
+ toggleClass($(this));
+ var parts = $(this).attr("id").split("_");
+ var index = parts[1];
+ $("svg#" + parts[0] + " .edge.inheritance").each(function(){
+ var parts2 = $(this).attr("id").split("_");
+ if(parts2[1] == index)
+ {
+ toggleClass($("#" + parts2[0] + "_" + parts2[2]));
+ toggleClass($(this));
+ } else if(parts2[2] == index)
+ {
+ toggleClass($("#" + parts2[0] + "_" + parts2[1]));
+ toggleClass($(this));
+ }
+ });
+ });
+
+ // incoming implicits
+
+ hover($("svg .node.implicit-incoming"), function(evt){
+ var toggleClass = evt.type == "mouseout" ? diagrams.removeClass : diagrams.addClass;
+ toggleClass($(this));
+ toggleClass($("svg .edge.implicit-incoming"));
+ toggleClass($("svg .node.this"));
+ });
+
+ hover($("svg .edge.implicit-incoming"), function(evt){
+ var toggleClass = evt.type == "mouseout" ? diagrams.removeClass : diagrams.addClass;
+ toggleClass($(this));
+ toggleClass($("svg .node.this"));
+ $("svg .node.implicit-incoming").each(function(){
+ toggleClass($(this));
+ });
+ });
+
+ // implicit outgoing nodes
+
+ hover($("svg .node.implicit-outgoing"), function(evt){
+ var toggleClass = evt.type == "mouseout" ? diagrams.removeClass : diagrams.addClass;
+ toggleClass($(this));
+ toggleClass($("svg .edge.implicit-outgoing"));
+ toggleClass($("svg .node.this"));
+ });
+
+ hover($("svg .edge.implicit-outgoing"), function(evt){
+ var toggleClass = evt.type == "mouseout" ? diagrams.removeClass : diagrams.addClass;
+ toggleClass($(this));
+ toggleClass($("svg .node.this"));
+ $("svg .node.implicit-outgoing").each(function(){
+ toggleClass($(this));
+ });
+ });
+};
+
+/**
+ * Resizes the diagrams according to the available width.
+ */
+diagrams.resize = function()
+{
+ // available width
+ var availableWidth = $("body").width() - 20;
+
+ $(".diagram-container").each(function() {
+ // unregister click event on whole div
+ $(".diagram", this).unbind("click");
+ var diagramWidth = $(".diagram", this).data("width");
+ var diagramHeight = $(".diagram", this).data("height");
+
+ if(diagramWidth > availableWidth)
+ {
+ // resize diagram
+ var height = diagramHeight / diagramWidth * availableWidth;
+ $(".diagram svg", this).width(availableWidth);
+ $(".diagram svg", this).height(height);
+
+ // register click event on whole div
+ $(".diagram", this).click(function() {
+ diagrams.popup($(this));
+ });
+ $(".diagram", this).addClass("magnifying");
+ }
+ else
+ {
+ // restore full size of diagram
+ $(".diagram svg", this).width(diagramWidth);
+ $(".diagram svg", this).height(diagramHeight);
+ // don't show custom cursor any more
+ $(".diagram", this).removeClass("magnifying");
+ }
+ });
+};
+
+/**
+ * Shows or hides a diagram depending on its current state.
+ */
+diagrams.toggle = function(container, dontAnimate)
+{
+ // change class of link
+ $(".diagram-link", container).toggleClass("open");
+ // get element to show / hide
+ var div = $(".diagram", container);
+ if (div.is(':visible'))
+ {
+ $(".diagram-help", container).hide();
+ div.unbind("click");
+ div.removeClass("magnifying");
+ div.slideUp(100);
+ }
+ else
+ {
+ diagrams.resize();
+ if(dontAnimate)
+ div.show();
+ else
+ div.slideDown(100);
+ $(".diagram-help", container).show();
+ }
+};
+
+/**
+ * Opens a popup containing a copy of a diagram.
+ */
+diagrams.windows = {};
+diagrams.popup = function(diagram)
+{
+ var id = diagram.attr("id");
+ if(!diagrams.windows[id] || diagrams.windows[id].closed) {
+ var title = $(".symbol .name", $("#signature")).text();
+ // cloning from parent window to popup somehow doesn't work in IE
+ // therefore include the SVG as a string into the HTML
+ var svgIE = jQuery.browser.msie ? $("").append(diagram.data("svg")).html() : "";
+ var html = '' +
+ '\n' +
+ '\n' +
+ '\n' +
+ ' \n' +
+ '
+
+
+
+
+
+
+
+
+
+ Ungrouped
+ +
'
+ ].join('');
+ }
+
+ function createPackageHeader(pack) {
+ return [
+ '- ',
+ header,
+ '
- ',
+ html,
+ '
focused on 
");
+ $("#focusfilter > .focusremove").click(function(event) {
+ textFilter();
+
+ $("#focusfilter").hide();
+ $("#kindfilter").show();
+ resizeFilterBlock();
+ focusFilterState = null;
+ });
+ $("#focusfilter").hide();
+ resizeFilterBlock();
+ }
+ });
+ scheduler.add("init", function() {
+ $('#tpl li.pack a.packfocus').click(function () {
+ focusFilter($(this).parent());
+ return false;
+ });
+ });
+}
+
+/* Focuses the entity index on a specific package. To do so, it will copy the sub-templates and sub-packages of the
+ focuses package into the top-level templates and packages position of the index. The original top-level
+ @param package The - ").addClass("ui-autocomplete").appendTo(this.document.find(this.options.appendTo||"body")[0]).menu({input:e(),role:null}).zIndex(this.element.zIndex()+1).hide().data("menu"),this._on(this.menu.element,{mousedown:function(t){t.preventDefault(),this.cancelBlur=!0,this._delay(function(){delete this.cancelBlur});var n=this.menu.element[0];e(t.target).closest(".ui-menu-item").length||this._delay(function(){var t=this;this.document.one("mousedown",function(r){r.target!==t.element[0]&&r.target!==n&&!e.contains(n,r.target)&&t.close()})})},menufocus:function(t,n){if(this.isNewMenu){this.isNewMenu=!1;if(t.originalEvent&&/^mouse/.test(t.originalEvent.type)){this.menu.blur(),this.document.one("mousemove",function(){e(t.target).trigger(t.originalEvent)});return}}var r=n.item.data("ui-autocomplete-item")||n.item.data("item.autocomplete");!1!==this._trigger("focus",t,{item:r})?t.originalEvent&&/^key/.test(t.originalEvent.type)&&this._value(r.value):this.liveRegion.text(r.value)},menuselect:function(e,t){var n=t.item.data("ui-autocomplete-item")||t.item.data("item.autocomplete"),r=this.previous;this.element[0]!==this.document[0].activeElement&&(this.element.focus(),this.previous=r,this._delay(function(){this.previous=r,this.selectedItem=n})),!1!==this._trigger("select",e,{item:n})&&this._value(n.value),this.term=this._value(),this.close(e),this.selectedItem=n}}),this.liveRegion=e("",{role:"status","aria-live":"polite"}).addClass("ui-helper-hidden-accessible").insertAfter(this.element),e.fn.bgiframe&&this.menu.element.bgiframe(),this._on(this.window,{beforeunload:function(){this.element.removeAttr("autocomplete")}})},_destroy:function(){clearTimeout(this.searching),this.element.removeClass("ui-autocomplete-input").removeAttr("autocomplete"),this.menu.element.remove(),this.liveRegion.remove()},_setOption:function(e,t){this._super(e,t),e==="source"&&this._initSource(),e==="appendTo"&&this.menu.element.appendTo(this.document.find(t||"body")[0]),e==="disabled"&&t&&this.xhr&&this.xhr.abort()},_isMultiLine:function(){return this.element.is("textarea")?!0:this.element.is("input")?!1:this.element.prop("isContentEditable")},_initSource:function(){var t,n,r=this;e.isArray(this.options.source)?(t=this.options.source,this.source=function(n,r){r(e.ui.autocomplete.filter(t,n.term))}):typeof this.options.source=="string"?(n=this.options.source,this.source=function(t,i){r.xhr&&r.xhr.abort(),r.xhr=e.ajax({url:n,data:t,dataType:"json",success:function(e,t){i(e)},error:function(){i([])}})}):this.source=this.options.source},_searchTimeout:function(e){clearTimeout(this.searching),this.searching=this._delay(function(){this.term!==this._value()&&(this.selectedItem=null,this.search(null,e))},this.options.delay)},search:function(e,t){e=e!=null?e:this._value(),this.term=this._value();if(e.length