KSB 웹툴킷 설치

UI 기반으로 KSB 인공지능 프레임워크를 사용할 수 있는 KSB 웹툴킷 설치 과정을 설명합니다.

설치 요구사항

Docker 기반 KSB 툴박스 환경에서는, KSB 웹툴킷 실행을 위한 기능들이 사전에 설치 되어 있거나 설치 과정에 포함 되어 있으므로, 본 과정이 필요하지 않습니다.
Ubuntu 16.04가 설치된 메모리 16GB 이상 데스트탑이나 노트북이 요구됩니다.
KSB 웹툴킷은 KSB 인공지능 프레임워크를 기반으로 구동됩니다. 따라서 소스를 빌드하고 startKsbApiServing.sh 를 실행하여 KSB 인공지능 프레임워크를 구동하고 있어야 합니다.
KSB 웹툴킷은 저장소로 HDFS를 사용합니다. 따라서, 저장소로 사용할 PC에 Hadoop 및 관련 소프트웨어가 설치 되어 있어야 합니다. Hadoop을 설치한 후에는 ksb-csle/conf/ksb.conf 파일에서 hadoop.master 정보를 설치한 호스트명으로 설정해 주어야 합니다. 또한 hadoop.hdfs.activated 도 true로 설정해야 정상적으로 HDFS 를 저장소로 이용할 수 있습니다.(기본적으로 true로 설정 되어 있습니다.)
DB에서 한글을 정상적으로 사용하기 위해, 호스트 운영체제의 언어를 한글로 설정 합니다. 변경 하는 방법은 다음 링크를 참고 합니다.
Ubuntu 언어 변경
Postgresql 9.6.8 이상이 설치되어야 합니다.
Pgadmin3 1.22.2 이상이 설치되어야 합니다.

KSB 인공지능 프레임워크 DB 설치하기

KSB 인공지능 프레임워크는 프레임워크 사용자 정보, 생성 및 구동된 워크플로우 정보, KSB 웹툴킷에서 이용하는 UI Component 관련 정보를 관리하기 위해 Postgresql DB를 사용 합니다.
Postgresql 설치 버전은 9.6.8 이상를 권장하며, 다음과 같이 설치한 후 재시작합니다.

$ sudo apt-get update

$ sudo apt-get install -y software-properties-common

$ sudo add-apt-repository "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main"

$ wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

$ sudo apt-get update

$ sudo apt-get install -y postgresql-9.6

$ sudo service postgresql restart

또한 Postgresql DB 접근 및 이용을 편리하게 하기 위해 Pgadmin을 설치하여 사용합니다. pgadmin3는 1.22.2 이상을 설치합니다. (ostgresql 9.6.8 이상을 설치해야 잘 동작합니다.)

$ sudo apt-get update

$ sudo apt-get install -y pgadmin3

KSB 인공지능 프레임워크 DB 정의

Postgresql 설치가 완료되면, DB에 접속하여 DB 사용자 계정과 권한을 생성하고, SDK 압축파일에 포함된 백업파일(csledb_v1.0.backup)을 이용하여 KSB 인공지능 프레임워크 DB 정보를 restore 합니다.

$ sudo -u postgres bash -c "psql -c \"CREATE USER csle password '사용자암호' superuser;\""

$ sudo -u postgres bash -c "psql -c \"CREATE DATABASE csledb WITH OWNER = csle ENCODING = 'UTF-8' CONNECTION LIMIT = -1;\""

$ PGPASSWORD=사용자암호 pg_restore -h localhost -U csle -C -d csledb /home/csle/ksb-csle/tools/webToolkit_db/csledb_v1.0.backup

postgresql 에 접속하여 정상적으로 복구 되었는지 확인 합니다.

$ sudo -su postgres

$ psql

postgres=# \c csledb;

csledb=# select * from "UIEngineComponent" where "MsgVersion" = '1.0'

               EngineID               |          EngineName           |         EngineType          |            MsgComponentID            | MsgVersion
--------------------------------------+-------------------------------+-----------------------------+--------------------------------------+------------
 49dd0271-e7a9-b43e-f1c0-698d42372e2f | BatchEngine                   | BATCHENGINE                 | 2b2fa4ec-7cd3-3cc1-1e7c-b11ab3d3ac1b | 1.0
 6536ab61-9f9f-1119-6cbf-a3c25e8cb350 | StreamToStreamEngine          | STREAMTOSTREAMENGINE        | 3819b564-a79e-394d-7bbe-ddc2380f5f68 | 1.0
 6f3d98a1-2b69-c711-f8f1-e5336eee2957 | StreamToBatchEngine           | STREAMTOBATCHENGINE         | 0abe3dab-c535-edcb-141b-a0d9e7746a6d | 1.0
 c1ea8c60-afd7-1c75-4686-af114173775e | OnDemandStreamEngine          | ONDEMANDSTREAMENGINE        | 1bfc7496-d2d3-2140-c137-af09b423a2fe | 1.0
 1bfe0c14-7257-b56b-683c-7eb2c7f38fa4 | OnDemandServingEngine         | ONDEMANDSERVINGENGINE       | cfb9b524-7457-b910-0261-587c5bfe74de | 1.0
 aa301492-6d85-2aae-cbf7-ee640d5a2c1d | ExternalEngine                | EXTERNALENGINE              | e960e289-54df-1790-6e4a-05a75b326cec | 1.0
 69686c51-3a70-29bf-608c-7721ac37d98d | GenericEngine                 | GENERICENGINE               | 1dfb7769-8a34-304e-d9d5-00b2cffbbca7 | 1.0
 a52ccda4-c59a-01a2-af7d-025cb03fff10 | BatchToBatchStreamEngine      | BATCHTOBATCHSTREAMENGINE    | cd0758ae-b150-850a-9d73-b29152e820ce | 1.0
 5da27056-c880-7917-5e6f-d7db44083e92 | OnDemandStreamServingEngine   | ONDEMANDSTREAMSERVINGENGINE | 03ecfbd2-1a3d-2e6c-2448-06f3f2dcfe89 | 1.0
 7b4e13dd-bb5d-289e-6022-9c651f2ca1c1 | StreamPipeEngine              | STREAMTOSTREAMENGINE        | 58b47983-3a49-386a-6403-b6a0ec5c4c67 | 1.0
 790be3d3-4f2c-0318-021c-999b8ab59db3 | StreamJoinEngine              | INOUTTWIGS2SENGINE          | 50f1fd26-49e0-5d70-3ff0-0d14f0c6d19a | 1.0
 2043f861-2298-4cd8-7633-97fc06f6f1ab | OnDemandPipeServingEngine     | ONDEMANDCOMPOSITEENGINE     | 4aff5c80-8b63-527a-7fe9-0e12e8c21735 | 1.0
 8f8a4039-46c1-acc5-c425-4e2688b2eb84 | BatchDummyEngine              | BATCHDUMMYENGINE            | d625a81a-ad0f-0822-3752-c040c1d4ebf6 | 1.0
 05761a24-af7e-eda6-428d-fba552ef1cf7 | OnDemandExternalServingEngine | EXTERNALENGINE              | fe67950b-aadb-0094-186d-797ad573c84c | 1.0
(14개 행)

KSB 웹툴킷 DB 정의

SDK 압축파일에 포함된 백업파일(uidb_v1.0.backup)을 이용하여 KSB 웹툴 DB 정보를 restore 합니다.

$ sudo -u postgres bash -c "psql -c \"CREATE DATABASE uidb WITH OWNER = csle ENCODING = 'UTF-8' CONNECTION LIMIT = -1;\""

$ PGPASSWORD=사용자암호 pg_restore -h localhost -U csle -C -d uidb /home/csle/ksb-csle/webToolkit_db/uidb_v1.0.backup

postgresql 에 접속하여 정상적으로 복구 되었는지 확인 합니다.

$ sudo -su postgres

$ psql

postgres=# \c uidb;

uidb=# SELECT count(*) FROM template where msg_version = '1.0';

 count
-------
    23
(1개 행)

KSB 웹툴킷 회원 가입 기능 활성화를 위한 설정

KSB 웹툴킷은 이메일을 통해 사용자 가입을 처리하도록 되어 있습니다. 이를 위해 관리자의 메일 계정을 설정 하도록 되어 있으며, Gmail 계정을 통해 설정할 수 있습니다. 관리자는 uidb 의 system_configuration 테이블에 자신의 Gmail 계정을 설정할 수 있으며, 사용자가 회원 가입을 신청하면 관련 메일이 관리자의 Gmail 계정을 통해 발송 됩니다.
설정 방법은, KSB 웹툴킷에 관리자 계정(ksbuser@etri.re.kr)으로 로그인 하여 Management 메뉴의 System Configuration 탭에서 'javax.mail.session.prop.id' property에서 수정아이콘을 클릭하여 Gmail 계정(aaa@gmail.com 이면 aaa)을 'javax.mail.session.prop.password' 에 Gmail 암호를 입력하고 저장 아이콘을 클릭하여 수정한 사항을 저장 합니다.

이메일의 발송 시, 사용자에게 메일로 안내되는 링크의 ip는 KSB 웹툴킷이 구동중인 서버의 설정을 따릅니다. 만약 localhost로 구동 하였다면, KSB 웹툴킷이 구동중인 서버에서만 가입 절차를 진행할 수 있으므로, 외부에서 접속 가능한 ip로 실행 하시기 바랍니다.

Apache Tomcat 다운로드

KSB 웹툴킷은 웹컨테이너로 Apache tomcat 7을 이용합니다. https://tomcat.apache.org/download-70.cgi 사이트에서 binary distribution을 다운로드 받아, 적당한 위치에 압축을 해제 합니다.

본 매뉴얼 에서는 '/home/csle/ui_of_csle/apache-tomcat-7.0.88/' 에
압축을 해제 한 것으로 가정합니다.

Tomcat 설정 업데이트

web.xml 파일 업데이트

/home/csle/ui_of_csle/apache-tomcat-7.0.88/conf/ 디렉토리에 있는 web.xml 파일을 열어 UTF-8 설정 및 Session timeout을 조정합니다.

<filter>
    <filter-name>setCharacterEncodingFilter</filter-name>
    <filter-class>org.apache.catalina.filters.SetCharacterEncodingFilter</filter-class>
    <init-param>
        <param-name>encoding</param-name>
        <param-value>UTF-8</param-value>
    </init-param>
    <async-supported>true</async-supported>
</filter>

.....

<filter-mapping>
    <filter-name>setCharacterEncodingFilter</filter-name>
    <url-pattern>/*</url-pattern>
</filter-mapping>

.....

<session-config>
    <session-timeout>360</session-timeout> <!-- minutes -->
</session-config>

server.xml 파일 업데이트

다음으로, server.xml 파일을 열어 UTF-8 설정을 조정 합니다.

<Connector port="8080" protocol="HTTP/1.1"
           connectionTimeout="2000000"
           redirectPort="8443" disableUploadTimeout="true" URIEncoding="UTF-8"/>

.....

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8"/>

웹파일 설치 및 KSB 인공지능 프레임워크 DB 접속정보 설정

압축된 SDK에서 /home/csle/ksb-csle/tools/webToolkit_db/csle-web_20181025.war 파일을 /home/csle/ui_of_csle/apache-tomcat-7.0.88/webapps 디렉토리로 복사 합니다.

그리고, csle-web_20181025.war 파일의 이름을 ROOT.war로 변경 합니다.

Tomcat 서버 구동

/home/csle/ui_of_csle/apache-tomcat-7.0.88/bin 디렉토리에 있는
catalina.sh 파일을 통해 Tomcat을 구동하면 웹파일이 압축해제 되어
/home/csle/ui_of_csle/apache-tomcat-7.0.88/webapps/ROOT 폴더가 생성되고, 서버가 구동 됩니다.

$ cd /home/csle/ui_of_csle/apache-tomcat-7.0.88/bin
$ ./catalina.sh start -Dfile.encoding=UTF-8

(2018-06-30 12:22:37) <localhost-startStop-1> [DEBUG] SQL: SELECT * FROM system_configuration WHERE name = ?, name: [csle.gw.host] (SystemConfigurationDao.java:130)
(2018-06-30 12:22:37) <localhost-startStop-1> [DEBUG] SQL: SELECT * FROM system_configuration WHERE name = ?, name: [csle.gw.port] (SystemConfigurationDao.java:130)
6월 30, 2018 12:22:38 오후 org.apache.catalina.startup.HostConfig deployWAR
정보: Deployment of web application archive /home/kbe/ui_of_csle/apache-tomcat-7.0.81/webapps/ROOT.war has finished in 5,246 ms
6월 30, 2018 12:22:38 오후 org.apache.coyote.AbstractProtocol start
정보: Starting ProtocolHandler ["http-bio-8080"]
6월 30, 2018 12:22:38 오후 org.apache.coyote.AbstractProtocol start
정보: Starting ProtocolHandler ["ajp-bio-8009"]
6월 30, 2018 12:22:38 오후 org.apache.catalina.startup.Catalina start
정보: Server startup in 5339 ms

Tomcat 로그 보기

Tomcat 이 잘 구동되고 있는지 확인하기 위해 Tomcat 로그 파일을 엽니다.

$ tail -f ../logs/catalina.out

KSB 인공지능 프레임워크 구동

KSB 인공지능 프레임워크 툴박스를 설치하거나 소스를 빌드한 후,
ksb-csle/bin 디렉토리에 있는 startKsbApiServing.sh 파일을 실행 합니다.
파일 실행 전에 ls와 같이 간단한 명령을 sudo를 통해 한 번 실행 합니다.

$ sudo ls
$ ./startKsbApiServing.sh

구동이 성공적으로 이루어지면, 다음과 같은 로그가 생성되며,
[akka://KsbApi-serving/user/IO-HTTP/listener-0] Bound to /0.0.0.0:19999
위 메시지를 통해 현재 호스트 PC의 19999 포트를 통해 구동 되는 것을 확인할 수 있습니다.

2018-10-22 16:51:12.113 [INFO] [ConfigUtils$] KSB config file path :/home/csle/ksb-csle/conf/ksb.conf (ConfigUtils.scala:29)
2018-10-22 16:51:13.355 [INFO] [KsbApiServing$] [Local mode] Update status of incompletely terminated [0] job(s) in previous operation (KsbApiServing.scala:60)
2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820)
2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820)
2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820)
2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820)
2018-10-22 16:51:13.644 [INFO] [ApiServingActor] KSB ApiServingActor has been started. (ApiServingActor.scala:820)
2018-10-22 16:51:13,905 INFO StdSchedulerFactory: Using default implementation for ThreadExecutor
2018-10-22 16:51:13,910 INFO SimpleThreadPool: Job execution threads will use class loader of thread: main
2018-10-22 16:51:13,923 INFO SchedulerSignalerImpl: Initialized Scheduler Signaller of type: class org.quartz.core.SchedulerSignalerImpl
2018-10-22 16:51:13,923 INFO QuartzScheduler: Quartz Scheduler v.2.3.0 created.
2018-10-22 16:51:13,924 INFO RAMJobStore: RAMJobStore initialized.
2018-10-22 16:51:13,925 INFO QuartzScheduler: Scheduler meta-data: Quartz Scheduler (v2.3.0) 'DefaultQuartzScheduler' with instanceId 'NON_CLUSTERED'
  Scheduler class: 'org.quartz.core.QuartzScheduler' - running locally.
  NOT STARTED.
  Currently in standby mode.
  Number of jobs executed: 0
  Using thread pool 'org.quartz.simpl.SimpleThreadPool' - with 10 threads.
  Using job-store 'org.quartz.simpl.RAMJobStore' - which does not support persistence. and is not clustered.

2018-10-22 16:51:13,925 INFO StdSchedulerFactory: Quartz scheduler 'DefaultQuartzScheduler' initialized from default resource file in Quartz package: 'quartz.properties'
2018-10-22 16:51:13,925 INFO StdSchedulerFactory: Quartz scheduler version: 2.3.0
2018-10-22 16:51:13,925 INFO QuartzScheduler: Scheduler DefaultQuartzScheduler_$_NON_CLUSTERED started.
[INFO] [10/22/2018 16:51:13.979] [KsbApi-serving-akka.actor.default-dispatcher-2] [akka://KsbApi-serving/user/IO-HTTP/listener-0] Bound to /0.0.0.0:19999
[INFO] [10/22/2018 16:51:13.981] [KsbApi-serving-akka.actor.default-dispatcher-3] [akka://KsbApi-serving/deadLetters] Message [akka.io.Tcp$Bound] from Actor[akka://KsbApi-serving/user/IO-HTTP/listener-0#1547261392] to Actor[akka://KsbApi-serving/deadLetters] was not delivered. [1] dead letters encountered. This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'.
2018-10-23 08:22:18,351 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

KSB 웹툴킷 설정 업데이트

KSB 웹툴킷과 KSB 인공지능 프레임워크는 다음 사용자 정보가 저장되어 있습니다.

User ID: ksbuser@etri.re.kr / User Password: ksbuser@etri.re.kr

Chrome 브라우저(또는 HTML5 표준 호환 브라우저)를 열고 위 사용자 정보를 입력하여 로그인합니다.

http://localhost:8080

정상적으로 로그인에 성공하면, Management 메뉴를 클릭해서 KSB 인공지능 프레임워크가 구동되고 있는 환경 정보를 csle.gw.host 와 csle.gw.port 정보에 반영 합니다.
본 매뉴얼에서는 localhost 와 19999 포트가 되겠습니다.

management

설정이 완료되면, Tomcat 서버를 재구동 하고, KSB 웹툴킷을 이용 합니다.

$ ./catalina.sh stop

$ ./catalina.sh start