1.3.HowToInstallKsbFrameWork-old.md

---
html:
  toc: true
  offline: true
export_on_save:
  html: true
---
# KSB 인공지능 프레임워크 설치
-----------
제공된 KSB 툴박스를 사용하지 않고, 직접 Host PC에 KSB 인공지능 프레임워크를 설치하기 위해서 아래의 오픈소스 프레임워크들을 설치합니다. 사용자 csle 계정을 생성한 후 아래 프로그램들을 설치합니다.

## csle 사용자 계정(권한 : administrator) 생성하기
<a href="https://csleoss.etri.re.kr/images/contents/manual_1.0/1.2.HowToInstallKsbToolBox.html#host-pc-csle-%EC%82%AC%EC%9A%A9%EC%9E%90-%EA%B3%84%EC%A0%95%EA%B6%8C%ED%95%9C-administrator-%EC%83%9D%EC%84%B1%ED%95%98%EA%B8%B0" title="KSB 툴박스 설치">KSB 툴박스 설치</a>의 csle 사용자 계정 생성 부분을 참고합니다.

## java-8-oracle 설치하기
<a href="https://csleoss.etri.re.kr/images/contents/manual_1.0/1.2.HowToInstallKsbToolBox.html#host-pc-java-8-oracle-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0" title="KSB 툴박스 설치">KSB 툴박스 설치</a>의 java-8-oracle 설치 부분을 참고합니다.

## Apache Hadoop 2.7.3 설치하기
아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다.

참고링크 : https://hadoop.apache.org/docs/r2.7.3/
다운로드 링크 : https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

## spark-2.3.0-bin-hadoop2.7 설치하기
아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다.

참고링크 : https://spark.apache.org/downloads.html
다운로드 링크 : https://spark.apache.org/downloads.html

## hbase 1.2.4(optional) 설치하기
아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다.

참고링크 : https://hbase.apache.org/book.html
다운로드 링크 : https://archive.apache.org/dist/hbase/1.2.4/

## kafka 2.11-0.10.0.1(optional) 설치하기
아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다.

참고링크 : https://kafka.apache.org/
다운로드 링크 : https://kafka.apache.org/downloads

## zookeeper 3.4.9(optional) 설치하기
아래 링크를 참고하여 사용자의 PC 혹은 클러스터 환경에 맞게 설치합니다.

참고링크 : https://zookeeper.apache.org/
다운로드 링크 : https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/

## KSB 프레임워크 설치하기

<a href="http://csleoss.etri.re.kr:8088/kor/sub02_01.do" title="다운로드"> 다운로드</a> 페이지로부터 KSB 툴박스 파일을 다운로드합니다.
  - ksb_toolbox_v1.tar.gz : KSB 툴박스 파일
<br>

csle 사용자 계정의 home에 ksb_toolbox_v1.tar.gz 압축을 해제합니다. 결과적으로 /home/csle/ksb-csle 폴더가 생성됩니다.
```sh
   csle@csle1:~$ tar zxvf ksb_toolbox_v1.tar.gz -C /home/csle/
```

/home/csle/ksb-csle 폴더는 다음의 하위 폴더들로 구성됩니다.
  - /bin : KSB 프레임워크 shell 스크립트 파일 저장 폴더
  - /components : tensorflow train 예제 프로그램 저장 폴더
  - /conf : KSB 프레임워크 환경설정 파일 저장 폴더  
  - /docker : KSB 툴박스 docker 컨테이너 실행 스크립트 저장 폴더
  - /examples : CLI(Command Line Interface)를 통해 워크플로우 생성 및 submit 할 수 있는 프로젝트 폴더
  - /jars : KSB 프레임워크 1.0 버전의 jar 파일 저장 폴더
  - /ksblib : python 전처리 라이브러리 폴더
  - /kubernetes : 쿠버네티스 환경설정 폴더
  - /logs : log 저장 폴더
  - /pyML : autoML python 프로젝트 폴더
  - /tools: 예제 테스트를 위한 프로그램(jmeter, hadoop, kafka, maven, .ssh)
<br>


## ksb-csle conf 파일 설정하기
/home/csle/ksb-csle/conf/ksb.conf 파일을 사용자 PC에 맞게 수정합니다.

```sh
csle {
    user {
        home = "/home/csle"      # 사용자 home 디렉토리를 지정합니다.
    }
    home = "/home/csle/ksb-csle" # KSB home 디렉토리를 지정합니다.
    submit.cli = "true"
    scheduler.initialization = "false"
}

servers {
    gateway {
        baseUrl = "http://KSB_GATEWAY:SERVICEPORT"
    }
    kubernetes {
        enable = "false"
        baseUrl = "http://SERVICENAME.ksb.local:30100"
        imgRepositoryUrl = "docker.io"
        kubernetes_yaml_path = "/kubernetes"
        masterIp = "csle1"   # Kubernetes 마스터 도메인 이름 혹은 IP를 지정합니다.
        masterPort = "2243"  # Kubernetes SSH 포트 번호를 지정합니다.
        nodesIp = "csle2, csle3"    # Kubernetes 노드들의 도메인 이름 혹은 IP들을 지정합니다.
        user = "csle"       # Kubernetes 서버의 사용자 ID를 지정합니다.
        externalKafka {
            brokerHostName = "csle1"  # 외부 Kafka broker서버 도메인 이름을 지정합니다.
            brokerHostIp = "192.168.0.xxx"  # 외부 Kafka broker서버 IP을 지정합니다.
          }
    }
    tensorflow {  
        enable = "true"
        python_path = "/anaconda3/envs/tensorflow/bin/python" # 사용자 PC의 tensorflow python 위치를 지정합니다.
        python_code_project_path = "/analysis"
    }
    pyspark {
        python_path = "/anaconda3/bin/python" # 사용자 PC의 python 위치를 지정합니다.
        python_code_project_path = "/pyML"
    }
    spark {
        home = "/spark"  # 사용자 PC의 spark home 위치를 지정합니다.
        bin = "/spark/bin/spark-submit"
        master = "local[*]" # spark master 모드를 지정합니다.
        deploy = "client"   # spark deploy 모드를 지정합니다.
        logging = "true"    
        autoIncreaseModelPath = "true"
    }
    yarn {
        home = "/hadoop/bin" # 사용자 PC의 yarn 위치를 지정합니다.
    }
    postgres {
        db = "csledb"
        uri = "jdbc:postgresql://localhost:5432/csledb"
        user = "csle"
        password = "csle1234"
    }
    hadoop {
        home = "/hadoop/" # 사용자 PC의 hadoop 위치를 지정합니다.
        master = "csle1"  # 사용자 PC의 hadoop master 이름을 지정합니다.
        port = "9000"     # 사용자 PC의 hadoop master port를 지정합니다.
        hdfs {
            activated = "true"
            baseDir = "/user/"
            modelPath = "/model"
            datasetPath = "/dataset"
        }
        webhdfs {
            port = "50070"
            baseDir = "/webhdfs/v1"
        }
    }
    hbase.zookeeper.quorum = "localhost"
    kbe {
        serverIp = "localhost"
        serverPort = "9876"
        serverType = "jena"
    }
}
```

## bashrc 설정 추가하기
csle 계정의 bashrc 파일을 업데이트 합니다.

```sh
cat <<EOT >> ~/.bashrc
    export JAVA_HOME=/usr/lib/jvm/java-8-oracle
    export PATH=$PATH:$JAVA_HOME/bin
    export KSB_HOME=/home/csle/ksb-csle
    export PYTHONPATH=/home/csle/ksb-csle/pyML/:$PYTHONPATH
    export PYTHONPATH=./:/home/csle/ksb-csle/ksblib:$PYTHONPATH
EOT
source ~/.bashrc
```

## KSB 웹툴킷을 사용하기 위한 사용자 계정 추가하기
KSB 웹툴킷에 저장된 다양한 예제를 사용하기 위해서는 웹툴킷 사용자(id: ksbuser@etri.re.kr)에 대한 Ubuntu 및 Hadoop hdfs 계정 추가가 필요합니다.

### Ubuntu 사용자 계정 추가하기
```sh
csle$myHostName:  sudo adduser ksbuser_etri_re_kr

[sudo] password for csle:
'ksbuser_etri_re_kr' 사용자를 추가 중...
새 그룹 'ksbuser_etri_re_kr' (1011) 추가 ...
새 사용자 'ksbuser_etri_re_kr' (1011) 을(를) 그룹 'ksbuser_etri_re_kr' (으)로 추가 ...
'/home/ksbuser_etri_re_kr' 홈 디렉터리를 생성하는 중...
'/etc/skel'에서 파일들을 복사하는 중...

새 UNIX 암호 입력: # ksbuser_etri_re_kr를 입력하세요
새 UNIX 암호 재입력: # ksbuser_etri_re_kr를 입력하세요
passwd: 암호를 성공적으로 업데이트했습니다

새로운 값을 넣거나, 기본값을 원하시면 엔터를 치세요
이름 []:
방 번호 []:
직장 전화번호 []:
집 전화번호 []:
기타 []:
정보가 올바릅니까? [Y/n] Y
```

### sudo 권한 부여하기
```sh
csle$myHostName: sudo usermod -aG sudo ksbuser_etri_re_kr
```

### 계정 추가 확인하기
```sh
csle$myHostName: su - ksbuser_etri_re_kr

ksbuser_etri_re_kr$myHostName: sudo ll
합계 32
drwxr-xr-x  2 ksbuser_etri_re_kr ksbuser_etri_re_kr 4096  6월 30 08:37 ./
drwxr-xr-x 14 root               root               4096  6월 30 08:36 ../
-rw-r--r--  1 ksbuser_etri_re_kr ksbuser_etri_re_kr  220  6월 30 08:36 .bash_logout
-rw-r--r--  1 ksbuser_etri_re_kr ksbuser_etri_re_kr 3771  6월 30 08:36 .bashrc
-rw-r--r--  1 ksbuser_etri_re_kr ksbuser_etri_re_kr  655  6월 30 08:36 .profile
-rw-r--r--  1 ksbuser_etri_re_kr ksbuser_etri_re_kr    0  6월 30 08:37 .sudo_as_admin_successful
-rw-r--r--  1 ksbuser_etri_re_kr ksbuser_etri_re_kr 8980  6월 30 08:36 examples.desktop
```

### Hadoop Hdfs 사용자 계정 추가하기
사용자 환경에 맞게 설치되어 있는 Hadoop Hdfs를 가동한 후, 아래 명령을 이용하여 hdfs에 ksbuser_etri_re_kr 사용자 폴더를 추가합니다.

```sh
csle$myHostName: su - csle
csle$myHostName: hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset
csle$myHostName: hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model

csle$myHostName: hdfs dfs -chown ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/
csle$myHostName: hdfs dfs -chown ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/dataset
csle$myHostName: hdfs dfs -chown ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/model
```

## KSB 웹툴킷 설치하기
<a href="http://csleoss.etri.re.kr:8088/images/contents/manual_1.0/1.4.HowToInstallKsbWebToolkit.html" title="KSB 웹툴킷 설치하기"> KSB 웹툴킷 설치하기</a> 페이지를 통해 KSB 웹툴킷을 설치합니다.


## KSB 지식베이스 엔진 설치하기

KSB 지식베이스엔진(KSB-Knowledge Engine)을 사용하기 위한 절차 및 예제를 소개합니다.

### Play framework Activator 설치하기
KSB 지식베이스 엔진은 Play framework 기반 엔진이며, 이를 실행하기 위해서는 [Play framework Activator][8580869d]를 사전에 설치해야 합니다.

[8580869d]:
https://downloads.typesafe.com/typesafe-activator/1.3.12/typesafe-activator-1.3.12.zip "Play framework Activator"

```sh
# Play framework Activator 다운로드
wget https://downloads.typesafe.com/typesafe-activator/1.3.12/typesafe-activator-1.3.12.zip

# 압축해제
unzip typesafe-activator-1.3.12.zip

# Activator bin 경로를 환경변수에 등록
export PATH="/home/csle/activator-dist-1.3.12/bin:$PATH"
```

### KSB 지식베이스 엔진 시작 및 종료 하기
KSB 지식베이스 엔진을 시작하려면, 해당폴더 (/home/csle/ksb-csle/bin)로 이동하여, startknowledge_service.sh 스크립트를 ip address와 port 번호와 함께 실행합니다.

```sh
# KSB 지식베이스 실행 스크립트가 있는 경로로 이동
cd /home/csle/ksb-csle/bin
# KSB 지식베이스 엔진 시작 (./startknowledge_service.sh ip_address port_number)
./startknowledge_service.sh 127.0.0.1 9876
```

KSB 지식베이스 엔진을 종료하려면, 해당폴더 (/home/csle/ksb-csle/bin)로 이동하여, stopKnowledge_service.sh 스크립트를 실행합니다.

```sh
# KSB 지식베이스 엔진 종료
./stopKnowledge_service.sh
```

### 온톨로지 파일 Upload 하기

KSB 지식베이스 엔진이 Start 되어 있는 상황에서, 사용자가 로컬 파일에 작성된 온톨로지 파일(.owl, .rdf, .rdfs)을 KSB 지식베이스 엔진에 Upload 하는 기능을 설명합니다. 본 예제에서는 KSB 지식베이스 엔진 내부 폴더에 제공하는 공통 온톨로지 파일을 이용합니다.

```sh
# 예제 수행 온톨로지 확인을 위해 해당 경로로 이동
cd /home/csle/ksb-knowledge/KBE/ontologies
```

![KSB 공통 온톨로지](./images/1.3_HowToInstallKsbFrameWork_02.png "KSB 공통 온톨로지")

```sh
# Curl 명령어 restful request 수행 (url: /loadOntologies, parameter: 온톨로지 경로)
curl -X POST http://127.0.0.1:9876/loadOntologies -H 'Cache-Control: no-cache' -H 'Content-Type: text/plain' -d ./ontologies
```

![KSB 지식베이스 엔진 온톨로지 upload 화면](./images/1.3_HowToInstallKsbFrameWork_03.png "KSB 지식베이스 엔진 온톨로지 upload 화면")

KSB 지식베이스 엔진에 Upload된 온톨로지는 KSB 지식베이스 엔진이 제공하는  쿼리 Restful API(``http://127.0.0.1:9876/query``)를 통해 확인할 수 있습니다. 이를 위해 Restful Client(본 예제에서는 Postman)를 실행하고, URL과 질의 쿼리 내용을 아래와 같이 입력하여 실행합니다.

```sh
# 본 쿼리는 SPAQRL 1.1의 형태의 질의이며, 이는 온톨로지 thing:Thing 클래스의 서브 클래스를 검색하기 위한 쿼리입니다.
PPREFIX  rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX  owl:  <http://www.w3.org/2002/07/owl#>
PREFIX  workflow: <http://csle.etri.re.kr/Workflow/>
PREFIX  thing: <http://csle.etri.re.kr/Thing/>
select * where {
  ?s  rdfs:subClassOf thing:Thing.
  FILTER (!isBlank(?s))
}
```

![온톨로지 Upload 결과 확인 화면](./images/1.3_HowToInstallKsbFrameWork_04.png "온톨로지 Upload 결과 학인 화면")


## IoE 사물 등록
KSB 지식베이스 엔진은 IoE 정보를 지식화하여 정보의 연계, 추론을 통한 지식정보를 사용자에게 제공하는 기능이 있습니다. IoE 표준(oneM2M)의 사물 스펙을 지식화하는 기능을 제공합니다.

본 예제에서는 Json 포맷의 사물 스펙을 사용합니다.

```sh
# Json 포맷의 사물 스펙(예제로 사용한 IoE 사물의 id는 a1234이며, indoor temperature and humidity 센서입니다.)
{
      "version": "1.0",
      "id": "a1234",
      "registrationTime": "20170102112233",
      "properties": {
        "name": "indoor_env_1",
        "owner": "foo@gmail.com",
        "description": "indoor temperature and humidity",
        "gid": "global_unique_id_1",
        "model": "modelA",
        "coordinates": {
          "latitude": 33.3,
          "longitude": 122.2,
          "altitude": 0
        },
        "location": "seoul korea",
        "users": ["bar@gmail.com"],
        "tag": ["my room", "temperature", "humidity"],
        "madeBy": "companyA",
        "hostedBy": "companyB"
      },
      "resources": [
        {
          "name": "sensors",
          "description": "temperature and humidity in my room",
          "attributes": [
            {
              "name": "temperature",
              "dataType": "double",
              "unit": "celsius",
              "min": "-80",
              "max": "80",
              "description": "temperature in my room"
            },
            {
              "name": "humidity",
              "dataType": "double",
              "unit": "percent",
              "min": "0",
              "max": "100",
              "description": "humidity in my room"
            }
          ],
          "operations": [
            {
              "opType": "get",
              "args": ["temperature", "humidity"],
              "description": "get current temperature and humidity"
            }
          ]
        }
      ]
    }
```
KSB 지식베이스 엔진이 제공하는  사물등록  Restful API (``http://127.0.0.1:9876/registThing``)를 통해 KSB 지식베이스 엔진에 사물 스펙정보를 등록 할 수 있습니다.

![사물등록 화면](./images/1.3_HowToInstallKsbFrameWork_05.png "사물등록 화면")

다음과 같은 쿼리 Restful API을 수행하여 결과를 확인합니다.

```sh
# 본 쿼리는 SPAQRL 1.1의 형태의 질의이며, 이는 온톨로지 thing:Thing 클래스의 인스턴스를 검색하기 위한 쿼리입니다.
PPREFIX  rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX  owl:  <http://www.w3.org/2002/07/owl#>
PREFIX  workflow: <http://csle.etri.re.kr/Workflow/>
PREFIX  thing: <http://csle.etri.re.kr/Thing/>
select * where {
  ?s rdf:type thing:Thing.
}
```
![사물등록확인화면](./images/1.3_HowToInstallKsbFrameWork_06.png "사물등록확인화면")

## IoE 사물 센서데이터를 통해 지식추론하기

KSB 지식베이스 엔진은 IoE 디바이스의 센서데이터를 이용하여, 상황을 추론할 수 있는 기능을 제공합니다.
본 예제의 시나리오는 앞에서 등록된 온도센서(thing id : a1234)로부터 온도가 28도 이상이면 더운 상황(HotContext)을 추론하고,
추론된 정보를 통해 Hue(thing id : S_HUE_light_3)를 파란색으로 켜는 동작을 하는 간단한 시나리오 입니다.

이를 위해 Hue의 제어 명령을 등록합니다. (Restful API: ``http://127.0.0.1:9876/addDeviceControl``)

```sh
# Json 포맷의 사물제어 스펙(id S_HUE_light_3의 Hue)
[
   {"id":"hue_turnon_Blue",
     "thingId":"S_HUE_light_3",
     "resourceId":"controller",
     "operationId":"setState",
     "controlContents":[
        {"name":"on","value":"true"},
        {"name":"bri","value":"254"},
        {"name":"hue","value":"46920"},
        {"name":"sat","value":"254"}
       ]
   },
  {"id":"hue_turnon_Red",
   "thingId":"S_HUE_light_3",
   "resourceId":"controller",
   "operationId":"setState",
   "controlContents":[
      {"name":"on","value":"true"},
      {"name":"bri","value":"254"},
      {"name":"hue","value":"65535"},
      {"name":"sat","value":"254"}
      ]
  },
  {"id":"hue_turnon_Green",
    "thingId":"S_HUE_light_3",
    "resourceId":"controller",
    "operationId":"setState",
    "controlContents":[
       {"name":"on","value":"true"},
       {"name":"bri","value":"254"},
       {"name":"hue","value":"25500"},
       {"name":"sat","value":"254"}
      ]
   }
]
```

추론 규칙을 적용하기 위해, KSB-Knowledge/KBE/rules 폴더의 "KBE.rues" 파일을 열고 아래와 같이 추론 규칙을 추가합니다.

```sh
# 온도센서의 센싱값이 28이상이면 이벤트 Temp_HOT을 생성합니다.
[domain_temperature_hot:
 	(?e event:hasEventValue ?v),
 	(?v thing:hasType ?t),
 	(?t thing:attributeName ?name),
 	equal(?name, "temperature"),
 	(?v thing:hasValue ?value),
 	ge(?value, 28)
     ->
    (?e event:hasEventStatus domain:Temp_HOT)
 ]
 # 이벤트 Temp_HOT이면 더운 상황(HotContext)을 생성합니다.
 [HotContext_context:
    (?e event:hasEventStatus domain:Temp_HOT)
    -> (?e rdf:type domain:HotContext)
 ]
 # 더운 상황(HotContext)이면 Hue를 파란색으로 켭니다.
 [HotContext_service:
   	(?e rdf:type domain:HotContext)
     ->
    (?e service:derives domain:hue_turnon_Blue)
 ]
```

본 예제를 실행하기 위해 온도센서(thing id: a1234)의 값을 32.6으로 설정하고, Restful API(``http://127.0.0.1:9876/recommendDeviceControl``)를 실행합니다.

```sh
# 온도센서(thingId : a1234)의 센싱값이 32.6으로 설정합니다.
{
      "thingId": "a1234",
      "resourceId": "sensors",
      "time": "20170330103347",
      "values": [
         {
            "name": "temperature",
            "value": "32.6"
         }
       ]
    }
```

Restful API를 실행한 결과는 다음과 같습니다.

```sh
# 상황(context)가 "HotContext"이고, 상황에 따른 서비스(service)가 "hue_turnon_Blue"이며 그것에 해당하는 사물 제어정보를 리턴합니다.
[
    {
        "thingId": "S_HUE_light_3",
        "resourceId": "controller",
        "context": [
            "HotContext"
        ],
        "service": "hue_turnon_Blue",
        "controls": {
            "sat": "254",
            "hue": "46920",
            "bri": "254",
            "on": "true"
        }
    }
]
```
![사물추론 확인화면](./images/1.3_HowToInstallKsbFrameWork_07.png "사물추론 확인화면")