2019-03-05-ksbwebtoolkit-ssh-hostname-modify-manual.md

---
html:
  toc: true
  offline: true
export_on_save:
  html: true
---
# 호스트 PC의 SSH 포트와 hostname을 사용자가 원하는 설정으로 변경하기 위한 KSB 웹툴킷 설정 방법
---

현재 배포한 KSB 웹툴킷은 호스트 PC의 SSH 포트를 2243으로 변경해서 사용합니다.
왜냐하면 KSB 웹툴킷의 도커 컨테이너에서 SSH 22번을 사용하기 때문에 포트 충돌을 피하기 위함입니다.

만약 사용자가 호스트 PC의 SSH 포트를 22번을 유지하고 KSB 웹툴킷의 SSH 포트를 2243번으로 변경하여 사용하기를 원하는 경우를 위해 아래의 메뉴얼을 제공합니다.
또한 호스트 PC의 hostname을 csle1으로 사용하지 않고 사용자가 원하는 이름으로 사용하는 설정 방법도 함께 설명합니다.

만약 자신의 PC 환경이 아래와 같다고 가정한 경우, HOST PC에서 수정해야 하는 사항과 KSB 웹툴킷 docker 이미지를 변경하는 방법에 대해서 알려드립니다.

[중요] hostname은 소문자로 설정하시기 바랍니다. hadoop을 사용한다면 uppercase 사용시 문제가 됩니다.
```
HOST PC hostname : csleserver
HOST PC IP : 192.168.1.102
HOST PC SSH PORT : 22
HOST PC 사용자 계정 : csle
```

## [Host PC] csle 사용자 계정(권한: administrator) 생성하기
기존 메뉴얼 참고
## [Host PC] hostname을 csle1으로 변경하기
기존 메뉴얼 참고
## [Host PC] java-8-oracle 설치하기
기존 메뉴얼 참고
## [Host PC] KSB 툴박스 관련 프로그램 설치하기
기존 메뉴얼 참고

## [Host PC] SSH port 변경 및 root 로그인 가능하도록 SSHD config 수정하기
sudo vi /etc/ssh/sshd_config 명령을 이용해서 자신이 원하는 port로 수정합니다.
```
Port 22
# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes
```

## [Host PC] SSH config 수정하기 (known_hosts에 호스트 저장 질문을 하지 않도록 설정)
기존 메뉴얼 참고

## [Host PC] Docker 설치하기
기존 메뉴얼 참고

## [Host PC] /etc/hosts 수정하기
아래와 같이 자신의 hostname을 추가 설정합니다.
```
127.0.0.1   localhost
# 아래 주석처리. Hdfs 연동시 문제가 생김.
#127.0.1.1  csleserver

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

192.168.1.102 csleserver master
```

## [Host PC] bashrc 설정 추가하기
기존 메뉴얼 참고

## [Host PC] 크롬 설치하기 (optional)
기존 메뉴얼 참고

## [Host PC] KSB 툴박스 설치 및 docker image 다운받기
기존 메뉴얼 참고

## [Host PC] KSB 툴박스 docker 이미지내 SSH 키를 host pc에 복사하기
기존 메뉴얼 참고

## [Host PC] SSH 재시작하기
기존 메뉴얼 참고

## [Host PC] ksb-csle 폴더 권한 변경하기
기존 메뉴얼 참고

## [HOST PC] startDockerCsle.sh 수정하기
바뀐 hostname을 이용하여 KSB 웹툴킷 docker 컨테이너를 실행하기 위해서 아래와 같이 수정합니다.
```
cd ~/ksb-csle/docker/1.0-host
vi startDockerCsle.sh
```

```
#!/bin/bash
sudo service postgresql stop

docker network rm csle_cluster csle_standalone
docker rm -f csle1

echo "csle1 slave container..."
echo "start csle1 slave container..."
docker run --rm -itd \
                --net=host \
                -v /home/csle/ksb-csle:/home/csle/ksb-csle \
                -v /etc/localtime:/etc/localtime:ro \
                -v /etc/timezone:/etc/timezone \
                --user=csle \
                --name=csle1 \
[수정]           --hostname=$HOSTNAME \
                ksbframework/ksb_toolbox:1.0.0 bash

docker exec -it csle1 bash
```

## [HOST PC] ksb 웹툴킷 실행하기
```
./startDockerCsle.sh
```

아래 부분은 docker 컨테이너 내부에서 환경설정을 수정하는 방법을 설명합니다.
먼저 docker 컨테이너의 ssh 포트를 변경합니다.

## [Docker 컨테이너] sshd_config port 변경하기
```
sudo vi /etc/ssh/sshd_config
```
```
Port 2243
# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes
```

## [Docker 컨테이너] Hadoop 수정하기
바뀐 docker 컨테이너의 ssh 포트 (2243)을 이용해서 hadoop을 사용하기 위해 아래와 같이 환경설정 파일을 수정합니다.

```
cd
cd hadoop/etc/hadoop
```

### core-site.xml 수정하기
```
vi core-site.xml
:%s/csle1/csleserver/g
```

### master 수정하기
```
vi masters
:%s/csle1/csleserver/g
```

### slaves 수정하기
```
vi slaves
:%s/csle1/csleserver/g
```

### yarn-site.xml 수정하기
```
vi yarn-site.xml
:%s/csle1/csleserver/g
```

### hadoop-env.sh 추가하기
```
vi hadoop-env.sh
export HADOOP_SSH_OPTS="-p 2243"
```

## [Docker 컨테이너] Hbase 수정하기
### hbase-site.xml 수정하기
```
cd ~/hbase/conf
vi hbase-site.xml
:%s/csle1/csleserver/g
```

### regionservers 수정하기
```
vi regionservers
:%s/csle1/csleserver/g
```
### hbase-env.sh 수정하기
```
vi hbase-env.sh
export HBASE_SSH_OPTS="-p 2243"
```

## [Docker 컨테이너] startService.sh 수정하기
```
cd
vi startService.sh
```
```
#!/bin/bash
export TERM=xterm
stty rows 36 cols 150
sudo service ssh restart
sudo service postgresql restart

bash /home/csle/zookeeper-3.4.9/bin/zkServer.sh start
[수정] ssh csle@master -p 2243 "cd /home/csle/zookeeper-3.4.9/bin; ./zkServer.sh start"
[수정] ssh csle@csleserver -p 2243 "cd /home/csle/zookeeper-3.4.9/bin; ./zkServer.sh start"
start-dfs.sh
start-yarn.sh
start-hbase.sh
/home/csle/kafka/bin/kafka-server-start.sh /home/csle/kafka/config/server.properties &
/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start &
/home/csle/start-mongo.sh &
sleep 5
cd /home/csle/ksb-csle/bin
/home/csle/ksb-csle/bin/startKnowledge_service.sh localhost 9876
```

## [Docker 컨테이너] zookeeper 수정하기
```
vi ~/zookeeper/conf/zoo.cfg
```
```
server.1=csleserver:2888:3888
```

## [Docker 컨테이너] kafka 수정하기
```
vi ~/kafka/config/server.properties
```
```
advertised.listeners=PLAINTEXT://csleserver:9092
zookeeper.connect=csleserver:2181
```

## [Docker 컨테이너] initHdfs.sh 수정하기
사용자 편의를 위해서 예제를 실행하기 위한 파일들을 hadoop 파일시스템에 등록합니다.
```
vi ~/ksb-csle/bin/initHdfs.sh
```
```
#!/bin/bash
hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/
hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model
hdfs dfs -chown ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/
hdfs dfs -chown ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/dataset
hdfs dfs -chown ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/model

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/input
hdfs dfs -put /home/csle/ksb-csle/examples/input/input_kmeans.csv  /user/ksbuser_etri_re_kr/dataset/input/
hdfs dfs -put /home/csle/ksb-csle/examples/input/201509_2.csv  /user/ksbuser_etri_re_kr/dataset/input/
hdfs dfs -put /home/csle/ksb-csle/examples/input/adult.csv  /user/ksbuser_etri_re_kr/dataset/input/
hdfs dfs -put /home/csle/ksb-csle/examples/input/input.csv  /user/ksbuser_etri_re_kr/dataset/input/
hdfs dfs -put /home/csle/ksb-csle/examples/input/trainset.csv  /user/ksbuser_etri_re_kr/dataset/input/
hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset
hdfs dfs -put /home/csle/ksb-csle/examples/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset/*.*  /user/ksbuser_etri_re_kr/dataset/BatchAutoMLTrainInSingleEngine/hue_train_dataset
hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model/autosparkml/test/0000
hdfs dfs -put /home/csle/ksb-csle/examples/autosparkml/test/automl_test/0000/*  /user/ksbuser_etri_re_kr/model/autosparkml/test/0000

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/recurrent
hdfs dfs -put /home/csle/ksb-csle/components/src/main/python/recurrent/* /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/recurrent
hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/
hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/model/autosparkml/

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/pyModules/ChatbotServing
hdfs dfs -put /home/csle/ksb-csle/examples/pyModules/ChatbotServing/*  /user/ksbuser_etri_re_kr/dataset/pyModules/ChatbotServing

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/model/kangnam
hdfs dfs -put /home/csle/ksb-csle/examples/models/kangnam/model/0001 /user/ksbuser_etri_re_kr/model/kangnam

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/input/traffic/
hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_kangnam_cols.txt /user/ksbuser_etri_re_kr/dataset/input/traffic/
hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_kangnam_cols2.txt /user/ksbuser_etri_re_kr/dataset/input/traffic/
hdfs dfs -put /home/csle/ksb-csle/examples/input/trafficStreamingSplitSample.json /user/ksbuser_etri_re_kr/dataset/input/traffic/
hdfs dfs -put /home/csle/ksb-csle/examples/input/traffic_processing.csv /user/ksbuser_etri_re_kr/dataset/input/traffic/

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam
hdfs dfs -put /home/csle/ksb-csle/components/src/main/python/kangnam/* /user/ksbuser_etri_re_kr/dataset/tensorflowTrainSource/kangnam

hdfs dfs -mkdir -p /user/ksbuser_etri_re_kr/dataset/iris_dataset
hdfs dfs -put /home/csle/ksb-csle/examples/dataset/iris_dataset/*.*  /user/ksbuser_etri_re_kr/dataset/iris_dataset
hdfs dfs -chown -R ksbuser_etri_re_kr:supergroup  /user/ksbuser_etri_re_kr/dataset/iris_dataset
```

### [Docker 컨테이너] hdfs 초기화하기
hostname이 변경되었으므로 hdfs namenode를 초기화해야 합니다.

```
cd
sudo rm -rf data
hdfs namenode -format
sudo service ssh start
start-dfs.sh
cd ksb-csle/bin/
./initHdfs.sh
stop-dfs.sh
sudo service ssh stop
```

### [Docker 컨테이너] ksb-csle/conf/ksb.conf 수정하기
```
vi ~/ksb-csle/conf/ksb.conf
```
```
hadoop {
    home = "/hadoop/"
[수정]   master = "csleserver"
    port = "9000"
    hdfs {
        activated = "true"
        baseDir = "/user/"
        modelPath = "/model"
        datasetPath = "/dataset"
    }
    webhdfs {
        port = "50070"
        baseDir = "/webhdfs/v1"
    }
```

### [Docker 컨테이너] UI 웹툴킷 설정 수정하기
바뀐 hostname을 UI 웹툴킷에 적용하기 위해 아래와 같이 웹툴킷 UI에서 관련 정보를 수정합니다.

```
sudo service postgresql start
/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh start &

csleserver:8080 접속 및 로그인 합니다. 에러는 무시해도 됩니다.

Management - system configuration- webhdfs.host : csleserver 수정

/home/csle/ui_of_csle/apache-tomcat-7.0.81/bin/catalina.sh stop
sudo service postgresql stop
```

### [HOST PC] docker 이미지 저장하기
위에서 지금까지 수정한 docker 컨테이너의 수정내용을 이미지로 저장합니다.
HOST PC의 터미널에서 실행하여야 합니다.

```
docker commit csle1 ksbframework/ksb_toolbox:1.0.1
```

### [HOST PC] startDockerCsle.sh 수정하기
바뀐 이미지를 이용하여 KSB 웹툴킷 docker 컨테이너를 실행하기 위해 아래와 같이 수정합니다.
```
#!/bin/bash
sudo service postgresql stop

docker network rm csle_cluster csle_standalone
docker rm -f csle1

echo "csle1 slave container..."

docker run --rm -itd \
                --net=host \
                -v /home/csle/ksb-csle:/home/csle/ksb-csle \
                -v /etc/localtime:/etc/localtime:ro \
                -v /etc/timezone:/etc/timezone \
                --user=csle \
                --name=csle1 \
                --hostname=$HOSTNAME \
[수정]           ksbframework/ksb_toolbox:1.0.1 bash

docker exec -it csle1 bash
```

### [HOST PC] ksb 웹툴킷 실행하기
```
cd ~/ksb-csle/docker/1.0-host$
./startDockerCsle.sh
```

### [Docker 컨테이너] KSB 툴박스 초기화하기

```
cd
./startService.sh
cd ~/ksb-csle/bin
./startKsbApiServing.sh
```

## [주의사항] 탑재되어 있는 예제를 실행하는 경우 수정해야 하는 사항
탑재되어 있는 예제에는 csle1 주소를 기준으로 작성되어 있습니다.
따라서, kafka reader / writer 예제에서 다음의 파라미터들의 변경이 필요합니다.
```
bootStrapServer 주소 : csleserver:9092
zooKeeperConnect 주소: csleserver:2181
```

아래 예제들에서 kafka reader/writer를 사용하므로 파라미터의 수정이 필요합니다.
```
2.5.7.RealtimeIngestToPredictInSingleEngine 	
2.5.8.RealtimeIngestToServingInTwoEngines
2.5.9.RealtimeIngestToServingWithKbInTwoEngines
2.5.12.TfStreamPredictionMnist
2.6.1.TrafficPreprocessing
2.6.6.TrafficStreamingPredict
2.6.7.TrafficEndToEnd
```

또한, hdfs://csle1:9000 주소에 file write 하는 예제들도 hdfs://csleserver:9000로 자신의 hostname에 맞도록 수정되어야 합니다.
```
아래 예제들의 파라미터의 수정이 필요합니다.
2.5.10.HourlyTensorflowTraining
2.5.14.TrafficPeriodicTrainAndK8sServingExample
2.6.2.TrafficTraining
2.6.4.TrafficStreamServing
```

2.5.12.TfStreamPredictionMnist 예제의 경우, 테스트 코드를 수정한 후 테스트 합니다.
아래의 스크립트를 수정합니다.
```
vi ~/ksb-csle/examples/models/mnist/client/kafka-json/consume-mnist-output.sh
```
```
#!/bin/bash
KAFKA_CONSUMER=$KSB_HOME/tools/kafka_2.11-0.10.0.1/bin/kafka-console-consumer.sh
SERVER=csleserver:9092
TOPIC=mnist_output

$KAFKA_CONSUMER --zookeeper csleserver:2181 --bootstrap-server $SERVER --topic $TOPIC
```

아래의 스크립트를 수정합니다.
```
vi ~/ksb-csle/examples/models/mnist/client/kafka-json/publish-mnist-input.sh
```

```
#!/bin/bash

INPUT_FILE=mnist_input.json
KAFKA_PRODUCER=/home/csle/ksb-csle/tools/kafka_2.11-0.10.0.1/bin/kafka-console-producer.sh
[수정] BROKERS=csleserver:9092
TOPIC=mnist_input

cat $INPUT_FILE | $KAFKA_PRODUCER --broker-list $BROKERS --topic $TOPIC
```

2.5.13.ConvergedServingEndToEndExample 예제를 실행하기 전, 아래와 같이 수정 후 실행합니다.

```
vi ~/ksb-csle/ksblib/ksblib/dockerize/base.py
:%s/csle1/csleserver/g
:%s/2243/22/g
```