Newer
Older
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
---
html:
toc: true
offline: true
export_on_save:
html: true
---
# KMeans Operator
---
## Operator 설명
- n개의 data를 k개의 cluster로 나누는 것을 목적으로 하고 있다.
- 입력 데이터 집합의 각 데이터들과 k개의 cluster 중심점과의 거리를 각각 구하고 각 data는 가장 유사도가 높은 중심점에 각 데이터를 할당하게 된다.<br>
<img src="/images/4.1.1.4.kmeans_1.png" width="300">
1. 입력 데이터 집합에서 K(3)개의 데이터를 임의로 추출하고 이 데이터를 각 cluster의 중심으로 설정한다. 입력 데이터 집합의 각 데이터 들과 k개의 cluster 중심점과의 거리를 각각 구하고, 가장 유사도가 높은 중심점에 각 데이터를 할당하게 된다.
<img src="/images/4.1.1.4.kmeans_2.png" width="300">
2. 모두 할당하였으면 cluster의 중심점을 다시 계산한다.
<img src="/images/4.1.1.4.kmeans_3.png" width="300">
3. cluster가 바뀌지 않을 때까지 반복적으로 거리계산 및 cluster 할당 작업을 수행을 하게 된다.
## Operator 파라미터 설명
- k_value: cluster의 개수 (required)
- maxIterations: k-Means를 한번 수행할 때 수행되는 최대 반복 횟수. KMeans 시도 횟수 (required)
- maxRuns: 최적화된 임의 지점을 찾기 위한 시도 횟수 (optional)
- seed: random seed 값 (optional)
## 작동순서
1. 입력 DataFrame의 유효성 검사를 진행한다. (Numeric Columns)
2. DataFrame을 Vectors로 변환한다.
3. Spark ml의 KMeans 알고리즘을 실행한다.
4. 출력 DataFrame을 생성한다.
## Operator 모듈 테스트 결과
### 입력 데이터
|index| data1| data2| data3| data4| data5|
:--:|:---:|:---:|:---:|:---:|:--:
| 1|91.5775| 81.572| 84|73.2035|79.5918|
| 2|83.4467|72.9477| 92|60.6273|75.1917|
| 3|47.0239|51.3076| 31| 25.807|36.0382|
| 4|69.9559|61.0005| 76| 76.643|71.2145|
| 5|57.2462|53.9258| 79|65.2266|66.0508|
| 6|42.8488|46.1728| 7|31.9797|28.3842|
| 7|73.7949|64.0751| 98|61.2696|74.4483|
| 8|22.4626|31.7166| 6| 28.549|22.0886|
### 결과 데이터
|index| data1| data2| data3| data4| data5| CLUSTER|
:--:|:---:|:---:|:---:|:---:|:---:|:--:
| 1|91.5775| 81.572| 84|73.2035|79.5918| 0|
| 2|83.4467|72.9477| 92|60.6273|75.1917| 0|
| 3|47.0239|51.3076| 31| 25.807|36.0382| 1|
| 4|69.9559|61.0005| 76| 76.643|71.2145| 0|
| 5|57.2462|53.9258| 79|65.2266|66.0508| 0|
| 6|42.8488|46.1728| 7|31.9797|28.3842| 1|
| 7|73.7949|64.0751| 98|61.2696|74.4483| 0|
| 8|22.4626|31.7166| 6| 28.549|22.0886| 1|
- 결과 데이터의 CLUSTER column에서 각 data들이 할당된 cluster를 보여준다.
- K 값을 2로 설정하였으므로 위와 같이 2개의 cluster에 data들이 할당되는 것을 알 수 있다.
- parameter는 다음과 같이 설정 하였다.
```scala
val kMeansInfo = KMeansInfo.newBuilder()
.setKValue(2)
.setMaxIterations(100)
.setMaxRuns(10)
.setSeed(7)
.build
```