KSB 인공지능 프레임워크가 기본적으로 제공하는 컴포넌트의 목록입니다.
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| FileReader | ksb.csle.component.reader. FileReader |
파일 입력기 |
| HttpClientReader | ksb.csle.component.reader. HttpClientReader |
HTTP 클라이언트 기반 데이터 입력기 |
| HttpServerReader | ksb.csle.component.reader. HttpServerReader |
HTTP 서버 기반 데이터 입력기 |
| HttpWeatherClientReader | ksb.csle.component.reader. HttpWeatherClientReader |
HTTP 클라이언트 기반 동네기상 데이터 입력기 |
| KafkaOnDemandReader | ksb.csle.component.reader. KafkaOnDemandReader |
Kafka 데이터 입력기 |
| KafkaReader | ksb.csle.component.reader. KafkaReader |
Kafka용 데이터 입력기 |
| MongodbReader | ksb.csle.component.reader. MongodbReader |
Mongodb 데이터 입력기 |
| MultipleReaders | ksb.csle.component.reader. MultipleReaders |
다중입력기 |
| Onem2mHttpReader | ksb.csle.component.reader. Onem2mHttpReader |
OneM2M 데이터 입력기 |
| PhoenixReader | ksb.csle.component.reader. PhoenixReader |
Phoenix 기반의 HBase 데이터 입력기 |
| TableReader | ksb.csle.component.reader. TableReader |
JDBC 기반 데이터 입력기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| FilePipeReader | ksb.csle.component.pipe.stream.reader. FilePipeReader |
스트림 처리용 파일 입력기 |
| KafkaContextQueryPipeReader | ksb.csle.component.pipe.stream.reader. KafkaContextQueryPipeReader |
Kafka 토픽 쿼리 파이프라인 입력기 |
| KafkaPipeReader | ksb.csle.component.pipe.stream.reader. KafkaPipeReader |
카프카 스트림 입력기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| FileWriter | ksb.csle.component.writer. FileWriter |
파일 출력기 |
| HttpClientWriter | ksb.csle.component.writer. HttpClientWriter |
HTTP 클라이언트 기반 데이터 출력기 |
| KafkaWriter | ksb.csle.component.writer. KafkaWriter |
Kafka 데이터 출력기 |
| MongodbWriter | ksb.csle.component.writer. MongodbWriter |
Mongodb 데이터 출력기 |
| PhoenixWriter | ksb.csle.component.writer. PhoenixWriter |
Phoenix 기반의 HBase 데이터 출력기 |
| StdoutWriter | ksb.csle.component.writer. StdoutWriter |
표준출력(콘솔화면) 데이터 출력기 |
| TableWriter | ksb.csle.component.writer. TableWriter |
JDBC 기반 데이터 출력기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| ConsolePipeWriter | ksb.csle.component.pipe.stream.writer. ConsolePipeWriter |
콘솔 스트림 출력기 |
| FilePipeWriter | ksb.csle.component.pipe.stream.writer. FilePipeWriter |
파일 스트림 출력기 |
| HBasePipeWriter | ksb.csle.component.pipe.stream.writer. HBasePipeWriter |
HBase 스트림 출력기 |
| KafkaPipeWriter | ksb.csle.component.pipe.stream.writer. KafkaPipeWriter |
카프카 스트림 출력기 |
| MemoryPipeWriter | ksb.csle.component.pipe.stream.writer. MemoryPipeWriter |
스트림 출력기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| DLTrainOperator | ksb.csle.component.operator.analysis. DLTrainOperator |
텐서플로우 딥러닝 학습용 처리기 |
| RandomForestClassifierPredictOperator | ksb.csle.component.operator.analysis. RandomForestClassifierPredictOperator |
RandomForest 분류 모델을 이용하여 label 예측 |
| RandomForestClassifierTrainOperator | ksb.csle.component.operator.analysis. RandomForestClassifierTrainOperator |
RandomForest 분류 모델 생성 |
| SparkMLPredictOperator | ksb.csle.component.operator.analysis. SparkMLPredictOperator |
SparkML 예측 처리기 |
| TensorflowPredictOperator | ksb.csle.component.operator.analysis. TensorflowPredictOperator |
텐서플로우 예측용 오퍼레이터 |
| AutoSparkMLOperator | - | 기계학습모델 자동학습기 |
| DecisionTreeClassifier | - | Decision Tree Classifier 학습기 |
| DecisionTreeRegressor | - | Decision Tree Regressor 학습기 |
| LinearRegressionRegressor | - | Linear Regression Regressor 학습기 |
| NaiveBayesClassifier | - | Naive Bayes Classifier 학습기 |
| RandomForestClassifier | - | Random Forests Classifier 학습기 |
| RandomForestRegressor | - | Random Forests Regressor 학습기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크 |
|---|---|---|---|
| AgglomerativeClusteringOperator | ksb.csle.component.operator.cleaning. AgglomerativeClusteringOperator |
Agglomerative 클러스터링 처리기 | Link |
| DBScanOperator | ksb.csle.component.operator.cleaning. DBScanOperator |
DBSCAN 클러스터링 처리기 | Link |
| EMClusteringOperator | ksb.csle.component.operator.cleaning. EMClusteringOperator |
EM 클러스터링 처리기 | Link |
| EqualDepthBinningOperator | ksb.csle.component.operator.cleaning. EqualDepthBinningOperator |
동일 빈도수 이산화 처리기 | Link |
| EqualWidthBinningOperator | ksb.csle.component.operator.cleaning. EqualWidthBinningOperator |
동일 폭 이산화 처리기 | Link |
| GeneralizedLinearRegressionOperator | ksb.csle.component.operator.cleaning. GeneralizedLinearRegressionOperator |
Generalized Linear Regression 처리기 | Link |
| KMeansOperator | ksb.csle.component.operator.cleaning. KMeansOperator |
Kmeans 클러스터링 처리기 | Link |
| KMedoidsOperator | ksb.csle.component.operator.cleaning. KMedoidsOperator |
KMedoids 클러스터링 처리기 | Link |
| LinearRegressionOperator | ksb.csle.component.operator.cleaning. LinearRegressionOperator |
Linear Regression 처리기 | Link |
| MissingValueImputeOperator | ksb.csle.component.operator.cleaning. MissingValueImputeOperator |
데이터 공백 처리기 | Link |
| 컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크 |
|---|---|---|---|
| ConcatAndReshapeOperator | ksb.csle.component.operator.integration. ConcatAndReshapeOperator |
다수의 column을 조합하여 새로운 column 생성기 | Link |
| GroupByOperator | ksb.csle.component.operator.integration. GroupByOperator |
특정 조건에 따른 해당 column의 grouping 처리기 | Link |
| OrderByOperator | ksb.csle.component.operator.integration. OrderByOperator |
오름차순, 내림차순에 따라 row 정렬 처리기 | Link |
| TimeIndexAddOperator | ksb.csle.component.operator.integration. TimeIndexAddOperator |
Unix timestamp column 삽입 처리기 | Link |
| VectorAssembleColumnAddOperator | ksb.csle.component.operator.integration. VectorAssembleColumnAddOperator |
Spark ML 동작을 위한 Vector assemble 처리기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크 |
|---|---|---|---|
| AggregateOperator | ksb.csle.component.operator.reduction. AggregateOperator |
숫자형 데이터 통계값 (min, max, avg, std, count) 대체 | Link |
| ChiSquareSelectOperator | ksb.csle.component.operator.reduction. ChiSquareSelectOperator |
Chi-Square test를 이용한 column 선택처리기 | Link |
| ColumnRemoveOperator | ksb.csle.component.operator.reduction. ColumnRemoveOperator |
선택한 column들 삭제 처리기 | Link |
| ColumnSelectOperator | ksb.csle.component.operator.reduction. ColumnSelectOperator |
column 선택 및 재배열 처리기 | Link |
| ColumnSelectWithFileOperator | ksb.csle.component.operator.reduction. ColumnSelectWithFileOperator |
파일로부터 칼럼 선택 및 재배열 처리기 | |
| DecisionTreeInductOperator | ksb.csle.component.operator.reduction. DecisionTreeInductOperator |
Decision Tree Induction을 이용한 column 선택처리기 | Link |
| FilterOperator | ksb.csle.component.operator.reduction. FilterOperator |
특정 조건에 따른 row 필터 처리기 | Link |
| FilterUsingSqlOperator | ksb.csle.component.operator.reduction. FilterUsingSqlOperator |
SQL을 이용한 row 필터 처리기 | Link |
| GroupByFilterOperator | ksb.csle.component.operator.reduction. GroupByFilterOperator |
총계처리 후 필터링 | |
| OrderByFilterOperator | ksb.csle.component.operator.reduction. OrderByFilterOperator |
정렬 후 필터링 | |
| PCAOperator | ksb.csle.component.operator.reduction. PCAOperator |
PCA를 이용한 column 생성 처리기 | Link |
| RandomSamplingOperator | ksb.csle.component.operator.reduction. RandomSamplingOperator |
단순 무작위 표본 추출 처리기 | Link |
| StepwiseBackwardEliminateOperator | ksb.csle.component.operator.reduction. StepwiseBackwardEliminateOperator |
Stepwise Backward Elimination를 이용한 column 선택처리기 | Link |
| StepwiseForwardSelectOperator | ksb.csle.component.operator.reduction. StepwiseForwardSelectOperator |
Stepwise Forward Selection를 이용한 column 선택처리기 | Link |
| StratifiedSamplingOperator | ksb.csle.component.operator.reduction. StratifiedSamplingOperator |
계층화된 샘플에서 표본 추출 처리기 | Link |
| TimeWindowAggregateOperator | ksb.csle.component.operator.reduction. TimeWindowAggregateOperator |
Unit timestamp 정보를 이용하여 시간정보에 따라 aggregation 처리기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| ControlContextQueryOperator | ksb.csle.component.operator.service. ControlContextQueryOperator |
컨텍스트 및 제어 쿼리 처리기 |
| TensorflowServingOperator | ksb.csle.component.operator.service. TensorflowServingOperator |
텐서플로우 모델 예측 처리기 |
| WeatherQueryOperator | ksb.csle.component.operator.service. WeatherQueryOperator |
지식베이스 엔진 쿼리 처리기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 | 관련 링크 |
|---|---|---|---|
| AddConditionalColumnOperator | ksb.csle.component.operator.transformation. AddConditionalColumnOperator |
주어진 조건에 의해 새로운 column 생성 | |
| ChangeColumnDataTypeOperator | ksb.csle.component.operator.transformation. ChangeColumnDataTypeOperator |
column의 데이터 타입 변경 | |
| ExplodeColumnOperator | ksb.csle.component.operator.transformation. ExplodeColumnOperator |
array/map 타입 column의 각 element로부터 새로운 row 생성 | |
| FlattenOperator | ksb.csle.component.operator.transformation. FlattenOperator |
선택한 column의 모든 row을 하나의 row로 합치는 처리기 | |
| InterpolateOperator | ksb.csle.component.operator.transformation. InterpolateOperator |
일정한 간격으로 데이터를 보간하여 새로운 데이터프레임 생성 | Link |
| MinMaxScalingOperator | ksb.csle.component.operator.transformation. MinMaxScalingOperator |
최소/최대값을 기준으로 스케일링 처리기 | Link |
| NullReplaceOperator | ksb.csle.component.operator.transformation. NullReplaceOperator |
공백문자나 Zero 값 Null 대체기 | |
| OneHotEncodingOperator | ksb.csle.component.operator.transformation. OneHotEncodingOperator |
One-Hot-Encoding 처리기 | Link |
| PivotOperator | ksb.csle.component.operator.transformation. PivotOperator |
특정 column 내 값을 row의 schema 정보로 변환 처리기 | Link |
| RenameColumnOperator | ksb.csle.component.operator.transformation. RenameColumnOperator |
column 이름 변경 | |
| ReshapeWithTimeWindowOperator | ksb.csle.component.operator.transformation. ReshapeWithTimeWindowOperator |
Time window 값에 따라 shift된 row 생성 처리기 | |
| SelectWithTimeWindowOperator | ksb.csle.component.operator.transformation. SelectWithTimeWindowOperator |
Time window 값에 따라 shift된 row 선택 처리기 | Link |
| SplitColumnOperator | ksb.csle.component.operator.transformation. SplitColumnOperator |
array/map 타입 column의 element를 각 column으로 분리 | |
| StringIndexOperator | ksb.csle.component.operator.transformation. StringIndexOperator |
문자열 타입의 컬럼에 대한 색인 컬럼을 생성 | |
| TimeSynchronizeOperator | ksb.csle.component.operator.transformation. TimeSynchronizeOperator |
시간(timestamp)을 동기화하여 두 개의 데이터프레임 join | |
| TransposeOperator | ksb.csle.component.operator.transformation. TransposeOperator |
하나의 dataframe column을 row로 변환 처리기 | Link |
| VectorizeColumnOperator | ksb.csle.component.operator.transformation. VectorizeColumnOperator |
여러 column들을 모아서 하나의 vector 타입 column을 생성 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| KafkaContextQueryPipeOperator | ksb.csle.component.pipe.query.operator. KafkaContextQueryPipeOperator |
카프카 OnDemand 쿼리용 |
| OutputAggregatePipeOperator | ksb.csle.component.pipe.query.operator. OutputAggregatePipeOperator |
하나 이상의 질의결과를 축약하는 축약 오퍼레이터 |
| OutputCumulativePipeOperator | ksb.csle.component.pipe.query.operator. OutputCumulativePipeOperator |
질의를 수행하고 전달되는 결과를 append하여 전달하는 질의 오퍼레이터 |
| OutputRestfulContextQueryPipeOperator | ksb.csle.component.pipe.query.operator. OutputRestfulContextQueryPipeOperator |
질의를 수행하고 전달되는 결과를 단순전달하는 질의 오퍼레이터 |
| RouteMappingPipeOperator | ksb.csle.component.pipe.query.operator. RouteMappingPipeOperator |
매핑 기반 경로 변환 오퍼레이터 |
| RouteRestfulContextQueryPipeOperator | ksb.csle.component.pipe.query.operator. RouteRestfulContextQueryPipeOperator |
쿼리 기반 경로 컨텍스트 변환 오퍼레이터 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| FilterOperator | ksb.csle.component.pipe.stream.operator. FilterOperator |
스트림 파이프라인용 필터 |
| GroupByOperator | ksb.csle.component.pipe.stream.operator. GroupByOperator |
스트림 파이프라인용 그룹 처리기 |
| OrderByOperator | ksb.csle.component.pipe.stream.operator. OrderByOperator |
스트림 파이프라인용 row 정렬 처리기 |
| RenameColumnsPipeOperator | ksb.csle.component.pipe.stream.operator. RenameColumnsPipeOperator |
칼럼 이름 및 타입 변경 오퍼레이터 |
| SelectColumnsPipeOperator | ksb.csle.component.pipe.stream.operator. SelectColumnsPipeOperator |
스트림 파이프라인용 칼럼 선택기 |
| SparkMLPredictPipeOperator | ksb.csle.component.pipe.stream.operator. SparkMLPredictPipeOperator |
Pipeline기반 ML prediction용 operator |
| StreamAllJoinOperator | ksb.csle.component.pipe.stream.operator. StreamAllJoinOperator |
스트림 key기반 칼럼결합기 |
| StreamJoinOperator | ksb.csle.component.pipe.stream.operator. StreamJoinOperator |
두 개 이상의 입력데이터로부터 같은 keyword의 데이터 결합 |
| StreamTimeJoinOperator | ksb.csle.component.pipe.stream.operator. StreamTimeJoinOperator |
스트림 방식의 시간 조인 파이프라인 오퍼레이터 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| AggregationOperator | ksb.csle.didentification.privacy. AggregationOperator |
선택한 column들에 대한 aggregation 처리기 |
| BlankImputeOperator | ksb.csle.didentification.privacy. BlankImputeOperator |
특정 위치에 공백 및 별표 처리 |
| DataRangeOperator | ksb.csle.didentification.privacy. DataRangeOperator |
사용자 입력 기반 범주화 처리 |
| EncryptionOperator | ksb.csle.didentification.privacy. EncryptionOperator |
SHA-1기반 암호화기 |
| HeuristicOperator | ksb.csle.didentification.privacy. HeuristicOperator |
랜덤 스트링 기반 가명 처리기 |
| HidingOperator | ksb.csle.didentification.privacy. HidingOperator |
문자열 데이터 통계값(최빈문자열 또는 ....) 대체 |
| IdenReductionOperator | ksb.csle.didentification.privacy. IdenReductionOperator |
식별자 제거기 |
| PartialAggregateOperator | ksb.csle.didentification.privacy. PartialAggregateOperator |
outlier값 갖는 cell 통계값 대체 |
| PartialIdenReductionOperator | ksb.csle.didentification.privacy. PartialIdenReductionOperator |
식별자 중 ouliter값을 갖는 cell 값 대체 |
| QuasiReductionOperator | ksb.csle.didentification.privacy. QuasiReductionOperator |
준식별자 제거 |
| RandomNoiseOperator | ksb.csle.didentification.privacy. RandomNoiseOperator |
특정 위치에 잡음(랜덤값) 삽입 |
| RandomRoundingOperator | ksb.csle.didentification.privacy. RandomRoundingOperator |
숫자형, 문자열 데이터 올림, 반올림, 내림 |
| RearrangeOperator | ksb.csle.didentification.privacy. RearrangeOperator |
레코드 교환기 |
| RecordReductionOperator | ksb.csle.didentification.privacy. RecordReductionOperator |
outlier값 갖는 레코드 전체 값 대체 |
| RoundingOperator | ksb.csle.didentification.privacy. RoundingOperator |
숫자형 데이터 올림, 반올림, 내림 |
| SwappingOperator | ksb.csle.didentification.privacy. SwappingOperator |
레코드를 특정 값으로 변환 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| KBEServingRunner | ksb.csle.component.runner. KBEServingRunner |
지식베이스 엔진 쿼리 서빙 실행기 |
| PySparkRunner | ksb.csle.component.runner. PySparkRunner |
Spark MLlib을 이용한 training과 prediction을 위한 AutoML용 Spark 실행기 |
| ServingRunner | ksb.csle.component.runner. ServingRunner |
Akka 기반의 REST API Service 용 REST 서버 실행기 |
| SimpleSparkRunner | ksb.csle.component.runner. SimpleSparkRunner |
Spark 범용 실행기 |
| TensorflowServingRunner | ksb.csle.component.runner. TensorflowServingRunner |
텐서플로우 모델 서빙 실행기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| TensorflowRunner | ksb.csle.component.runner.analysis. TensorflowRunner |
Train과 predict을 위한 텐서플로우 실행기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| ServingPipeRunner | ksb.csle.component.pipe.runner. ServingPipeRunner |
온디멘드 오퍼레이터 파이프라인용 Rest 서버 실행기 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| BatchDummyController | ksb.csle.component.controller. BatchDummyController |
배치 입출력용 컨트롤러 |
| ExternalAnalysisController | ksb.csle.component.controller. ExternalAnalysisController |
데이터 분석기 컨트롤러 (텐서플로우 학습) |
| KBEServingController | ksb.csle.component.controller. KBEServingController |
지식베이스 엔진 기반 서빙 컨트롤러 |
| ServingWithKbController | ksb.csle.component.controller. ServingWithKbController |
ML/Context 융합 Serving 컨트롤러 |
| SparkSessionController | ksb.csle.component.controller. SparkSessionController |
Spark기반 제어용 컨트롤러 |
| SparkSessionOrStreamController | ksb.csle.component.controller. SparkSessionOrStreamController |
SparkSession/Stream 통합 컨트롤러 |
| SparkStreamController | ksb.csle.component.controller. SparkStreamController |
스트림 데이터 처리를 위한 제어기 |
| TensorflowServingController | ksb.csle.component.controller. TensorflowServingController |
텐서플로우 기반 서빙 컨트롤러 |
| WindowedSparkSessionOr StreamController |
ksb.csle.component.controller. WindowedSparkSessionOrStreamController |
윈도우 기능이 있는 Spark과 스트림 데이터 컨트롤러 |
| PySparkMLTrainer | - | Spark ML 학습용 컨트롤러 |
| 컴포넌트 이름 | 구현 클래스명 | 설명 |
|---|---|---|
| OnDemandCompositeServingRestfulController | ksb.csle.component.pipe.controller. OnDemandCompositeServingRestfulController |
온디멘드 Rest 방식의 API 융합서빙 컨트롤러 |
| OnDemandGenericController | ksb.csle.component.pipe.controller. OnDemandGenericController |
OnDemand 복합 컨트롤러 |
| StreamingGenericController | ksb.csle.component.pipe.controller. StreamingGenericController |
스트림 파이프라인용 컨트롤러 |