RESEARCH

RESEARCH

Time-series Analytics

시계열 데이터 기반 알고리즘 연구

시계열 데이터 기반 이상치 탐지 및 예측 알고리즘 연구
시계열 데이터의 효과적인 활용을 위한 표상 학습 연구

Publications

Heejeong Choi, Pilsung Kang*.

본 논문에서는 시계열 데이터의 분석을 위해 다중 작업 자가 지도 학습(Multi-Task Self-Supervised Learning) 프레임워크를 제안합니다. 이 방법은 시계열 데이터의 다양한 일관성을 학습하여, 다양한 다운스트림 작업(예: 분류, 예측, 이상 탐지)에서 사용될 수 있는 일반적이고 강력한 데이터 표현을 학습합니다.

방법론 설명:

  1. 다중 작업 자가 지도 학습 프레임워크 제안:

    • 시계열 데이터에서 맥락적 일관성 (Contextual Consistency), 시간적 일관성 (Temporal Consistency), **변환 일관성 (Transformation Consistency)**을 통합하여 동시에 학습하는 프레임워크를 개발.
    • 세 가지 일관성에 기반한 대조 학습(Contrastive Learning)을 통해 다양한 시계열 데이터 특성을 포괄적으로 학습.

  2. 불확실성 가중 접근(Uncertainty Weighting Approach):

    • 여러 대조 손실 함수(Contrastive Loss)를 통합할 때 각 작업의 불확실성을 고려하여 최적화하는 방법을 도입, 이를 통해 다중 작업 학습의 효율성을 극대화.
주요 기여 (Contributions):
  • 다중 일관성을 학습하는 새로운 자가 지도 학습 프레임워크 개발:
    • 시계열 데이터의 다양한 특성을 포괄적으로 학습하여 여러 다운스트림 작업에서 사용할 수 있는 일반적인 표현을 효과적으로 학습.
  • 다양한 다운스트림 작업에서 성능 향상:
    • 시계열 분류, 예측, 이상 탐지와 같은 다양한 작업에서 기존 벤치마크 모델들을 능가하는 성능을 입증.
  • 도메인 간 전이 학습(Transfer Learning) 가능성 검증:
    • 학습된 모델이 서로 다른 도메인 간에 효과적으로 전이될 수 있음을 실험적으로 확인하여 다양한 응용 가능성을 제시.
  • 불확실성 가중 접근의 도입으로 다중 작업 학습의 안정성 향상:
    • 다양한 대조 학습의 손실을 균형 있게 최적화하여 학습 안정성을 높이고, 효율적인 학습을 달성.

Hyeongwon Kang, Pilsung Kang*.

이 논문에서는 다변수 시계열 데이터의 이상 탐지를 위해 변수 간 주의 메커니즘을 사용하는 Transformer 기반의 새로운 방법론인 Variable Temporal Transformer (VTT)를 제안합니다. 이 모델은 Transformer의 셀프 어텐션 메커니즘을 활용하여 변수 간 상관관계와 시간적 의존성을 효과적으로 모델링하여 이상을 탐지합니다.

방법론 설명:

  1. Variable Temporal Transformer (VTT) 제안:

    • Temporal Self-Attention과 Variable Self-Attention 메커니즘을 결합하여 다변수 시계열 데이터에서 변수 간 상관관계와 시간적 의존성을 동시에 고려할 수 있는 구조를 설계.
    • 기존의 Transformer 모델의 한계인 변수 간 상관관계 학습 부족 문제를 해결하고자 변수 주의 메커니즘을 추가하여 개선된 모델 성능을 달성.

  2. 재구성 기반 비지도 학습 모델:

    • 모델이 정상 데이터 분포를 학습하고, 이후 재구성된 데이터와의 차이를 통해 이상 점수를 계산하여 이상 탐지를 수행하는 비지도 학습 방식 채택.

  3. F1PA%K 지표 사용:

    • 기존의 Point Adjustment F1 점수의 성능 과대평가 문제를 해결하기 위해 새로 제안된 평가 지표인 F1PA%K를 활용하여 모델 성능을 객관적으로 평가.
주요 기여 (Contributions):

  • 변수 주의 메커니즘 도입:

    • 기존 Transformer의 시간적 의존성 학습 외에 변수 간의 상관관계를 고려하여 이상 탐지 성능을 크게 향상시킴.

  • 이상 발생 시점과 원인 변수 추정 가능:

    • 추론 중에 변수 간의 연관 가중치 변화를 추적하여 이상 발생 시점과 원인 변수를 정확히 추정할 수 있는 해석 가능한 모델 개발.

  • 최첨단 성능 달성:

    • 네 가지 실제 다변수 시계열 데이터셋을 사용한 실험에서 기존의 비지도 학습 기반 이상 탐지 모델들을 능가하는 성능을 입증.

  • 이상 탐지 결과의 해석 가능성 제시:

    • 원 데이터와 재구성된 데이터의 어텐션 맵을 비교하여 이상 탐지 결과를 해석할 수 있는 모듈을 제안하고, 이를 통해 이상 발생 원인을 이해하고 설명할 수 있는 방법론 제공.

Heejeong Choi, Subin Kim, Pilsung Kang*.

 

이 논문은 다변수 시계열 데이터의 이상 탐지를 위해 다중 해상도 앙상블과 예측 코딩을 사용하는 새로운 재귀적 자동 인코더 모델(RAE-MEPC)을 제안합니다. 제안된 모델은 복잡한 시계열 데이터의 다양한 시간적 의존성을 효과적으로 학습하여 이상을 정확하게 탐지할 수 있습니다.

방법론 설명:

  1. 다중 해상도 앙상블 인코딩 (Multi-Resolution Ensemble Encoding):

    • 여러 해상도의 시간적 종속성을 학습하기 위해 서로 다른 인코딩 길이를 가진 다중 서브 인코더를 사용하여 다양한 해상도의 시계열 데이터를 통합하여 표현.

  2. 다중 해상도 앙상블 디코딩 (Multi-Resolution Ensemble Decoding):

    • 디코딩 과정에서도 다중 해상도를 활용하여 낮은 해상도 정보가 높은 해상도 출력을 디코딩할 수 있도록 함으로써 재구성 성능을 향상.

  3. 예측 코딩 (Predictive Coding):

    • 인코더가 예측 작업의 관점에서 시간적 특성을 학습할 수 있도록 보조 작업으로 미래 시계열을 예측하여 시간적 종속성을 더 잘 학습하도록 유도.
주요 기여 (Contributions):

 

  • 다중 해상도 의존성 학습을 위한 새로운 방법 제안:

    • 다양한 해상도의 종속성을 학습하여 복잡한 시계열 데이터의 다양한 패턴을 포괄적으로 학습할 수 있도록 함.

  • 예측 코딩 도입으로 시간적 정보 학습 강화:

    • 재구성 기반 방법에 예측 코딩을 추가하여 더 풍부한 정상 시계열 표현을 학습하고, 이상 탐지 성능을 향상시킴.

  • 기존 벤치마크 모델 대비 우수한 성능 달성:

    • 다양한 실제 벤치마크 데이터셋에서 제안된 모델이 기존의 대표적인 모델들보다 뛰어난 성능을 보임을 실험적으로 입증.

  • 다변수 시계열 데이터에 대한 포괄적이고 효과적인 이상 탐지 방법 제공:

    • 복잡한 시계열 데이터의 다양한 특성을 효과적으로 학습하여 실제 산업 응용에서 사용할 수 있는 강력한 이상 탐지 모델을 제시.

Seonggye Lee, Pilsung Kang*.

본 논문은 시계열 표현 학습에서 효과적인 대조 학습을 위해 새로운 손실 함수인 FoN (Focus on Negative samples) 손실을 제안합니다. FoN 손실은 K-평균 클러스터링을 사용하여 앵커와 유사한 부정적 샘플에 더 높은 학습 가중치를 부여하여 시계열 데이터의 더 나은 표현을 학습할 수 있도록 합니다.

방법론 설명:

  1. FoN 손실 함수(Focus on Negative samples Loss) 제안:

    • K-평균 클러스터링을 통해 앵커와 부정적 샘플 간의 유사도를 기반으로 학습 가중치를 계산하여, 대조 학습 과정에서 더 효과적인 부정적 샘플을 선택하여 학습하도록 설계.

  2. 모델 및 작업에 무관한 손실 함수:

    • FoN 손실은 기존 대조 학습 기반 시계열 표현 학습 방법에 쉽게 적용될 수 있으며, 모델-agnostic 및 작업-agnostic한 성격을 가집니다. 다양한 모델(TS2Vec, TS-TCC, CoST)에 적용하여 성능 향상을 입증하였습니다.

  3. 효율적인 학습 및 성능 향상:

    • FoN 손실을 적용한 모델은 기본 모델에 비해 적은 학습 에포크(epoch)로도 더 높은 성능을 달성하며, 학습 효율성을 높이는 데 기여합니다.
주요 기여 (Contributions):

  • 새로운 부정적 샘플 학습 방법 제안:

    • 부정적 샘플과 앵커 간의 클러스터 중심 간 거리를 기반으로 가중치를 부여하여, 시계열 데이터의 표현 학습에서 하드 네거티브 샘플(hard negative samples)의 이점을 제대로 반영.

  • 모델-agnostic 및 작업-agnostic 성능 개선 입증:

    • 다양한 시계열 표현 학습 모델(TS2Vec, TS-TCC, CoST)과 작업(단변량/다변량 분류, 다변량 예측)에서 일관된 성능 향상을 기록, FoN 손실이 모델과 작업에 무관하게 효과적임을 실험적으로 확인.

  • 적은 학습 에포크로 더 높은 성능 달성:

    • 기존 모델 대비 50% 적은 학습 에포크만으로도 멀티변량 시계열 분류 작업에서 우수한 성능을 기록하여, 하드 네거티브 샘플을 반영한 학습의 이점을 실험적으로 증명.

  • 다양한 데이터셋에서 성능 향상:

    • 다변량 예측에서 평균 4.27%의 MSE 성능 향상과 단변량/다변량 분류 작업에서 각각 평균 1.5%p, 1.7%p의 정확도 향상을 기록, 시계열 데이터 분석 성능을 높이는 데 기여.

Natural Language Processing

자연어 기반 알고리즘 연구

대화 시스템 평가 및 학습 알고리즘 연구 
텍스트 정보 추출 알고리즘 연구
문서 요약을 위한 토픽 분할 및 비지도 학습 연구

Publications

Gunho No+, Yukyung Lee+, Hyeongwon Kang, Pilsung Kang*. (+: Equally contributed)

본 논문에서는 사전 학습된 언어 모델(Pre-trained Language Model, PLM)을 활용하여 로그 데이터의 이상 탐지를 위한 훈련이 필요 없는 검색 기반 모델인 RAPID를 제안합니다. RAPID는 로그 데이터를 자연어로 취급하고 토큰 수준의 정보를 효과적으로 활용하여, 로그별 학습 없이 실시간 이상 탐지를 가능하게 합니다.

방법론 설명:

  1. 훈련 없이 검색 기반 이상 탐지 (Training-free Retrieval-based Anomaly Detection):

    • 로그 데이터에 대한 학습 없이 사전 학습된 언어 모델(PLM)을 사용하여 로그의 표현을 추출하고, 테스트 로그와 유사한 정상 로그를 검색하여 비교함으로써 이상 여부를 판단하는 방법론을 개발.

  2. 토큰 수준의 정보 활용 (Utilization of Token-level Information):

    • 로그 데이터의 세부적인 의미를 고려하여 각 토큰의 의미 정보를 반영함으로써 미세한 로그 이상도 정확하게 탐지할 수 있도록 함.

  3. 효율적인 추론 프로세스 (Efficient Inference Process):

    • 실시간 애플리케이션에서 사용할 수 있도록 간결하고 빠른 추론 프로세스를 설계하여 실제 환경에서의 적용성을 향상.
주요 기여 (Contributions):

 

  • 로그별 학습이 필요 없는 이상 탐지 프레임워크 제안:

    • 사전 학습된 언어 모델을 사용하여 로그별 학습이 필요 없는 이상 탐지 방법론을 제안하여 실시간 탐지를 가능하게 함.

  • 토큰 수준의 세부 정보 활용으로 성능 향상:

    • 로그 데이터 내의 세부적인 토큰 정보를 활용하여 보다 정확한 이상 탐지를 구현, 기존의 시퀀스 수준 정보만을 활용하는 방법보다 높은 성능을 달성.

  • 효율적인 추론 시간 보장:

    • 코어 셋(core set) 기술을 도입하여 필요한 계산량을 줄이고, 이를 통해 실시간 로그 이상 탐지에서 높은 효율성을 보장.

  • 다양한 데이터셋에서 뛰어난 성능 입증:

    • BGL, Thunderbird, HDFS 등 대표적인 벤치마크 데이터셋에서의 실험 결과, RAPID는 학습이 필요 없는 상태에서도 기존의 감독 학습 및 비지도 학습 모델과 견줄 만한 성능을 입증.

Yukyung Lee, Takyoung Kim, Hoonsang Yoon, Pilsung Kang, Junseong Bang, Misuk Kim*.

본 논문은 대화 상태 추적(Dialogue State Tracking, DST)을 개선하기 위해 엔티티 적응 사전 학습(Entity Adaptive Pre-training)을 활용하는 새로운 방법론인 DSTEA를 제안합니다. 이 방법은 대화의 중요한 엔티티를 집중적으로 학습함으로써 DST 모델의 성능을 향상시키는 데 중점을 둡니다.

방법론 설명:

  1. 엔티티 적응 사전 학습(Entity Adaptive Pre-training):

    • 대화 데이터에서 중요한 엔티티를 추출하여 모델 학습에서 더 높은 중요도를 부여하고 이를 통해 대화 상태 추적에 적합한 표현을 학습하도록 설계.
    • 사전 학습 과정에서 선택적 지식 마스킹(Selective Knowledge Masking)을 사용하여 엔티티가 포함된 토큰에 대해 더 높은 마스킹 확률을 부여.

  2. 선택적 지식 마스킹 전략(Selective Knowledge Masking Strategy):

    • 엔티티 정보가 포함된 토큰에 높은 마스킹 확률을 적용하여, 중요한 정보가 집중적으로 학습될 수 있도록 함.
    • 여러 엔티티 추출 방법(예: ontology, NER, spaCy, flair)을 결합하여 더욱 풍부한 지식 표현을 제공.

  3. 다양한 DST 모델과의 결합 및 성능 개선:

    • DSTEA는 BERT 기반의 어떤 신념 추적기(belief tracker)에도 적용할 수 있으며, 기존 모델(SOM-DST, Trippy, SAVN, STAR)과 결합하여 MultiWOZ 2.0, 2.1, 2.2 데이터셋에서 성능을 향상시킴.
주요 기여 (Contributions):

  • 효과적인 엔티티 중심 학습 프레임워크 제안:

    • DSTEA는 대화 상태 추적에서 중요한 엔티티를 집중적으로 학습함으로써 모델 성능을 개선하는 새로운 학습 전략을 제안.

  • 모든 BERT 기반 모델에 적용 가능한 범용성 확보:

    • 제안된 방법론은 BERT를 사용하는 모든 DST 모델에 쉽게 적용될 수 있으며, 추가적인 외부 대화 데이터 없이도 성능 향상이 가능함을 입증.

  • 다양한 엔티티 추출 방법의 결합을 통한 최적의 성능 달성:

    • 네 가지 엔티티 추출 방법을 결합하여 각기 다른 단어 및 구 수준의 엔티티를 효과적으로 학습함으로써 최고 성능을 달성.

  • 실험적 검증을 통한 성능 향상 확인:

    • MultiWOZ 2.0, 2.1, 2.2 데이터셋에서 공동 목표 정확도(Joint Goal Accuracy)가 최대 2.69%까지 향상되었음을 실험적으로 입증.

Sangmin Lee, Suzie Oh, Saeran Park, Guijin Son, Pilsung Kang*.

본 논문에서는 금융 도메인에서의 대형 언어 모델(LLMs) 성능을 향상시키기 위해 고품질 근거를 포함한 금융 도메인 지시 조정 데이터셋인 FINALE을 제안합니다. FINALE은 Chain-of-Thought (CoT) 프롬프팅을 활용해 모델이 더 나은 추론 능력을 학습할 수 있도록 돕고, 결과적으로 금융 분야의 다양한 작업에서 사용자 이해도를 증진시킵니다.

방법론 설명:

  1. 고품질 근거를 포함한 금융 도메인 데이터셋 생성:

    • FINALE은 사전 학습된 언어 모델을 이용해 금융 문맥에 맞는 고품질의 근거를 자동 생성하고, 품질 필터링을 통해 선별된 데이터를 제공.

  2. Chain-of-Thought 프롬프팅 기법 적용:

    • 모델이 답변을 생성하기 전에 이유와 근거를 생성하도록 유도하여, 더 정확한 답변과 설명을 제공할 수 있는 학습 데이터셋을 구성.

  3. 효율적인 데이터 생성 파이프라인 제공:

    • 최소한의 인간 개입으로 고품질 근거를 생성하기 위한 데이터 생성 파이프라인을 제안. GPT-4와 Gemini-Pro와 같은 모델을 활용하여 고품질의 근거를 자동으로 생성하고 필터링 과정을 거쳐 품질을 보장.
주요 기여 (Contributions):

  • 금융 도메인에 특화된 지시 조정 데이터셋(FINALE) 개발:

    • 짧은 답변에 고품질의 근거를 추가하여 금융 도메인에서의 모델 성능을 개선할 수 있는 데이터셋 제공.

  • 모델 성능 및 이해도 개선:

    • FINALE로 훈련된 모델은 다른 지시 조정 데이터셋으로 훈련된 모델에 비해 평균 9%의 성능 향상을 보였으며, 인간 평가에서는 생성된 텍스트의 이해도가 4배 높게 평가됨.

  • 훈련 효율성 및 일반 성능 유지:

    • 매우 적은 양의 데이터(100 또는 400 인스턴스)만으로도 기존의 지시 조정 모델 성능을 초과하였으며, 일반 성능 감소가 최소화됨을 입증.

  • 자동화된 품질 필터링 프로세스의 유효성 입증:

    • 자동 필터링 기법을 통해 품질이 낮은 데이터를 제거하고 고품질 데이터를 유지함으로써 모델의 전반적인 성능 향상에 기여.

Yukyung Lee, Joonghoon Kim, Jaehee Kim, Hyowon Cho, Pilsung Kang*.

본 논문은 대규모 언어 모델(LLM)을 사용하여 생성된 텍스트를 평가하는 새로운 평가 프레임워크인 CheckEval을 제안합니다. CheckEval은 평가 기준을 세부적인 하위 항목으로 나누고 각 항목에 대한 체크리스트를 생성하여 평가 과정을 보다 명확하고 일관되게 만듭니다. 이를 통해 기존 평가 방법의 모호성과 불일치를 해결하고, 평가 결과의 신뢰성을 크게 향상시킵니다.

방법론 설명:

  1. 체크리스트 기반의 평가(Checklist-based Evaluation):

    • 평가 기준을 세분화하여 각 항목에 대한 Boolean 질문으로 구성된 체크리스트를 생성, LLM이 체크리스트의 질문에 대한 응답을 생성하도록 유도.
    • 평가 기준을 명확히 정의하고 설명 가능성을 제공하며, 여러 평가자 간의 일관성을 보장.

  2. 평가 프로세스의 단계적 구성:

    • 측면 선택(Aspect Selection): 평가의 특정 목표에 맞는 평가 기준과 주요 구성 요소를 선택.
    • 체크리스트 생성(Checklist Generation): 선택된 기준에 따라 평가 항목을 질문 형식으로 작성하고, 이를 기반으로 체크리스트를 구성.
    • 체크리스트 기반 평가(Checklist-based Evaluation): LLM을 활용하여 체크리스트의 질문에 대한 응답을 생성하고, 이를 종합하여 최종 점수를 계산.

  3. 케이스 스터디를 통한 검증:

    • SummEval 벤치마크를 활용하여 CheckEval의 유효성을 검증하고, 인간 평가와 높은 상관관계를 보이며 일관된 평가 결과를 확인.
주요 기여 (Contributions):

  • 명확하고 일관된 평가 프레임워크 제안:

    • 평가 기준을 세부적인 하위 항목으로 나누고 체크리스트를 통해 평가를 수행함으로써 모호성을 줄이고 평가 결과의 신뢰성을 높이는 새로운 방법론을 제시.

  • 다양한 LLM 평가자 간의 일관성 강화:

    • Fleiss’ kappa 통계 지표를 통해 여러 모델(GPT-3.5, GPT-4, GPT-4-turbo) 간 높은 일관성을 유지하며, 평가 모델이 변경되더라도 안정적인 평가 결과를 보장.

  • 기존 평가 방법에 비해 높은 상관성 및 성능 입증:

    • 기존의 자동화된 평가 지표(ROUGE, BLEU, METEOR 등) 및 다른 LLM 기반 평가 방법과 비교하여, CheckEval이 인간 평가와 높은 상관관계를 보이며 더 우수한 성능을 발휘함을 확인.

  • 다양한 응용 가능성을 위한 유연한 평가 프레임워크 제공:

    • CheckEval은 사용자가 평가 항목을 자유롭게 정의하고 확장할 수 있어, 다양한 언어 생성 작업에 적용 가능한 범용적인 평가 프레임워크로 기능함.

Computer Vision

이미지 기반 알고리즘 연구

이미지 인식 모델의 강건성 방법론 연구
이미지 데이터 기반 이상치 탐지 알고리즘 연구
적대적 공격 탐지 및 방어 연구

Publications

Sunwoo Kim+, Hun Im+, Woojun Lee, Seonggye Lee, Pilsung Kang*. (+: Equally contributed)

본 논문은 분포 변화에 직면한 비전-언어 모델의 강인성을 향상시키기 위해 새로운 데이터 증강 기법인 RobustMixGen을 제안합니다. 이 기법은 이미지와 텍스트 콘텐츠를 동시에 고려하여 데이터 증강을 수행함으로써 기존의 MixGen 기법의 한계를 극복하고, 모델이 분포 변화와 노이즈에 더 강력하게 대처할 수 있도록 합니다.

방법론 설명:

  1. RobustMixGen 데이터 증강 기법 제안:

    • 객체와 배경을 사전에 분리하고, 이를 활용하여 이미지와 텍스트를 합성하는 새로운 데이터 증강 기법을 제안.
    • 이미지 합성을 위해 CutMixUp 방식을, 텍스트 합성을 위해 Conjunction Concat 방식을 도입하여 이미지와 텍스트 간의 의미적 관계를 유지함.

  2. 모달리티 특화 고려:

    • 객체와 배경 클래스를 미리 분류하여, 이미지와 텍스트가 의미적으로 잘 맞도록 증강. 이를 통해 모델이 잘못된 상관관계에 의존하지 않도록 유도.

  3. 성능 검증:

    • 이미지 검색 과제에서 기존 모델 대비 Recall@K 평균이 0.21% 향상되었음을 입증. 분포 변화 시나리오 하에서는 이미지 및 텍스트 노이즈에 대해 각각 17.11%와 2.77%의 성능 향상을 보여 더 강력한 데이터 증강 기법임을 입증.
주요 기여 (Contributions):

  • 새로운 멀티모달 데이터 증강 기법 제안:

    • 기존의 MixGen 기법이 가진 문제점(즉, 잘못된 상관관계)에 대응하여 이미지와 텍스트의 의미적 일치를 유지하는 데이터 증강 방법을 제시.

  • 잘못된 상관관계 완화 및 강인성 향상:

    • 이미지와 텍스트의 의미적 관계를 유지하여 모델이 잘못된 상관관계에 의존하는 것을 방지하고, 분포 변화에 대한 강인성을 크게 개선.

  • 실제 데이터 시나리오에서의 강력한 성능 입증:

    • 다양한 노이즈 유형(이미지와 텍스트) 하에서 기존 데이터 증강 방법보다 현저히 향상된 성능을 보이며, 실제 응용에 적합한 강력한 데이터 증강 기법으로서의 가능성을 확인.

Kyoungchan Park, Pilsung Kang*.

본 논문은 적대적 공격(adversarial attack)에 대한 신뢰성과 안전성을 보장하기 위해 학생-교사 네트워크(student-teacher network) 기반의 새로운 탐지 및 방어 방법을 제안합니다. 제안된 방법은 적대적 예제(adversarial examples, AEs)와 정상 예제(normal examples, NEs)를 구분하고, 방어 프로세스를 AEs에만 적용하여 NEs에 대한 분류 성능 저하를 최소화합니다.

방법론 설명:

  1. 학생-교사 네트워크를 통한 탐지 및 방어 통합:

    • 교사 네트워크(Teacher Network)는 분류기 역할을 하며, 학생 네트워크(Student Network)는 교사 네트워크의 왜곡되지 않은 숨겨진 계층(hidden layer) 특징을 예측하도록 학습합니다.
    • 학생 네트워크와 교사 네트워크의 숨겨진 계층 특징 간의 차이를 기반으로 AEs를 탐지하고, AEs에 대해서는 학생 네트워크가 예측한 특징을 사용하여 올바른 분류 결과를 복구합니다.

  2. 복원 공격(Restoration Attack) 기법 도입:

    • AEs에 대한 방어 성능을 향상시키기 위해 복원 공격이라는 사전 처리 기법을 도입합니다. 복원 공격은 학생 네트워크의 숨겨진 계층 특징을 왜곡된 교사 네트워크의 특징으로부터 멀어지게 하여 AEs의 올바른 분류 결과를 복구할 수 있게 합니다.

  3. 광범위한 실험을 통한 성능 검증:

    • CIFAR-10, CIFAR-100, TinyImageNet 등의 대표적인 이미지 분류 데이터셋에서 실험을 수행하여 제안된 방법의 우수한 탐지 및 방어 성능을 입증.
주요 기여 (Contributions):

  • 탐지와 방어를 통합한 최초의 방법 제안:

    • 탐지와 방어를 통합하여 적대적 공격 여부를 인식하고, 탐지된 AEs에 대해서만 방어 프로세스를 적용하여 NEs에 대한 분류 성능 저하를 방지.

  • 복원 공격 기법을 통한 방어 성능 향상:

    • 복원 공격 기법을 통해 방어 성능을 추가적으로 개선하고, 완전한 화이트박스 공격(white-box attack)에서도 강력한 방어 성능을 달성.

  • 백서 공격에 대한 강력한 성능 입증:

    • 완전한 화이트박스 공격에서도 높은 탐지 및 방어 성능을 유지하여, 적대적 공격에 대한 강인성을 확인.

  • 실제 데이터셋에서의 우수한 성능:

    • CIFAR-10, CIFAR-100, TinyImageNet 등 다양한 데이터셋에서 기존의 최신 탐지 및 방어 방법과 비교하여 우수한 성능을 보임.

Kiyoon Jeong, Woojun Lee, Woongchan Nam, Minjeong Ma, Pilsung Kang*.

본 논문은 이미지 캡션의 정확성과 표현력을 평가하고 순위를 매기기 위한 새로운 프레임워크인 ECO(Ensembled CLIP and Consensus Scores)를 제안합니다. ECO는 이미지와 캡션 사이의 의미적 일치도와 캡션의 필수성을 동시에 고려하여 가장 적합한 캡션을 선택하는 방법론입니다. 이 프레임워크는 CVPR 2024의 NICE Challenge에서 우수한 성과를 보였습니다.

방법론 설명:

  1. ECO 프레임워크 구성:

    • Ensembled CLIP Score: 다양한 사전 학습된 CLIP 모델을 사용하여 이미지와 캡션 간의 코사인 유사도를 계산하고, 이를 결합하여 보다 견고한 의미적 일치 점수를 생성.
    • Consensus Score: 캡션 후보군 내에서 자주 사용되는 필수 표현을 측정하여, 필수적인 표현만을 포함하는 캡션을 선택하도록 유도.

  2. 캡션 필터링 기법 적용:

    • 두 가지 필터(형식 필터 및 ITM 필터)를 적용하여 품질이 낮거나 이미지와 관련이 적은 캡션을 걸러내고, 높은 품질의 캡션만을 평가 대상으로 삼음.

  3. 최종 캡션 선택:

    • 종합 점수를 기반으로 최적의 캡션을 선택하며, 상위 두 캡션 간 점수 차이가 작을 경우 더 짧은 캡션을 최종 선택.
주요 기여 (Contributions):

  • 통합된 캡션 평가 프레임워크 제안:

    • ECO는 이미지-캡션의 의미적 일치도와 필수성을 모두 반영하여 다양한 기준에서 우수한 캡션을 선택할 수 있는 통합된 평가 방법론을 제공.

  • NICE Challenge에서 성과 입증:

    • CIDEr, SPICE, METEOR, ROUGE-L, BLEU 등의 다양한 평가 지표에서 상위 성적을 기록하며, 제안된 프레임워크의 효과성과 다재다능함을 입증.

  • 캡션 필터링을 통한 평가 정확도 향상:

    • ITM 필터와 형식 필터를 도입하여 캡션 후보군의 품질을 높이고, 이를 통해 보다 신뢰할 수 있는 평가 결과를 도출.

  • 효과적인 캡션 선택 전략 개발:

    • 최종 점수가 비슷한 경우 더 짧은 캡션을 선택함으로써, 간결하고 필수적인 표현을 강조하는 평가 전략을 제안.

Applications

알고리즘 응용 연구

시계열, 자연어, 영상 데이터 방법론 개발 및 적용
ML/DL 기반의 진단 및 개선을 통한 지능형 제조 환경 구축

Publications

Jungwoo Choi, Hyeongwon Kang, Jeongseob Kim, Heejeong Choi, Yunseung Lee, Pilsung Kang*.

본 논문은 반도체 공장에서 자동 물류 처리 시스템(AMHS)의 처리량을 예측하기 위한 딥러닝 기반 다중 수평 예측 프레임워크를 제안합니다. 제안된 프레임워크는 다양한 외부 요인으로 인해 발생하는 간헐적인 이상 패턴을 가진 데이터를 처리하고, AMHS의 시스템 처리량을 예측하여 생산성을 향상시키는 데 중점을 둡니다.

방법론 설명:

  1. 다중 수평 예측 프레임워크 제안:

    • AMHS 데이터의 간헐적 이상 패턴을 효과적으로 학습하기 위해 이상 탐지 모델을 사용하여 데이터를 정제하고, LSTM, DeepAR, TFT, N-BEATS 등의 딥러닝 모델을 활용하여 다중 시점에 대한 예측을 수행합니다.
    • 다양한 모델의 예측 성능을 통합하는 소프트 보팅 앙상블 기법을 적용하여 예측 정확도를 향상.

  2. 이상 패턴 감지 및 보간:

    • AMHS 데이터를 정제하기 위해 격리 숲(Isolation Forest) 모델을 활용하여 이상치를 감지하고, 선형 보간을 통해 이러한 이상치를 보정함으로써 학습 데이터를 개선.

  3. 시간 시계열 교차 검증을 통한 성능 검증:

    • 실제 반도체 생산 데이터에 대한 시간 시계열 교차 검증을 통해 제안된 프레임워크의 강력한 예측 성능을 확인.
주요 기여 (Contributions):

  • 실제 운영 데이터에 대한 적용성 입증:

    • 실제 반도체 생산 라인 데이터에 대한 다중 수평 예측을 수행하여 제안된 모델의 현실적 적용 가능성을 입증.

  • 이상 탐지 및 데이터 정제를 통한 예측 성능 향상:

    • 간헐적 이상 패턴이 있는 데이터를 정제하여 학습 성능을 개선하고, 모델의 예측 성능을 높임.

  • 강력한 성능과 해석 가능한 예측 모델 제공:

    • DeepAR 및 TFT와 같은 딥러닝 모델을 사용하여 기존의 통계 모델보다 우수한 성능을 달성하고, 결과 해석 가능성을 제공하여 시스템 분석과 사전 대응이 가능하게 함.

  • 생산성 향상을 위한 예측 기반 최적화 가능성 제시:

    • 다중 시점 예측을 통해 반도체 제조 공정에서 시스템 환경을 최적화하고 생산성을 향상시킬 수 있는 방법론을 제안.

Euisuk Chung, Kyoungchan Park, Pilsung Kang*.

본 논문은 반도체 제조 장비의 예기치 않은 고장을 예방하고 유지 보수 계획을 최적화하기 위해 출하 검사 데이터와 유지 보수 보고서를 기반으로 한 고장 분류 및 시기 예측 방법을 제안합니다. 이 방법은 장비의 고장 유형을 정확히 분류하고, 고장 발생 시기를 예측함으로써 생산성 손실을 최소화하는 데 중점을 둡니다.

방법론 설명:

  1. 출하 검사 데이터와 유지 보수 보고서를 결합한 데이터 분석:

    • 장비의 출하 검사 데이터와 실제 유지 보수 보고서를 통합하여 고장 유형과 발생 시기를 예측하는 모델을 개발.
    • 고장 발생 패턴을 분석하고, 이를 기반으로 다양한 고장 유형을 분류.

  2. 딥러닝 기반의 고장 예측 모델:

    • Recurrent Neural Networks (RNN)와 같은 딥러닝 모델을 사용하여 장비의 이력 데이터를 학습하고, 고장 발생 시기를 예측.
    • 유지 보수 주기를 최적화하여 생산성 손실을 최소화할 수 있도록 지원.

  3. 시계열 데이터 분석을 통한 고장 시기 예측:

    • 출하 검사 및 유지 보수 데이터의 시계열 패턴을 분석하여 특정 고장 유형의 발생 시기를 예측하고, 사전 대응이 가능하도록 지원.
주요 기여 (Contributions):

  • 고장 유형 분류와 시기 예측을 통합한 새로운 프레임워크 제안:

    • 반도체 제조 장비의 출하 검사 데이터와 유지 보수 보고서를 활용하여 고장 유형을 정확하게 분류하고 발생 시기를 예측하는 효율적인 방법론을 제시.

  • 생산성 손실을 최소화하는 사전 유지 보수 전략 지원:

    • 고장 발생 가능성을 사전에 예측함으로써 유지 보수 작업을 최적화하고, 생산성 손실을 줄이는 데 기여.

  • 딥러닝 모델의 적용을 통한 예측 성능 향상:

    • RNN과 같은 딥러닝 모델을 활용하여 고장 발생 시점에 대한 예측 성능을 높이고, 정확한 유지 보수 계획 수립에 도움을 제공.

  • 실제 반도체 제조 환경에서의 적용 가능성 검증:

    • 다양한 반도체 제조 장비 데이터에 적용하여 제안된 방법론의 실효성과 신뢰성을 입증.

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 허재혁 : jaehyuk.heo@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호