연구실에 들어와서 두번째 학회였습니다. 지난 첫 발표와 달리 연구실 내부에서 제가 참여하여 자세한 내용을 알고 있는 프로젝트들이 결과물을 외부에 보이는 자리라 더욱 뜻 깊었던 것 같습니다. 매일 연구실 내부에서 익숙한 얼굴들과 비슷한 이야기를 주고 받다가, 새로운 관점에서 저희 프로젝트를 바라보시는 여러 연구자들을 만나면서 저의 부족한 점을 다시 점검하고, 앞으로 더 노력해야겠다는 생각을 많이 한 것 같습니다. 

여러 발표들이 인상 깊었지만, 특히 유익했던 발표는 아래와 같았습니다. 

1. 전기자동차 소음 예측을 위한 스펙트로그램 오토인코더 기반 자기지도학습 - 고려대학교 황순혁, 고은지, 남규환, 김상욱, 박경환, 김성범*

Self-Supervised Learning 방법론을 이용하여 스펙트로그램 데이터의 representation을 잘 표현할 수 있도록 모델을 학습시키는 방법론을 다루는 발표였습니다. 문제 상황이 실제 자동차 개발 시 소리 데이터를 많이 수집할 수 없다는 매우 현실적인 가정에 기반을 두고 있고, 데이터 수집 관점에서 매우 강한 가정이라고 생각합니다. 단순히 모델을 제안하는 것이 아니라, 실제 문제 상황에 적합한 방법론으로서 Self-Supervised Learning을 도입하는 이유를 소개하고, 이에 대한 여러가지 실험과 그 해석을 담고 있었습니다. 이미지에서 Self-Supervised Learning 방법론들이 주변 픽셀에 의해 특정 픽셀의 정보가 표현될 수 있어, box 형태로 masking 하는 경우가 있다고 알고 있는데, 이와 비슷한 논리로 스펙트로그램 데이터를 마스킹하고 있었습니다. 특히, 소리 데이터라는 특징을 반영하여 십자 형태로 주파수와 시간대를 모두 마스킹하는 접근법이 매우 논리적이라고 생각했습니다. 실험 역시 놀라울 정도로 분명한 성능 향상을 보여주고 있어서, 기존 방법론들이 다른 도메인이나 modality에 적용될 때, 역시 해당 도메인/modality를 고려하는 것이 매우 중요하다는 점을 다시 한번 점검하는 좋은 기회였습니다.

2. 사전 학습된 언어모델을 활용한 시스템 로그 조기 오류 탐지 - 고려대학교 정재윤, 김성범*

산업공학과에서 이상치 탐지는 ML/DL이 활용되는 대표적인 분야라고 생각합니다. 하지만 NLP 분야의 경우 이상치 정의가 모호하여 이상치 탐지 연구가 많이 진행되지 않았다고 생각하고 있었습니다. 하지만 해당 연구에서는 기존 로그 데이터를 그대로 자연어로 활용하여 이상치를 탐지하는 방법론을 제안하고 있습니다. 특히 자연어로 로그가 남는 컴퓨터 과학 분야에서는 NLP를 이용하여 이상치 탐지를 진행하는 것이 매우 자연스러운 흐름으로 보였습니다. 정상 데이터로만 학습하고, 이상치 점수를 산출하는 기존의 이상치 탐지 프레임워크를 그대로 사용하도록 pretrained model을 선택했습니다. 이러한 프레임워크에는 ELECTRA가 매우 적합하다고 이야기하고 있는데, 개인적으로도 ELECTRA 모델이 생성된 토큰과 실제 토큰을 구분하도록 학습하면서, 생성된 토큰 혹은 인위적 토큰을 구분하도록 학습되기 때문에, 동의할 수 밖에 없었습니다. 이상치 탐지를 NLP 분야에 적용하고 싶다는 생각을 평소에 종종 했었는데, 데이터 선정부터 학습 알고리즘까지 전반적인 구조가 실제 NLP 분야를 자연스럽게 이상치 탐지에 녹아드는 것을 보고 많은 점을 느낄 수 있었습니다. 

3. 인공지능이 적용된 이미지 분류 시스템의 사용자 경험 분석 - 광운대학교 박선영 김현경*

ML/DL 모델연구와실제산업현장의적용사이에는어느정도괴리가있다고생각합니다. 연구관점에서는 3%p의차이가큰성능차이일수있지만, 사용자관점에서는유의미한사용자경험의차이가존재하지않을수있고, 모델의설명력제공여부에따라사용자경험에큰영향을미칠수도있기때문입니다. 이러한관점에서본발표는모델의성능차이와설명력제공의정도에따라사용자들이모델의예측에동의하는정도를측정한연구였습니다. 실험결과모델의성능차이는분명한사용자경험에영향을미쳐서만족도와신뢰도를확보할수있었고, 만족도는설명력제공여부와무관했지만, 신뢰도에는영향을미치는것으로나타났습니다. 흥미로웠던점은설명력을제공하는수준이실제사용자가모델의산출물에대한신뢰도에큰영향을미치지못했다는점입니다. 사용자관점에서모델이자세히설명하는것이이해하는데오랜시간을소요시킴에도, 단순설명에비해자세한해석가능성을주지않는것이라고생각했습니다. 실험이 AlexNet과 ViT를기반으로진행되어성능차이가큰모델간의비교이고, 이미지도메인에서진행되어정말단시간에사용자가 model output을이해할수있다는점에서더복잡한태스크와더작은성능차이를가지는모델실험에서어떤결과가나타날지궁금해지는실험이었습니다.