이번 6월에 개최된 대한산업공학회 춘계학술대회는 무엇보다 제주도에서 열렸다는 점이 좋았습니다. 물론 학술적인 목적에서 학회에 참가했지만, 연구실 일원들끼리 제주도 바람을 느끼며 리프레시를 할 수 있었기에 제 첫 학회 참가에 더해 많은 의미가 있었던 경험입니다.

우선 비정형 데이터 분석 프로젝트를 확장하여 학회에 발표할 수 있었던 점이 굉장히 고무적이었습니다. 해당 내용은 아래와 같습니다.

<동영상 내 핵심내용 요약 및 키포인트 매칭>

저희는 동영상의 말소리를 STT API(NAVER)를 통해 우선 스크립트화 한 후, 해당 스크립트에 대한 추출요약을 수행하였습니다. 이 때 추출요약 모델(KoBertSum)의 특징이자 한계점은 토큰 수 제한이 있다는 점인데, 20~30분 정도가 되는 뉴스 영상 내용을 요약할 경우 토큰 제한으로 인해 요약을 제대로 수행하기 어려웠습니다. 따라서 가장 중요한 부분이 서로 다른 내용으로 이루어진 스크립트를 하나의 주제를 포함하는 덩어리(subtext)로 나누는 것이었고, 이를 위해 BertSum을 통해 얻은 임베딩에 1D Convolution을 적용하여 분리 여부를 예측하는 모델을 구축/제안하였습니다. 성능이 굉장히 높게 나오는 것을 통해 BertSum으로 얻는 임베딩이 문맥을 적절히 이해하고 있음을, 그리고 이를 기반으로 저희가 원하는 태스크에 맞는 파이프라인을 구축할 수 있음을 확인하였습니다. 결과적으로 subtext로 나누어진 긴 뉴스 영상 각각에 대해 요약모델을 적용하여 동영상 전체에 대한 요약을 얻을 수 있었고, 나아가 각 요약문의 시작점을 반환하여 중요한 영상이 시작되는 시점 또한 제공하는 파이프라인을 구축하였습니다.

학회에 발표해야 하는 내용이기 때문에 많은 부담을 갖고 진행했으나, 저희 팀원들끼리 많은 의견을 나누고 빠르게 모델링을 수행한 덕에 좋은 결과를 얻었던 것 같습니다. 굉장히 흥미롭고 제 연구 생활에 고무적인 경험이었습니다.

이외 학술대회 내용 중 관심을 가진 내용은 아래와 같습니다.

<QR 코드인식성능향상을위한세그멘테이션기반형태보정방법>, 윤보한 외.

QR코드를 인식하여 디코딩을 수행, 어떠한 값을 얻는 것은 이력 추적 등 다양한 분야에서 사용될 수 있는 task이나 QR코드가 이미지 상으로 왜곡이 되는 경우가 발생할 수 있습니다. 이 때 왜곡을 최대한 보정하고 보정된 QR코드를 디코딩하는 파이프라인을 제시하였는데, 파이프라인 자체는 간단하여 이미지 내에서 U-NET을 기반으로 QR코드를 segmentation 한 후 shi&tomashi detection 기반의 특징점을 추출하였습니다. shi&tomashi detection은 harris corner detection과 같은 특징점 추출 방법론을 대체하는 방법론으로 사용했다고 합니다. Object detection으로도 QR코드를 검출할 수 있으나 특징점 추출이 어려워 segmentation 방법론으로 접근하였다고 하는데, 주어진 환경에서는 좋은 방안이라고 생각합니다. 이미지에서의 곡률 보정 등에 관심이 있어 재밌게 들었던 발표였습니다.

 

<멀티헤드 컨볼루셔널 오토인코더를 활용한 건축물 이미지 군집화>, 김재현 외.

Retrieval 관점에서 유사한 task이기에 흥미로운 발표였습니다. 건축을 맡기는 발주자와 실제 건물을 건축하는 건축가 간의 입장 차이가 특정 건축물의 이미지에 대한 해석 차이에서 온다는 점을 문제로 삼고, 이를 해결하기 위해 autoencoder가 encoding한 건축물 이미지의 특성을 군집화하여 해당 군집을 소통 창구로 사용하자는 것이 골자였습니다. 다만 기본적인 covolutional autoencoder의 경우 특성 내 상관관계가 크게 존재하여 군집화가 어려우므로 병렬적으로 독립적인 autoencoder를 두고 각각이 특성을 encoding한 후 각 특성을 concatenate하여 군집화에 활용하자는 방법론을 제안하였습니다. 아마 U-NET같은 구조를 활용하였을 것으로 예상되는데, 레이블이 없이 이미지 만을 활용하는 연구 상황에서 신선한 접근 방식이라고 생각합니다. 즉 레이블링이 없어 CNN을 따로 학습할 수 없는 상황에서 이미지 복원을 수행하는 CNN을 학습시킴으로써 해당 encoder의 encoding 결과물을 군집화에 활용하는 것인데, 궁금한 것은 encoder를 병렬적으로 학습한다고 하더라도 constraint가 없다면 encoder 간에 어느 정도 유사한 weight로 학습이 될 것이라고 생각합니다. 이를 제어하기 위한 방안은 따로 나와있지 않아 해당 부분에 대해 어떻게 해결했는 지는 알고 싶었습니다.