이번 대한산업공학회는 한국경영학회와 함께 주최되어 더 다양한 연구를 볼 수 있는 기회였습니다. 특히 다양한 산업에서 활용되는 AI 기술들을 소개하고 연구적 성과를 공유 받을 수 있었습니다. 그 중에서도 몇가지 기억에 남는 연구들을 소개하겠습니다.

[딥러닝 및 열화상 카메라를 활용하여 마스크 착용 여부를 판별하는 시스템]
해당 시스템은 COVID-19 팬데믹이 발생한 후 정부가 마스크 의무화를 시행하면서 가장 수요가 높아진 시스템 중 하나입니다. 이미 다양한 기관 및 기업에서 해당 시스템을 적용하기 시작하였으나 안타깝게도 그 성능이 좋지 못하며, 사생활 침해 우려가 있다는 단점을 갖고 있습니다. 해당 연구는 사생활 침해 문제를 해결하기 위하여 열화상 카메라와 딥러닝 기술을 접목한 시스템입니다. 열화상 카메라에서 추출된 이미지를 활용하여 사용자가 마스크를 착용하였는지를 판별하고 실시간으로 사용자에게 알려줌으로써 사회 전반적으로 마스크를 착용하게끔 유도하는 기능을 갖고 있습니다. 이 뿐만 아니라 열화상 안면 마스크 데이터셋을 구축함으로써 향후 연구에 기여했다는 점이 해당 연구의 의의 중 하나입니다.

[QR 코드 인식 성능 향상을 위한 세그멘테이션 기반 형태 보정 방법론]
QR코드는 격자무늬 패턴으로 정보를 나타내는 이차원 매트릭스 형식의 코드입니다. 이 정보는 1차원 형태보다 많은 정보를 표현 가능하므로 다양한 분야에서 활용되고 있습니다. 하지만 빛, 먼지 및 오염물에 강건하지 않으며, 회전 곡률 정사영과 같은 기하학적 형태 변환에 의해 인식 성능이 크가 감소하는 단점을 갖고 있습니다. 이를 해결하기 위하여 해당 연구는 형태 변환에 대한 보정을 통해 QR코드 인식 성능을 향상시켰습니다. 제안 방법론은 세그멘테이션 모델을 활용한여 형태를 보정하는 기능을 갖고 있습니다. 아키텍처는 세그멘테이션 모델 중 2016년에 발표된 U-Net입니다. 기술 자체는 매우 간단하고, 결과 또한 간단하지만 해당 기술은 다양한 형태로 많은 시스템에 적용될 수 있습니다. 대표적으로 기둥 형태의 알약 Case에 부착된 QR코드는 회전된 형태를 갖고 있으므로 QR코드가 잘 인식 되지 않는데, 이 보정 기능을 활용하면 해당 QR 코드 역시 잘 인식할 수 있습니다.

[조직 병리학 현미경 이미지에서의 악성조직 탐지 모델 및 시스템 아키텍쳐 연구]
해당 연구는 병리 검사 자동화를 위하여 병변 객체 탐지 모델 및 시스템 아키텍처를 개발하기 위한 목적으로 진행되었습니다. 의료분야에서 병변 탐지는 주로 전문가(의사)에 의해 판별되고 있지만 개인차가 있으며, 의료인이 찾지 못한 병변에 대해서 보안이 필요하다는 의견이 많습니다. 이를 해결하기 위하여 해당 연구는 실시간 판독 모델의 사업 활용성을 제고하고 추후 발전 방향을 제안하기 위하여 진행 되었습니다. 해당 연구에서 객채를 검출하기 위하여 사용하는 아키텍처는 YOLO, Faster R-CNN, EfficientDet 등입니다. 실험 결과 병변이 있는 부분을 25% 확률로 찾아 낼 수 있었으며, 모델이 해당 분야에서 활용될 수 있는 가능성을 확인 하였습니다. 또한 데이터를 확보하여 추후 연구에도 기여할 수 있다는 점을 시사합니다.

[다른 객체의 일부가 포함된 이미지에서 음식물 이물질탐지를 위한CNN 모델 개발]
해당 연구는 제조 및 유통업체에서 수집되는 고객 불만사항 중 가장 큰 비중을 차지하는 이물질 검사 판별 모델과 관련된 연구입니다. 이물질 검사는 육안으로 확인이 어렵기 때문에 주로 X-Ray 등 음식물 내부를 확인할 수 있는 장비를 사용하여 진행되는데 주로 수작업으로 수행되기 때문에 많은 시간과 비용이 소요됩니다. 이를 해결하기 위하여 해당 연구는 음식물 내 이물질 포함여부를 판별할 수 있는 자동화 딥러닝 모델을 개발하였습니다. 해당 시스템에서 사용한 딥러닝 아키텍처는 Object Detection 모듈로 YOLO v5, 불량 분류 모듈로 CNN이 활용되었습니다. 실제 산업현장에서는 노이즈가 많이 존재하므로 이를 반영하고자 객체 주변 노이즈가 있는 데이터를 다량으로 확보하여 모델을 개발하고 다양한 상황에서 모델이 잘 분류할 수 있도록 강건하게 만들었습니다. 또한 Augmentation을 활용하여 데이터가 부족환 상황에서 모델이 학습할 수 있는 데이터를 확보하였습니다. 해당 시스템은 간단한 CNN 모듈을 추가함으로써 성능을 향상시켰다는 점에서 매우 좋은 연구라고 생각됩니다.

[순환신경망(RNN)을 활용한 이러닝 학습자의 집중도 판별 연구]
해당 연구는 코로나-19로 인해 원격 수업이 증가하였기 때문에 학습자의 집중도를 체계적으로 모니터링 할 수 있는 시스템의 수요가 증가함에 따라 이를 분석할 수 있는 시스템을 구축하기 위하여 진행되었습니다. 해당 연구를 진행하는 과정은 다음과 같습니다. 먼저 학습자를 촬영한 영상으로부터 시선데이터와 얼굴 윤곽 데이터를 추출합니다. 그 후에 추출한 시계열 데이터를 순환 신경망 기법을 적용하여 집중도를 판별합니다. 연구에 활용된 판별 아키텍처는 RNN, LSTM GRU입니다. 연구 결과 세 모델 모두 정확도가 매우 높게 판별되었으며 그 중에서도 GRU가 가장 높은 편으로 나왔습니다. 해당 연구는 학습자의 태도 및 집중도를 측정할 수 있는 시스템이 부제한 상태에서 새로운 가이드라인을 제한 하였기 때문에 매우 좋은 연구라고 생각합니다. 그러나 딥러닝 아키텍처가 매우 단순하였고 overfitting의 문제를 해결하지 못했다는 단점을 갖고 있습니다.

[Grad-CAM을 이용한 웨이퍼 빈 맵 복합 불량 패턴 분해]
AI가 가장 활발히 활용되고 있는 분야는 제조이며, 특히 반도체에서 불량 패턴을 찾기 위하여 많은 돈을 투자하고 있습니다. 해당 연구는 DSBA연구실에서 김동화 박사과정도 진행하였기 때문에 매우 익숙하였습니다. 반도체 웨이퍼에는 다양한 불량 패턴이 존재합니다. 해당 연구에서는 이 불량을 판독하는 것뿐만 아니라 불량의 위치나 크기 정보를 제공하기 위하여 진행되었습니다. 따라서 불량 위치를 픽셀단위로 출력하고 불량의 강도를 나타내기 위하여 Grad-CAM을 활용합니다. GRAD-CAM은 모델이 불량을 판단하기 위하여 참조했던 위치 및 크기를 Gradient를 활용하여 시각화하는 방법론 중 하나입니다. 활성화 맵 필터(Activation map filter)를 이용한 복합 불량 패턴 분해가 가능한 이 연구는 5개 이상의 불량 패턴을 파악할 수 있다는 장점을 갖고 있습니다. 이 연구의 의의는 작업자에게 복합 불량 패턴 발생 여부 외 불량의 위치나 크기에 대한 추가 정보를 제공함으로써, 작업자가 불량패턴을 분석하고 추적할 수 있도록 하며 이 후 강화학습 등을 활용하여 자동화 추적시스템으로도 발전할 수 있다는 장점을 갖고 있습니다. 해당 연구는 제조분야에서 가장 핵심적인 영역인 Anomaly Detection(불량) 탐색 뿐만 아니라 불량이 일어난 부분을 추출하는 해석적인 측면에서 굉장히 흥미로웠습니다.

[자연어 음성의 프로그래밍 언어 번역을 위한 자동화 시스템]
해당 연구는 프로그래밍을 어려워하는 학생들에게 코딩의 접근성을 높이기 위하여 기획되었습니다. 해당 연구의 목표는 일상에서 사용하는 자연어 음성을 프로그래밍 언어로 변역하는 방법을 제안합니다. 해당 연구에서는 사용자의 음성을 코드로 변환하기 위하여 다음과 같은 프레임 워크를 제시합니다. 우선 구글에서 제공하고 있는 Speech-to-Text(STT) API를 활용하여 음성을 텍스트로 변환합니다. 텍스트로 변환된 문장을 코드로 변환하기 위하여 Rule based algorithm을 활용합니다. 이렇게 변환된 시스템을 서버 형태로 올려서 사용자에게 제공합니다. 해당 세션이 발표된 후 좌장께서는 이 연구의 효용성이 크지 않을 것이라고 말씀하셨습니다. 저도 몇가지는 동의하는 것 중 하나가 음성이 코드로 변환되기 위하여 이미 전문적인 단어를 사용해야 하기 때문에 접근성이 크지 않다는 점입니다. 즉 초등학생이 전문적인 단어를 사용할 정도의 지식을 갖고 있다면 음성을 활용하여 코드를 작성하는 것 보다 직접 손으로 코딩하는 것이 빠를 것 같다는 생각을 하였습니다. 하지만 시현을 통해 보여준 시스템의 모습은 매우 완성도가 높아 보였기 때문에 매우 인상 깊었습니다.

[의료 영상 분할에서의 도메인 일반화를 위한 형태 정보의 활용]
의료 영상 데이터의 경우 영상 이외에도 병원, 촬영기기, 촬영 기법 등 다양한 도메인이 존재합니다. 이러한 도메인의 차이로 의료영상 데이터를 활용하여 모델링할 때 많은 문제점이 발생합니다. 이를 해결하기 위하여 형태정보(Shape Information)을 보편적인 도메인 데이터로 활용하고 손실함수에 반영함으로써 학습할 때 형태의 정보가 반영되도록 조정하였습니다. 우선 모델을 강건하게 만들기 위하여 Augmentation 방법을 활용하여 선형 변형을 하고 이를 데이터로 활용합니다. 모델은 U-Net을 활용하여 구축하였으며, Loss에 형태정보를 반영하기 위하여 Distance Metric을 측정할 수 있는 방법을 제안합니다. 이러한 방법이 실제 현장에서도 활용할 수 있는 일반적인 방법이라는 것을 해당 연구에서는 증명하였습니다. 요즘 의료분야에서 딥러닝 방법론들이 자주 활용되고 있다는 점에서 해당 연구가 매우 흥미로웠으며, Augmentation에 대한 다양한 방법을 설명해 주어서 매우 유익한 시간이었습니다.