Large margin deep networks for classification에 대한 세미나를 진행해주셨습니다. 기존 ML, 특히 SVM 기반 방법에서 많이 사용되던 margin 기법을 최근 DL 방법에 적용시킴으로써 강건한 분류 경계면을 찾도록 한 논문으로 이해하였습니다. 해당 논문에서는 모든 레이어에 대해 margin을 최대화하도록 하였는데 이런 점이 기발하게 느껴졌습니다. 이를 통해 학습된 모델이 강건한 성능을 보이는 것을 확인할 수 있었습니다. 매우 흥미로운 논문이었습니다. 좋은 발표를 진행해주셔서 감사합니다.

이번 세미나는 margin을 최대화하는 방법론에 대한 세미나였습니다. 해당 모델은 margin을 output layer에서만 정의하는 것이 아닌, 모든 레이어에서 margin을 정의하고, shallow 한 model에서만 적용하는 것이 아닌, deeper한 모델에 적용이 가능합니다. 각각의 단계별로 문제를 해결하는 솔루션을 발표해주셔서 순차적으로 모델에 의문점들을 해결해나갈 수 있었습니다. Adversarial deffence관점에서 기본적인 robustness를 강화하기 위해 loss function을 이렇게 변경하는 것 만으로도 성능을 향상시킬 수 있다는 점이 흥미로웠습니다. 유익한 발표 감사합니다.

최근에 다시 SVM, 커널등 머신러닝 기법들을 수학적으로 공부해볼 일이 있었습니다. 사실 처음 공부했을 때 보다 다양한 지식이 있어서 그런지 좀 더 세부적인 이해를 할 수 있었고, 모델들에 적용 할 수 있겠다는 생각을 가졌습니다. 본 세미나를 들으며, DL 에도 이런 부분을 적용하려고 하는 움직임을 들을 수 있어 상당히 흥미로웠습니다. 마진을 최대화 시키는 것에 단순히 Hinge loss 를 이용하여 svm 의 유사한 학습방식을 가지는 방법은 예전부터 존재했었고, svm 의 근간이되는 마진에 대한 조건식이 들어가는 것은 쉽지 않았습니다. 본 논문에서는 각 레이어에서 적용 하는 loss 를 제안했고, 이를 통해 모델의 robustness 가 높아지는것을 보여주며, svm 이 이루고자했던 목표를 달성하는 모델을 제안했습니다. 특히 adversarial 에 관한 이슈가 높아진 지금에는 이런 모델을 만드는 것의 의미가 더 배가 된다 생각합니다.

해당 세미나 시간에는 과거 SVM 등 에서 접할 수 있었던 Margin Maximization의 개념을 소개로 시작하는 Large Margin Deep Networks for Classification 논문을 다루어 보았습니다. SVM 등에서 class간의 분류 경계면을 결정할 때 최대 margin을 활용하여 robust한 분류경계면을 찾고자 하였습니다. 해당 논문에서는 Network 모델을 구성하는 과정에서 앞서 언급한 Margin의 개념에 착안하여 Large Margin을 통해서 intra-class(동일클래스) compactness 와 inter-class(다른 클래스간) separability를 충족시키는 목적을 수행하고자 하였습니다. 기존 연구에서는 이러한 목적을 위해 margin을 최종 layer에서만 정의 하거나 비교적 depth가 적은 shallow 모델에서만 적용하는 한계점들이 존재하였지만, 해당 연구에서는 이러한 문제점을 보완하여 모든 레이어에서 Large Margin Maximization loss를 적용하고자 시도하였습니다. 좀더 구체적으로는 Margin을 결정하는 과정에서는 각 feature vector에 임의의 delta를 더하여 로짓의 두 클래스가 같아지는 지점으로 결정을 하고 있으며, 이를 위해 계산 되는 delta를 결정 경계면과의 거리로 정의하고 있습니다. 단순히 수식적으로는 이해하기 어려울수 있으나 준비해준 시각자료를 통해서 쉽게 이해할 수 있었습니다. 최종적으로 제안하는 모델의 강건성을 평가하기 위해서 Defense Against Adversarial Perturbation 실험을 수행하였는데, 최근 adversarial defense 관련 연구들이 지속적으로 소개되었지만, 해당 논문이 상대적으로 지난 2018년 논문임에도 불구하고 이러한 실험을 수행했다는 점에서 인상적이였습니다. 아마도 발표자께서 현재 수행중인 연구와 연계되서 좋은 reference이기에 연구실 구성원들에게 소개해주지 않았나 생각이 듭니다. 수학적으로도 개념적으로도 매우 설득력이 있는 좋은 논문이라고 생각들었습니다. 좋은 발표를 준비해준 발표자에게 감사의 인사 전합니다.

일반적으로 분류 문제에서 Deep Learning Model들은 Cross Entropy Loss를 손실 함수로 채택합니다. Cross Entropy Loss는 좋은 성능을 보이고 널리 사용되지만, 모델이 데이터를 특정 Class로 예측할 확률 값 만을 이용할 뿐, Hidden Space 내에서 기하적인 제약을 가하기에는 부족함이 있습니다. 결과적으로 SVM과 같은 모델이 갖고 있었던 Margin을 최대화하는 속성을 부과할 수 없게 되고, Deep Learning Model들은 매우 미세한 노이즈에도 민감하게 반응하게 되었습니다.
제안된 논문에서는 Margin을 모든 Layer에서 정의하고, 이를 1차 근사하여 Margin을 최대화하는 Loss Function을 제안합니다. 최근 모델의 구조가 아닌 Loss를 바꾸는 연구들을 자주 접하게 되는 것 같은데, 개인적으로는 모델의 Parameter를 증가시키지 않으면서도 모델에 추가적인 속성을 부과할 수 있다는 점에서 매우 긍정적으로 느껴지고, 향후 많은 발전이 이루어질 것이라는 생각이 듭니다. 좋은 논문을 소개해 주시어 감사합니다.

본 세미나는, 수업 시간에 SVM을 배우면서 Margin을 배웠지만 Neural Network 기법에 많이 사용되지 않아 중요하게 생각하지 않았지만 고전 기법의 아이디어를 최신 기법에 적용하는 좋은 사례라고 생각합니다. Decision boundary의 최소 거리인 Margin은 Shallow model에서만 적용되거나 Output Layer에서만 사용 가능했기에 DNN 적용의 효용성이 적었습니다. 하지만 해당 논문은 Input & Hidden Layer에 Margin을 부여할 수 있는, L-p distance를 사용하는 새로운 Loss function을 제안하며, 이를 통해 '확실한 분류'가 가능해지게 됩니다. 해당 논문에서는 모든 Class에 대한 Gradient 계산, 그리고 Hessian Matrix 계산이 Computational Cost를 증가 시키고 이에 대한 해결책을 제시하며 비용을 감소시켰다고 말하지만, 마지막 부분에서 Cross-entropy보다 1.6배의 Cost가 들었다고 하여 문제점을 제대로 해소한 것인지 궁금합니다. 좋은 발표 감사합니다.

금일 세미나 주제는 Large margin deep networks for classification에 대한 것입니다. 이는 margin을 최대화하여 일반화 성능을 높이고 robust한 분류 경계면을 찾는 것을 목적으로 고안된 방법론이며, 기존의 cross-entropy가 margin을 최대화하는 속성을 갖고 있지 않는 문제점을 해결하였습니다. 본 논문 이전에, 다른 논문에서도 이를 해결하기 위해 L-softmax, cross-lipshitz regularization 등을 제안하였지만, 이는 모든 layer에 대해, 그리고 deep하게 적용하기 힘든 방법론들이었습니다. 따라서 모든 layer에서 깊은 모델이 적용할 수 있도록 decision boundary에 penalty를 부여할 방법을 제안하였는데, class i에 대해, class i와 j의 score가 같아지는 지점의 집합을 decision boundary로 하여, input x(class i)에서 이 decision boundary까지의 거리를 일정 크기 이상으로 유지할 수 있도록 하였습니다. 또한, non-linear한 boundary를 계산하기 위해 distance linearizing을 진행하고, computational cost를 줄이기 위해 prediction score가 큰 일부 class에 대해서만 적용하였습니다. 실험 결과, hidden layer에 이 margin을 적용하였을 때 성능이 좋았고, cross entropy 대비 정확도가 더 높게 나타났습니다. 고전적인 classification 방법론인 SVM의 margin 최대화 기법을 기반으로 loss function을 재정의하여 개선시킨 점이 인상깊었습니다. 본 논문에서 함께 설명하는 수식이 많았는데, 발표자분께서 그 흐름을 직관적으로 잘 설명해주어 내용을 잘 따라갈 수 있었습니다. 발표 잘 들었습니다.

Margin을 이용해 classification을 찾아내는 연구는 아주 오래전부터 진행되어왔습니다. margin이 굉장히 중요한 이유는 margin을 통해 classifier가 적절한 분류 경계면을 찾을 수 있게 도와주는 역할을 하기 때문이고, 최근 이상치 탐지 분야에서 margin을 활용해 loss term에 variation을 준 사례들이 존재합니다. 비슷한 연장선에서 흥미로운 주제라 생각하고있었는데 세미나를 통해 자세히 설명해주셔서 좋았습니다. 이 모델에서 주목해야할 부분은 각 레이어마다 해당 loss term을 적용한것입니다. 우리가 원하는 최종 representation을 찾아주기 위해 margin 을 최대화 하는 방법은 지속적으로 연구될 분야이기 때문에 본 논문과 세미나가 매우 의미있었다고 생각합니다. 감사합니다

오늘 세미나는 neural network에서 margin을 최대화 하는 model인 large margin deep network에 대한 내용으로 진행되었습니다. margin을 최대화 하는 것은 분류기의 일반화 성능을 확보하게 해주는 역할을 합니다. 오늘 소개해주신 논문이 large margin을 도입하는 이유 역시 intra-class를 compact하게 만들고, inter-class 간에는 더 구분될 수 있게 하여 classifier의 robustness를 확보하기 위함입니다. 특히, margin을 shallow model의 output layer에서만 정의했던 기존 방법론과 달리, 모든 layer에 margin을 설정할 수 있고, deep한 neural network에 적용했다는 점에서 이점을 가집니다. SVM과 비슷하게 loss function은 margin을 고려하여 정의됩니다. 분류기에 의해 정답 class로 분류되었지만, 분류 경계면까지의 거리가 margin보다 짧은 instance의 classification loss는 instance에서 정답 class 쪽의 margin까지의 거리로 정의되어 margin 안에 들어온 것에 대한 penalty를 부여합니다. 정답 class에 속하지 않고 분류기를 넘어간 instance들에 대해서는 정답 class 쪽의 margin부터 instance까지의 거리를 계산해 이를 loss에 반영해줍니다. 정의된 loss function은 intractable하기 때문에, 이를 approximation하여 linear한 함수로 변환하여 학습하게 됩니다. 이렇게 margin을 고려하여 학습된 large margin deep network는 adversarial perturbation에 대해 좋은 방어 성능을 보였습니다. 기존 machine learning 방법론으로 제시된 개념을 Deep neural network에 적절히 적용하여 model의 가장 중요한 요소 중 하나인 regularization 성능을 높였다는 점에서 의의가 있는 것 같습니다. 좋은 발표 감사합니다.

관측가능한 데이터가 존재할 때, 데이터가 속한 클래스를 분류하는 분류기 중 좋은 분류기를 고르자면 SVM의 아이디어와 같이 객체 간 margin이 가장 큰 분류기가 될 것입니다. 다만 크로스엔트로피로 최적화하는 많은 딥러닝 모델에는 margin을 최대화하는 특성이 없다는 한계가 존재합니다. 따라서 이전 연구에서는 최종 레이어에서 margin을 정의하고 이를 최대화하는 loss를 사용하여 최적화하는 시도를 하였습니다. 그러나 소개해주신 논문에서는 모든 레이어에서 margin을 정의할 수 있고, 더 깊은 구조의 모델에도 적용할 수 있다는 기여점을 갖습니다. Hidden layer에서 gradient를 구할 때 연산 부담이 되어 일부를 상수로 대체하긴 하였지만, (메모리 등의 정확한 수치를 확인할 수는 없었더라도) P100 장비로 MNIST를 학습시켰을 때 많이 부담이 되었다는 게 흥미로웠습니다. 따라서 점점 커 지는 vision 모델에 범용적으로 적용하기는 힘들겠다는 생각도 하였습니다. 서승완 박사과정과 진행하는 공동연구에서 좋은 결실 맺었으면 좋겠습니다. 발표 잘 들었습니다.

이번세미나에서는 Large Margin Deep Networks에 대한 세미나를 발표해 주셨습니다. 해당 방법론은 특정 레이어의 대한 margin을 최대화하는것이 아니라 전체(all) 레이어에 대해서 margin을 최대화하는 연구방향을 가졌습니다. 핵심 아이디어는 특정클래스를 가진 데이터의 x에 delta를 더해주것과 다른 특정 클래스를 가진 데이터의 x에 delta를 더해준 것과 비슷하게 제약식을 주면서 delta의 크기를 최소화하는 목적식을 가지고 있었으며, 비슷한 클래스 logit에 대해서 같은 deicision boundary에 맵핑되도록 학습되는것 같습니다. 해당 방법론의 결과에 관해서 랜덤하게 라벨을 지우거나, 라벨을 변형시켜 학습한 경우에도 robust한 성능을 가질 수 있었습니다. 또한 FGSM의 공격에서도 Xent보다 높은 성능을 가지는 것을 확인할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 neural network에서의 Margin Maximization을 주제로 발표되었습니다. 기존 classification loss function의 한계는 margin을 최대화하는 속성이 부재하였습니다. 이를 해결하기 위해 Large-margin softmax loss 을 이용하는 방법은 각 class vector가 normalized 되지 않아서 vector 크기가 loss에 영향을 주는 한계점을 가지고 있었고, Jacobean matrix로 계산한 Lipschitz constant 활용한 방법은 Hidden layer 1개만 존재하는 neural network에만 적용 가능한 한계점이 있었습니다. 본 논문에서는 모든 레이어에서 margin을 정의 가능하게 하고 shallow model만 적용가능한 것을 deeper model에서도 적용 가능하게 하였습니다. 패널티를 도입하여 margin 밖에 존재하게끔 loss를 정의해 주었으며 Non-linear 함수를 1차 도함수를 이용하여 linear하게 변환하였고 dual norm 활용한 closed form 이용합니다. 또한 모든 클래스에 대해 gradient를 계산하는 것은 컴퓨팅 비용이 크기 때문에 틀린 클래스들에 대해서 일부 클래스만 선택하여 계산하는 효율적인 방법을 사용하였습니다. 실험에서 adversarial perturbation attack(FGSM, IFGSM) defense를 잘하는 것을 보여주었으며 Adversarial perturbation을 적용시 성능 향상되는 것을 보여주었습니다. 다만 CIFAR10, ImageNet 데이터셋에 대해 결과 누락이 있어서 성능이 정말 좋은지 판단하기 어려워 아쉬웠습니다. 최근 개인연구 분야를 변경하신 것 같은데 좋은 결과 있으시길 바라겠습니다. 좋은 발표 감사합니다.

본 세미나는 Large Margin Deep Networks for Classification 연구에 대해 진행되었습니다. 해당 연구는 Margin을 최대화하는 decision boundary를 찾아내는 분류 모델을 인공신경망에 접목할 수 있는 방안을 제안합니다. 이를 위해, 새로운 loss function을 제안합니다. 보통의 neural network의 classification task를 위한 loss는 cross-entropy loss로 정의되곤 합니다. 하지만, 이를 통해 얻은 decision boundary는 margin을 최대화하는 특성을 갖지는 못한게 됩니다. 본 연구는 이러한 점을 해소하기 위해, 신경망 구조의 모든 layer에 대해 margin을 정의, 적용하는 방법을 제아합니다. 이는 신경망 구조가 깊어짐과 독립적으로 적용가능한 방법으로서 그 이점이 있을 것으로 보입니다. 더욱이, 연구에서는 cross entropy loss로 학습시킨 모델과, large margin loss로 학습시킨 모델의 비교를 통해 adversarial robustness에 본 연구의 접근(large margin)이 효과적임을 보여주고 있습니다. 비록, 모든 layer에 대해 margin을 연산하는 것으로 인해 복잡도가 증가해 모델에 부담이 갈 수는 있겠지만, 모델의 generalization, robustness 측면에서 효과를 갖는 만큼 추가적인 연구와 활용 가치가 높다고 생각합니다. 좋은 발표 감사합니다.

논문을 따라가는 입장에서는 별 거 아닐 수 있지만 막상 large margin을 가지는 딥러닝 모델을 만들고자 한다면 가장 먼저 막히는 부분이 decision boundary를 어떻게 찾지? 입니다. 딥러닝 모델을 feature extractor로 인풋을 feature space에 embedding 시킨 후 fc layer를 통해 결정 경계면을 만들게 됩니다. 이 과정에서 생성되는 결정 경계면을 찾아내기는 매우 어려운 상황입니다. 본 세미나에서 발표해주신 논문에서는 이를 feature vector에 delta를 더하여 로짓의 두 클래스가 같아지는 지점으로 풀고 있습니다. 결국 결정 경계면 전체를 구해내는 것이 아니라 각 instance 별로 다른 클래스와 true class의 logit 값이 같아지는 '점'을 찾고 있으며 이를 위해 계산 되는 delta를 결정 경계면과의 거리로 정의하고 있습니다. 그리고 이를 패널티 텀으로 사용하여 large margin을 강제하고 있습니다. 개념적으로, 논리적으로 그리고 수학적으로 매우 탄탄한 논문이라는 생각이 들었고 특히 수리적인 강점이 강해서 NeurIPS에 개제됐다고 생각합니다. 개인적으로는 아주 흥미로운 논문이었습니다.

이번 세미나는 2018년 NIPS에서 소개된 “Large Margin Deep Networks for Classification”이라는 논문에 대해 소개해 주셨습니다. 본 논문은 클래간 Decision boundary에 대한 Margin을 넓히는 방법에 대한 내용입니다. 기존 머신러닝에서 SVM과 같이 Margin을 최대로 할 수 있는 경계면을 찾아는 방법이 있고 딥러닝으로 넘어와 이와 같은 방식을 사용하려는 시도가 있었습니다. 하지만 문제점으로는 shallow한 network에만 적용할 수 있다는 단점과 output layer에서만 margin을 정의할 수 있는 한계점이 있었습니다. 따라서 본 논문에서는 모든 Layer에 적용할 수 있는 방법으로 새로운 loss function을 제안합니다. 본 논문에서는 정의한 Loss function에 대해 모든 class에 대해 계산하는 경우 큰 cost가 발생하기 때문에 이를 위한 approximation 과정을 설명하였습니다. 발표자분께서 이 과정을 step별로 친절하게 작성하여 주셔서 이해하기 좋았습니다. 실험적으로도 adversarial attact 기법인 FGSM과 IFGSM에 대해 robust함을 보였습니다. 새로운 Loss function을 제안한 것과 학습 과정에서 발생하는 문제점을 파악하고 근사를 통해 문제를 해결한 것이 본 논문에서 인상깊은 점이었습니다. 좋은 발표 감사합니다. 앞으로도 좋은 연구 기대하겠습니다.

금일 세미나는 Large Margin Deep Networks for Classification 논문에 대해 설명해 주셨습니다. 해당 논문의 핵심 아이디어는 SVM과 같이 각 클래스의 분류경계면 사이의 Margin을 최대화 하는 방법을 Neural Network에 적용하는 방법입니다. Margin을 최대화 하기 위하여 새로운 Loss Function을 제시하고 해당 방법론이 output layer 뿐만 아니라 hidden layer에 적용 될 수 있도록 아키텍처를 설계합니다. 해당 방법론을 사용하면 Generalization 성능이 향상되는 것뿐만 아니라 perturbation에도 강건한 효과를 보입니다. 성능에서 분명히 유의미한 성과가 있었으나 해당 모델을 학습한다는 것은 결국 각 Layer에서 Margin을 계산해야 하므로 컴퓨터 자원을 많이 사용합니다. 따라서 실용적인 측면에서는 아쉬운 부분이 있습니다. 하지만 Margin을 최대화 하는 아이디어를 Deep Neural Network에 적용했다는 점에서 논문은 큰 가치를 갖고 있다고 생각합니다. 좋은 발표 감사합니다.

본 논문은 기존 CE loss로 인한 학습이 분류는 잘할지 몰라도 각 class간의 margin의 크기를 최대화하는데에는 약점이 있다고 주장하면서, 새로운 loss를 제안하였습니다. 제가 생각하기에 CE loss 또한 분류를 위한 margin을 제공하기에는 충분합니다. 따라서 margin의 크기를 키우기 위한 새로운 loss들은 종종 적용되어도 분류 task 성능에 있어서는 큰 차이를 보이지 않는 경우가 많습니다. 반면 large margin은 adversarial robustness를 제공하는데는 확실한 역할을 하는 것 같습니다. 본 논문에서도 마찬가지로 분류 성능보다는 그에 따른 부가적인 효과에 대해서 주로 언급하였습니다. 상식적인 관점에서 margin을 키우는 것이 분류 성능 또한 더욱 높이는 것이 맞는데 이런 효과가 발생하는데 있어 딥러닝의 특수성이라고도 할 수 있을 것 같습니다. 해당 부분에 대해 한 번더 고민해 볼 수 있는 시간이었습니다. 좋은 발표 감사합니다.

딥러닝의 기본이자 가장 본질적인 부분은 결국 숫자로 표현되는 공간 상에 목적을 이룰 수 있도록 개체를 표현하는 것이라고 생각하며, 그 후에 decision boundary와 같은 단계가 등장합니다. 이번 세미나에서 소개해주신 방법론은 classification task에서의 metric learning의 일환으로 각 layer에 margin을 최대화하는 loss를 부여하도록 하였습니다. 이는 분류 문제에 있어서 비약적인 성능 개선을 끌어오진 않아도 adversarial deffense 관점에서는 robustness를 크게 키워줄 수 있는 방법론이라고 이해하였습니다. Metric learning 관련된 개념을 세미나로 자주 접하는 것 같은데, 큰 구조 변경이나 획기적인 모델이 아니더라도 loss를 변경하는 것만으로 목적을 달성할 수 있는 예시가 많은 것 같습니다. 일단 기초를 많이 알아야 해당 개념을 실제로 적용할 수 있다고 생각한 세미나였고, 좋은 시각적 표현을 곁들인 발표 감사합니다.

금일 세미나는 "Large Margin Deep Networks for Classification"라는 주제로 진행되었다. 본 발표에서는 margin을 최대화함으로써 분류경계면을 찾아내는 아이디어를 deep neural network에 적용할 수 있는 방법이 소개되었습니다. 제안된 방법론은 margin의 1차 근사를 통해 hidden layer를 포함한 모든 layer에 적용할 수 있는 loss function을 제안하여 output layer에서만 margin을 정의한다는 기존 방법론들의 한계점을 해결하였습니다. 제가 공부하고 있는 이상치 탐지 분야에서도 원점 또는 중심으로부터의 margin을 최대화하는 SVM 기반의 방법론들을 사용하여 이상치를 탐지하는 머신러닝 모델들의 아이디어를 DNN에 적용하기 위해 다양한 시도를 하고 있는데, 금일 청취한 내용들을 이 분야에 적용할 수 있지 않을까하는 생각이 들었습니다. 좋은 발표 감사합니다.

오늘 세미나는 neural network에서 margin을 최대화 하는 model을 다룬 논문인 에 대한 내용으로 진행되었습니다. 본 논문은 기존 SVM이 사용한 'margin을 최대화함으로써 분류경계면을 찾아내는 아이디어'를 deep neural network에 적용할 수 있는 방법을 제안하였습니다. 기존에도 large margin loss를 DNN에 적용하는 시도들이 존재는 했으나 이는 방법론들은 shallow model에서만 사용 가능하거나, output layer에서만 margin을 정의한다는 한계점을 갖고 있었습니다. 발표자께서는 저자들이 기존 방법론의 한계점을 해결하기 위해 제시한 새로운 loss function에 대해 설명해주셨습니다. 첫번째 단계에서는 마진의 1차 근사를, 그리고 이를 이용하여 Dual form으로 변경하여 hidden layer를 포함한 모든 layer에 적용할 수 있는 loss function을 이용하였다고 말씀해주셨습니다. 또한 추가적으로 논문에서 제안한 파라미터 업데이트 방법들과 large margin loss와 cross entropy로 학습한 모델의 성능 비교를 통해 adversarial perturbation에 대한 강건함와 일반화 성능 개선성을 실험 결과을 통해 설명해주셨습니다. 수식이 많아서 힘들었을텐데 차근차근 잘 정리해주셔서 이해하는 데 도움이 많이 되었습니다. 좋은 발표 감사합니다.