본 세미나는 "JPEG is All you Need" 논문을 주제로 진행되었습니다. 해당 논문은 비전 영역에서 이미지 Encoding Decoding 과정에서 발생하는 정보 손실과 처리 속도 문제를 개선하기 위한 방법론을 제안합니다. 구체적으론, Decoding 과정을 간소화하여 모델 학습 속도를 향상시키자는 아이디어를 가집니다. 이를 위해 이미지 정보를 주파수 형태로 보존하고 있는 DCT coefficient를 활용합니다. DCT coefficient는 시계열의 푸리에 변환과 유사하게, 이미지의 정보를 주파수 형태로 기록하는 것입니다. 따라서, Decoding 과정에서 이러한 계수를 활용하여 downstream task에 활용하는 구조를 가집니다. 이러한 과정에서 RGB의 각 채널의 차원을 맞추어 주기 위해 upsampling, Downsampling, Late concat 등의 방법론을 제안합니다. 차원을 맞추는 과정은 여럿 존재하지만, 결과적으로 3개의 채널을 동시에 모델에 입력하기 위한 목적 자체는 동일합니다. 기존 Encoding&Decoding 방법론 대비 빠른 속도와 높은 성능을 달성하였지만, 모델의 구조에 큰 변형을 가해야 하는 점에 있어 모델에 Agnostic하게 사용한다기 보다는 별개의 모델 구조를 제안한 것 같다는 인상을 받았습니다. 두번째 논문은 이러한 한계를 극복하기 위해 ViT를 활용합니다. DCT coefficient를 patch 단위로 embedding 한 뒤 ViT backbone에 embedding을 입력하는 것입니다. 앞선 논문에서 다소 강력한 down&upsampling을 가한 것과 달리, patch 단위로 coefficient를 나눈 것이 보다 합리적인 방식이라 생각하였습니다. 단순히 raw source 처리 방식에 따라 성능과 학습/추론 속도가 크게 영향을 받는다는 점은 매우 신선한 포인트인 것 같습니다. 다소 생소하고 어려운 주제에 대해서 깔끔하고 자세하게 설명해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 이미지 분류 과업, 특히 ImageNet 데이터셋을 이용함에 있어 파일 형식 차원에서 조치를 취하는 방법론이 소개되었습니다. ImageNet 데이터셋의 각각의 샘플은 모두 jpeg 포맷을 이용합니다. 이미지/영상을 전공자 또는 전문가들을 제외하고 jpeg 형식에 대해 깊게 살펴볼 기회가 많지 않을 것입니다. 그러기에 jpeg 형식의 특징을 고민해볼 경험이 부족할 것인데, 소개해주신 논문들은 jpeg 포맷의 이미지 형성 과정 중 decoding 전까지의 결과물만을 이용하는 방법을 소개하고 있습니다. 추가적으로 잘 알려진 ResNet의 일부 구조를 변경하거나 ViT를 이용하는 방법을 보여주고 있습니다. 이렇게 이미지 파일 수준에서 여러 시도를 하는 방법론들이 지속적으로 연구되고 있는 점이 매우 인상깊었습니다. 발표자 분께 질문드린대로 본 방법론이 현실 상황에서 유용할지 궁금합니다. 더불어 이미지넷이 아닌 다른 데이터셋에 대해서도 해당 방법론들이 유의미할지도 실험해보면 흥미로울 듯 합니다. 재미있는 발표 감사합니다.

이번 세미나에서는 "JPEG is All you Need" 라는 주제로 "Faster neural networks straight from jpeg", "RGB no more: Minimally-decoded JPEG Vision Transformers" 두 논문에 대해 소개해주셨습니다. JPEG란 이미지를 6단계의 인코딩 과정을 통해 데이터로 압축하는 방식을 말합니다. 첫번째 논문에서는, 기본 이미지에 DCT coefficient를 수행한 결과에 대해 7가지 transformation을 거치게 되고, 이후 기본적인 ResNet 50 모델을 태우는 방법을 제안합니다. Luma와 Chroma가 가진 사이즈의 차이를 맞추기 위해 transformation을 수행하게 되고, 어떤 것을 기준으로 크기를 맞춰주냐에 따라 조금 다른 방법을 가집니다. 두번째 논문에서는, 'RGB no more'에서도 알 수 있듯이, RGB를 사용하지 않고 DCT에서 augmentation을 하는 것이 훨씬 속도가 빨라질 수 있다는 점을 보여줍니다. Vision transformer의 이미지 패치에 대응하는 Patch embedding을 DCT로 만드는 방법론으로, Grouped, Seperate, Concatenated 등의 3가지 다른 임베딩 방법을 가집니다. 사실 그동안은 JPEG라는 이미지 형태를 많이 다루면서도, 어떠한 과정으로 데이터를 보관하게 되고 불러오게 되는 것인지 잘 몰랐는데, 이번 세미나를 통해 그 과정을 하나하나 자세히 알 수 있어서 매우 흥미로웠습니다. 첫 세미나임에도 친절한 어투의 발표와 충분한 설명을 통한 QnA를 진행해주셔서 더욱 발표에 집중할 수 있었고 이해에도 도움이 되었습니다. 발표 준비하시느라 수고 많으셨습니다.

본 세미나는 특이하게 JPEC라는 이미지 data fomat 관련해서 세미나를 진행해주셨습니다. 이와 관련된 내용이 처음이었는데 저희가 원래 알고 있는 RGB 이미지를 사용하는 것이 아니라 JPEG라는 이미지 저장 방식에서 encoding과 decoding 과정을 거칠 때, 생성되는 DCT coefficient를 사용했습니다. 이러한 새로운 type의 이미지 데이터를 사용하기 위해 모델 또한 구조가 변경되어야 했는데 이런 부분에서 자세히 설명해주셔서 잘 이해할 수 있었습니다. 이런 분야가 있는지 몰랐는데, 단순 분류 task 뿐만이 아니라 OOD detection이나 Adversarial Defense 등에 해당 data fomat에서는 어떠한 다른 점들이 있을지 궁금해졌고, 추후 연구 주제로 삼을만하다라는 생각을 하였습니다. 좋은 발표 감사드립니다.

이번 세미나는 “JEPG is All you Need”라는 주제로 두 편의 논문을 소개해주셨습니다. (1) JPEG 파일의 Partial Decoding 후 일반적인 ResNet 모델을 이용해 동일한 성능을 유지하면서도 더 빠른 Inference 속도를 보이는 방법론을 제안한 “Faster Neural Networks Straight from Jpeg” 논문과 (2) JPEG 파일의 Partial Decoding 이후 Transformer 기반 모델인 ViT를 이용해 동일한 성능을 보이면서도 더 빠른 학습 속도와 Inference 속도를 보인 논문에 대해 소개해주셨습니다. 두 방법론 모두 새로운 모델을 제안하지는 않았지만 자료 구조 측면에서 접근한 방식이라 매우 신선했습니다. 첫 발표임에도 불구하고 자세한 예시 덕분에 이해에 많은 도움이 되었습니다. 특히 가장 중요한 JPEG 파일을 읽어오는 과정에 대해 상세한 예시를 함께 첨부해주셔서 이해하기 수월했습니다. 좋은 발표 감사합니다.

이번 세미나는 JPEG is all you need라는 주제로 진행되었습니다. 해당 세미나에서 발표자분은 2가지의 논문을 소개해 주셨는데, 해당 논문들은 공통적으로 JPEG 이미지 파일을 다루고 있었습니다. 먼저, JPEG란 손실 압축 방식의 이미지 포맷 방법으로, 총 6단계의 Encoding 과정을 거쳐 RGB 3Channel의 이미지를 데이터화 하는 방법입니다. 먼저 첫 번째 논문인 Faster Neural Networks Straight from JPEG 논문에서는 기본 Image가 들어왔을 때, Inverse Quantization을 통하여 구해서 얻어진 DCT Coefficient를 기존의 ResNet 50 모델에 적절히 투입하는 방법입니다. 이때, Luma와 Chroma의 DCT Coefficient 불일치로 인하여 Chroma에서는 UpSampling, UpSampling-RFA, Deconvlution-RFA 과정을 거치면서 Luma coefficient와 크기를 맞추고, Luma와 Channel-wise Concat 하여,기존 ResNet 50 모델에 대입하게 됩니다. 결론적으로 이러한 방법을 통하여 기존과 동일한 성능을 유지하면서, 기존 문제점으로 제시되었던 Inference 속도를 더 2가지의 수 있었습니다. 두 번째 논문에서는, 8X8 Patch 형태로 나오는 DCTCoefficient를 Patch기반의 이미지 모델인 Vision Transformer에 적용함으로써 기존 ViT 모델에 큰 변형 없이, JPEG Partial Decoding의 결과물을 이용해 Training/Inference속도를 향상시키며, DCT Coefficient단에 적용 가능한 Augmentation 방법을 제안하고 있었습니다. 결과적으로 해당 두 논문에서는 Image Modality 처리에 있어서 RGB Space 이외의 다른 Space에서의 이미지 처리 방법을 제안하고 있었습니다. JPEG라는 이미지 형태가 자주 접하는 형태이지만, 그 형태가 어떻게 구성되는 과정에 대해서는 고민해본 적 없었는데, 발표자분이 상세하게 설명해주신 덕분에 쉽게 이해할 수 있었습니다. Channel-Wise 접근하지 않고, Inverse Quantization을 통하여 구해서 얻어진 DCT Coefficient를 통하여 접근하는 것이 참신한 방법론이였던 것 같습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 JPEG is All you need라는 주제로 Faster neural networks straight from jpeg와 RGB no more: Minimally-decoded JPEG Vision Transformers의 2가지 논문을 다루었습니다. 먼저 Faster neural networks straight from jpeg 논문에서는 JPEG 형식으로 압축된 이미지 데이터를 RGB 픽셀로 변환하지 않고 DCT 계수를 직접 입력으로 사용하여 CNN을 학습하고 실행하는 방법을 제안한 논문입니다. 제안된 방법론을 통해 이미지 디코딩 과정을 건너 뛰고, DCT 계수의 특성을 활용하여 CNN의 속도와 정확도를 향상시킬 수 있습니다. RGB no more: Minimally-decoded JPEG Vision Transformers라는 논문에서는 앞서 다룬 논문과 비슷하게 JPEG 디코딩을 거치지 않는 방식을 사용하지만 기존 방법론들과 다르게 CNN이 아닌 ViT를 사용합니다. ViT는 이미지 패치를 입력으로 받기 때문에 JPEG로 인코딩된 특징을 직접적으로 네트워크에 공급할 수 있다는 장점이 생깁니다. 또한 이 논문에서는 데이터 증강 방법론을 함께 다루었습니다. JPEG와 관련된 CV 분야 논문을 처음으로 접하였는데, 발표자분의 좋은 설명 덕분에 잘 이해할 수 있었습니다. 좋은 발표 감사합니다.

- 이번 세미나에서는 딥러닝 모델에 JPEG 이미지를 더 효율적이고, 효과적으로 사용할 수 있는 방법을 제시하고 있는 RGB No More: Minimally-Decoded JPEG Vision Transformers 에 대해 다뤄 주셨습니다. 본 논문은 JPEG로 인코딩된 이미지를 RGB로 디코딩하지 않고 바로 Vision Transformer (ViT)에 입력하는 방법을 제안합니다. JPEG는 이미지를 DCT (Discrete Cosine Transform)라는 주파수 영역으로 변환하고, 이를 양자화하고, 압축하는 방식으로 이미지를 저장합니다. 일반적으로는 JPEG 이미지를 사용하기 위해서는 이 과정을 역으로 수행하여 RGB로 디코딩해야 합니다. 하지만 이 논문에서는 디코딩 과정을 모두 수행하지 않고, 역양자화까지만 진행하고, 이를 ViT의 입력으로 사용합니다. 이렇게 하면 데이터 로딩 시간을 줄일 수 있고, 정확도도 손실하지 않는다고 주장합니다.
- 본 논문은 신경망 모델 관점에서 이미지에 대한 새로운 관점, 방향을 제시했다는 점에서 훌륭한 논문이라고 생각이 들었습니다. 이를 통해 단순히 Input 형태로만 변형 해줌으로써 더 나은 성능이나 더 효율적인 Task 수행이 가능하지 않을까 하는 생각이 들지만, JPEG 이미지 외의 다른 포맷에 대한 적용 가능성은 제한적이라는 부분이 아쉽다 라는 생각이 들었습니다.
- 연구실에서 일반적으로 다뤄지지 않았던 논문에 대해 다뤄주셔서 감사합니다. 발표 잘 들었습니다!

본 세미나는 JPEG is All you Need 라는 주제로 진행되었습니다. ImageNet Classification에서 JPEG 포맷의 이미지를 별도의 전처리 (decode) 과정 없이 DCT (이산 코사인 변환)을 통해 받아 모델에 삽입하는 연구에 대한 내용을 다뤘습니다. 첫번째 논문인 Faster neural networks straight from jpeg 의 경우 Jpeg이미지 파일의 partial decoding 이후 ResNet-50모델에 적용하여 ImageNet 분류 task에서 동일한 성능을 기록하였으나 1.77배 빠른 inference 속도를 기록하였습니다. 또한 두번째 논문인 RGB no more: Minimally-decoded JPEG Vision Transformers의 경우, Jpeg이미지 파일의 partial decoding 이후 ViT 모델에 적용하여 성능은 역시 동일하지만, 39.2% 빠른 학습 속도, 17.9% 빠른 inference 속도를 기록하였습니다. JPEG 형식의 파일을 그대로 사용하여 training/inference 속도를 향상 시킨것이 인상적이었습니다. 일반적인 경우 모델 구조에 대한 고민을 많이 하는데, 전처리를 통해 속도 향상을 시켰기 때문입니다. 좋은 발표 감사합니다.

이번 세미나에서는 JPEG is All you Need 논문을 주제로 세미나가 진행되었습니다. 본 논문은 논문의 제목에서 드러나 있듯, 이미지 처리의 과정에서 JPEG 정보를 최대한 활용하고자 하는 것으로, 전통적인 CV 압축 방법론인 JPEG에 다시 주목하고자 합니다. JPEG는 전통적인 이미지 압축 방식으로 기존의 연구들에서는 JPEG 포맷의 이미지를 decode 한 후 모델에 적용하였습니다. 그러나 이미지 처리의 근본적인 의도를 고려했을 때, 논문에서는 이 decoding 과정이 불필요하다고 지적하며 오히려 JPEG의 중간 단계인 DCT(이산 코사인 변환)를 거친 상태의 값을 그대로 모델에 입력한다면, 오히려 더 많은 정보를 활용하는 것이 가능하고 더 빠른 학습, 추론이 가능하다고 지적합니다. 실제로 실험 결과 디코딩을 제외하니 동일한 성능을 유지하며 ResNet, VIT 모델 모두에서 훨씬 빠른 속도를 실현했습니다. 이미지 분야 자체에 대해서는 아는 바가 적어 구체적인 JPEG 과정의 의미는 와닿지 않았지만, 인공지능을 공부하며 당연하게 활용하는 전통 분석 기법들에 대해 한 번 더 고민해 봐야 한다는 생각하게 되었습니다. 이를 태면 자연어 처리를 위해 언어학 자체를 공부하며 품사가 나뉘는 의미 자체를 한 번 더 고민한다면 보다 깊은 연구가 가능하지 않을까 생각이 듭니다. 좋은 발표 감사합니다.

이번 세미나는 "JPEG is All you Need"라는 주제 진행되었습니다. 첫번재 논문인 "Faster neural networks straight from jpeg"에서는 기존의 이미지에 DCT(이산 코사인 변환)를 적용한 결과를 ResNet50의 입력값으로 사용하는 방법을 제안합니다. DCT는 이미지의 정보를 주파수 형태로 표현하는 것으로, 디코딩 과정을 거치지 않아도 이미지의 특징을 유지할 수 있습니다. 이를 위해 Luma와 Chroma라는 두 가지 채널의 차원을 맞추기 위한 여러 가지 변환 방법을 소개하였습니다. 두번째 논문인 “RGB no more: Minimally-decoded JPEG Vision Transformers”에서는 Vision Transformer(ViT)를 이용하여 DCT 계수를 패치 단위로 임베딩하는 방법을 제안합니다. 이 방법은 RGB 채널을 사용하지 않고도 DCT에서 증강을 할 수 있으며, 속도와 성능 모두 향상시킬 수 있습니다. 이러한 방법들은 JPEG 형식의 이미지를 다루는데 있어서 새로운 관점과 기법을 제시하였습니다. 좋은 발표 감사합니다.

해당 세미나 시간에는 이우준 석사과정이 “JPEG is All you need”라는 주제로 대학원에서의 첫 세미나를 준비해 주었습니다. 재미있는 세미나 타이틀에서도 유추할 수 있듯이 세미나의 주된 내용은 이미지의 압축방식 중 하나인 JPEG 형식을 최대한 활용하여 이미지의 복원과정에서 발생하는 정보손실을 억제하고, 이미지의 decoding 과정을 간소화하여 모델의 complexity를 줄이고자 하는 방법론들을 소개해 주었습니다. 세미나 서두에는 JPEG 형식의 이미지 압축과정과 복원 과정에 대한 이해를 통해 왜 이미지가 jpeg 포맷을 거치게 되면 정보손실이 발생하는 지를 잘 이해할 수 있었습니다. 발표자가 친절하게 다양한 예시자료를 잘 준비한 덕분에 처음 접하는 내용임에도 불구하고 쉽게 이해할 수 있었는 데 이점 너무 감사하다고 전하고 싶습니다. 관련 주제에 첫 논문은 “Faster neural networks straight from jpeg”으로 JPEG의 decoding 과정에서 생성되는 DCT coefficient를 기존 ResNet 50에 다양한 shape 변환 전략으로 적절하게 투입하여 기존 RGB에 준하는 성능을 보여주었고, 초당 이미지 처리에 해당하는 FPS에서는 많은 연산효율성을 입증하여, 모델의 complexity를 효율적으로 낮출 수 있다는 것을 보여주었습니다. 이어서 소개한 “RGB no more: Minimally-decoded JPEG Vision Transformers” 논문에서는 Patch 기반의 이미지 모델인 Vision Transformer에 앞선 논문과 동일하게 DCT coefficient를 적용하여 기존 Vit 모델에 준하는 성능과 학습 및 추론 속도의 향상을 보여주었습니다. 뿐만 아니라, image augmentation을 DCT coefficient 단에 적용하여 기존 RGB image augmentation에 준하는 성능과 상대적으로 높은 연산 효율성을 거두었습니다 데이터 압축방식에 따른 효율적인 모델 설계를 통해서 충분히 모델의 complexity를 개선시킬 수 있다는 것을 보여주었고, 개인적으로 이와 같은 모델의 효율성은 이는 실생활에 적용하는데 있어서 매우 중요한 요소라고 생각하기에 아주 의미 있는 세미나 주제였다고 생각합니다. 첫 발표임에도 불구하고 세미나시간을 알차게 잘 채워준 발표자에게 감사의 인사 전하며 후기 마치도록 하겠습니다.

본 세미나는 이우준 발표자님께서 "JPEG is All you Need"라는 주제로 JPEG라는 이미지 압축방식을 활용하여, 이미지 복원 정보손실을 최소화하는 방법론들을 설명해주셨습니다. 특히 JPEDG Encoding Process에서 Full Decoding 시, 모델의 Training 및 Inference 속도가 느려지기 때문에 DCT(Discrete Cosine Transformation) Coefficient의 이미지 주파수 정보를 활용하는 것이 중요하다고 생각했습니다. 처음 소개해준 논문인 "Faster neural networks straight from jpeg"에서도 DCT coefficient를 기존 ResNet50 모델에 변형시켜서 투입하고, "RGB no more: Minimally-decoded JPEG Vision Transformers"라는 2번째 논문에서도 DCT Coefficient를 Patch 기반 Vision Transformer에 적용한다는 점을 보아 DCT Coefficient를 모델 구조에 맞게 변형시키는 것이 중요하다고 생각합니다. 산업적으로 JPEG Decoding process를 사용하는 것이 굉장히 크리티컬 하다고 생각한 이유도, 모델 구조 변화 없이 Input 단에서 속도, 성능의 향상을 일으킬 수 있기 때문에 매우 기여점이 명확한 연구라고 생각합니다. JPEG라는 압축 방식이 어떻게 이미지를 복원할 수 있는지 자세히 설명해주셔서 좋았고, 좋은 발표 준비해주셔서 감사합니다.