Temporal-Channel Separable CNN for MEG Visual Decoding and a Gradient-Based Framework for Interpreting Its Temporal Dynamics

시각은 인간이 가장 많이 사용하는 감각으로, 뇌 신호로부터 시각 정보를 읽어내는 것은 뇌-컴퓨터 인터페이스(BCI)의 핵심 과제이다. 최근 딥러닝 기반 디코더가 뇌 신호에서 이미지를 재구성하는 수준에 이르렀으나, 대부분 재구성 성능만을 목표로 설계되어 모델이 어느 시점의 어떤 정보를 근거로 판단했는지 알 수 없는 블랙박스로 남아 있다. 본 연구는 효율적인 디코더 구조와 그 내부를 해석하는 방법론을 함께 제시한다.
뇌자도(MEG)로 측정한 뇌 자기 신호를 합성곱 신경망(CNN)에 입력해 이미지 임베딩을 예측하고, 사전 학습된 Diffusion Model로 피험자가 본 시각 자극을 재구성한다. 이어 Integrated Gradients로 학습된 CNN이 어느 시점의 신호에 의존하는지 정량화하고, 신경과학에서 쓰이는 표현 유사도 분석(RSA)을 결합해 자극의 저수준 시각 특징, 크기, 생물성이 처리되는 시점을 규명한다.
제안한 temporal-channel separable convolution 구조는 시간 축과 센서 축의 특성이 다르다는 점에 착안해 두 축의 연산을 분리한 구조로, 파라미터를 약 17만 개 줄이면서도 세 이미지 임베딩 공간 모두에서 검색 정확도가 향상되었다. 그리고 해석 결과 저수준 시각 특징이 자극 제시 후 약 133ms에서 가장 먼저 기여하고 크기와 생물성이 각각 175ms, 183ms로 뒤따랐으며, 크기와 생물성은 375ms와 467ms에서 더 큰 두 번째 피크를 보여 계층적 시각 처리와 일관되는 시간 순서를 재현하였다.
본 방법론은 MEG뿐 아니라 EEG, ECoG, fMRI 등 다양한 신경 신호 디코더에 그대로 적용할 수 있다. 이를 통해 BCI 설계 시 어떤 시공간의 신호를 활용할지에 대한 근거를 제공할 수 있을 것으로 기대된다.