Opening the Black Box for Spiking Neural Networks

학습된 순환신경망(RNN)은 기억과 의사결정 과제를 성공적으로 수행하지만, 그 계산이 내부에서 어떤 원리로 이루어지는지는 고차원 가중치 속에 가려져 있다. Sussillo와 Barak(2013)은 학습된 RNN을 비선형 동역학계로 보고, 고정점과 느린점(slow point) 주변의 선형화된 동역학으로 기억과 상태 전이를 설명하는 방법을 제시하였다. 그러나 이 해석 도구는 발화율 기반의 연속적인 네트워크를 전제로 하며, 스파이크와 임계값, 리셋이라는 불연속 사건을 포함하는 생물학적 신경망에서도 그대로 유효한지는 검증되지 않았다.
본 과제는 이 질문을 직접 검증하였다. 먼저 3비트 플립플롭 과제를 FORCE 학습으로 재현하여, 8개의 기억 상태에 대응하는 안정 고정점과 이들을 잇는 안장점 구조를 복원하였다. 이어 보조함수를 스파이킹 신경망의 막전위 및 시냅스 상태에 대해 q(v,s)로 재정의하여 동일한 탐색 기법을 적용하였다. 기존 벤치마크인 이진 의사결정 과제에서는 고립된 고정점이나 느린점이 나타나지 않았으나, 기억을 반드시 요구하도록 직접 설계한 펄스 매칭 과제(뉴런 20개, 정확도 96.2%)에서는 지연 구간에 느린점이 뚜렷하게 형성되었다.
결과적으로 저차원 기하 구조는 스파이킹 신경망에서도 살아남으며, 기억은 안정한 고정점이 아니라 느린 동역학이 담당한다는 사실을 확인하였다. 다만 이 구조는 과제가 기억을 요구할 때에만, 그리고 학습 방법이 찾아낸 특정 해에서만 나타난다. 동일 과제를 BPTT로 학습한 대조군에서는 같은 기하 구조가 관찰되지 않았다. 본 결과는 저전력 뉴로모픽 연산의 해석 가능성을 높이고, 생물학적 작업기억 회로의 동작 원리를 이해하는 데 기여할 수 있다.