Machine Learning on EEG Data

주로 뇌파 데이터에서는 RNN보다는 CNN을 주로 활용함

 

13년도부터 뇌파 데이터에 딥러닝 적용해보려는 시도가 이루어 졌지만 발견한 문제점

 - 데이터가 부족 : 이미지처럼 많은 데이터를 얻기 힘듦

 - 불확실성이 크다 (Non stationary, Non linearity) 시간에 따라 분산 등이 변함

 

문제 해결 시도

1) 뇌파 신호의 이미지화

=> 뇌파 Data를 알파, 베타 ,감마의 이미지로 변형하여 적용해보자! (Bashivan et al., 2015) = 가능은 하지만 기존 ML보다는 성능이 낮음

=> Power-Spectral Density Image로 분류 (Ieracitano et al., 2019), Topography map을 CNN에 적용 (Mao et al., 2018)

 

2) Feature Extraction

=> Power-Spectral Density, Covariance 등의 Feature를 추출하여 CNN 적용 (Zhang & Eskandarian, 2020)

=> Channel 간 Synchronicity를 Visualization하여 이미지화 (Naira & Alamo, 2019)

 

1,2번 방법들 모두 분류는 가능하나 LDA, SVM보다 낫지 않아 대부분 비교한 것을 보고를 하지 않음!!

 

3) Raw Data 직접 적용

=> Deep Learning with Convolution Neural Network for EEG Decoding and Visualization, Shirrmeister et al., 2017 (https://braindecode.org/) EEG 딥러닝 대중화를 위해 Pytorch 기반 툴박스 제작 & 기존 모델(FBCSP)과 비교! Shallow, Deep Conv Net 모두 성능 향상되지만 Deep이 더 안정적으로 향상되는 것을 확인

=> 시간, 공간을 분리, 즉 각각 Time-Channel에 대해 Kernel을 사용 / Time에 대해, 공간에 대해 각각 Kernel을 분리하였더니 정확도가 상승하는 것을 발견! Model 구성, parameter 최적화 부재 때문에 비교적 성능은 떨어짐

=> EEGNet (Lawhern et al., 2018) 도 나옴

 

뇌파 Data를 적용할 때 주의사항

- 여러 Model을 적용하고 기존 ML 결과와 비교하는 것이 중요 (최적화, 노다가 작업..)

- 기존 논문 결과가 항상 그대로 나오지 않는 경우가 많음 (기존 논문은 비교를 잘 하지 않았고, Data 수집 방법의 차이가 큼, Subject dependent로 높은 정확도 유도한 경우도..)

- 기존 모델 (Shallow, DeepNet, EEGNet, SVM 등), Batch Size, Subject Dependent/Independent에 따라 비교해볼 것

- Data Augmentation 하여 데이터 확대해보기

 

EEG Data Augmentation 방법 (1번(epoch < 10s)과 2-4번(~2s epoch)방법이 주로 가장 효과가 좋은 것으로 보임)

1) Sliding Window (Sakai et al., 2017) - Epoch size가 10s 정도로 긴 경우 가장 최적의 step, window size를 찾아 활용

2) EEG Data에 Noise 추가

2-1) Short-time Fourier Transform (STFT) Amplitude Perturbation (Li et al., 2019) - STFT로 EEG Spectrum를 추출하고 Amplitude Spectrum에 Noise를 더한 뒤 inverse STFT로 신호 복원; Noise 종류는 Gaussian, Salt&Pepper, Speckle 등 사용 가능 (EEG Data 특성 상 시계열에 직접 추가하면 안됨!)

2-2) STFT 한 후 관심 없는 고주파 Noise 신호 (100Hz 이상)를 추출하여 다른 Sample에 더해 Data 증강, 데이터를 n-1배까지 Augmentation 가능!! (Zhang et al., 2021)

2-3) FFT Phase Randomized Surrogates - FFT로 얻은 스펙트럼에서 amplitude는 고정한 상태에서 phase만 섞은 뒤에 inverse FFT

2-4) STFT time domain recombination (Lotte et al., 2015) - STFT로 Time-Freq Map을 만들고 시간 축으로 섞은 뒤 inverse STFT

3) GAN EEG Data Augmentation (Luo & Lu, 2018)