마비를 앓고 있는 여성은 뇌 이식과 AI로 생각하여 말할 수 있다

실험 인터페이스를 통해 환자는 디지털 아바타를 통해 의사소통할 수 있으며 이는 현재 시스템보다 빠릅니다.

윌 설리반

일간지 특파원

앤 존슨(Ann Johnson)은 18년 전 뇌졸중을 앓은 후 마비가 되었고 말을 할 수 없게 되었습니다. 이제 그녀는 뇌 이식과 인공지능의 도움으로 디지털 아바타를 통해 다시 말로 소통할 수 있게 되었습니다.

지난 주 네이처(Nature) 저널에 발표된 연구에서 연구자들은 앤의 뇌 표면에 일련의 전극을 이식하여 앤의 뇌 활동을 컴퓨터로 전송했습니다. 그곳에서 AI 알고리즘은 신호를 단어로 변환합니다. 잠시 후 화면 속 아바타는 앤의 말을 큰 소리로 말하고 표정으로 앤의 감정을 포착한다.

이번 연구의 공동 저자이자 캘리포니아 대학교 샌프란시스코(UCSF)의 신경외과 의사인 에드워드 장(Edward Chang)은 “이와 같은 것이 실제로 실시간으로 작동하는 것을 보는 것이 얼마나 만족스러운지 전달할 수 있는 것은 없습니다.”라고 말했습니다. NBC 뉴스의 Aria Bendix에 따른 뉴스 브리핑.

이번 연구에 참여하지 않은 네덜란드 위트레흐트 대학의 신경과학자인 Nick Ramsey는 Guardian의 Hannah Devlin에게 “이것은 이전 결과보다 상당히 큰 발전입니다.”라고 말했습니다. “우리는 전환점에 있습니다.”

UCSF의 성명에 따르면 앤은 현재 머리를 움직여 화면에 단어를 입력할 수 있는 장치를 사용하여 통신하고 있습니다. 이 장치는 분당 14단어만 생성합니다. 반면 인간의 대화는 분당 평균 약 160단어를 생성합니다. 그러나 Ann이 연구의 일부로만 사용할 수 있는 새로운 인터페이스를 사용하면 분당 78단어를 생성할 수 있어 자연스러운 말하기 속도에 더 가까워집니다. 이 장치는 그녀가 의도한 말을 약 75%의 정확도로 해독했습니다.

Wired의 Emily Mullin은 이 인터페이스가 의도한 음성을 분당 15단어의 속도로 텍스트로 번역했던 동일한 연구 팀의 이전 반복에 비해 큰 진전이라고 썼습니다.

개선된 시스템은 의사소통에 중요한 뇌 부위에 배치된 253개의 전극이 있는 임플란트에 의존합니다. 앤이 뇌졸중을 일으키기 전에 이 뇌 영역은 후두, 입술, 혀와 같은 언어와 관련된 근육에 신호를 보냈습니다. 이제 Ann의 머리에 있는 포트에 연결된 케이블이 신호를 컴퓨터로 전송합니다.

다음으로 AI는 이러한 신호를 개별 소리, 즉 음소라고 하는 단어 덩어리로 변환합니다. 그런 다음 음소를 결합하여 단어를 만듭니다. 단어를 말하는 디지털 아바타는 Ann처럼 보이도록 디자인되었으며, 그 목소리는 결혼식 비디오에서 말하는 클립을 사용하여 Ann처럼 들리도록 훈련되었습니다. 아바타의 얼굴도 앤의 뇌 신호를 기반으로 움직이고 감정을 시각적으로 표현합니다.

Nature News의 Miryam Naddaf에 따르면 Ann은 연구가 끝난 후 연구원들에게 “자신의 목소리와 비슷한 목소리를 듣는다는 단순한 사실은 감정적입니다.”라고 말했습니다.

Ann은 인터페이스가 그녀의 두뇌 신호를 이해할 수 있도록 동일한 문구를 계속해서 조용히 말하면서 몇 주 동안 인터페이스를 훈련해야 했습니다. 이러한 시도를 통해 알고리즘은 1,024개의 대화 단어 모음에서 용어를 인식하도록 학습되었습니다.

이번 연구의 공동 저자이자 UCSF의 전기 엔지니어인 Kaylo Littlejohn은 Fortune지의 Erin Prater에게 “그녀는 매우 헌신적이고 열심히 일합니다.”라고 말했습니다. "그녀는 필요한 만큼 오랫동안 녹음할 의향이 있으며, 이러한 종류의 장애를 가진 많은 사람들이 사용할 수 있는 언어 신경 보철물을 만드는 데 자신의 노력이 집중될 것임을 정말로 이해하고 있습니다."

같은 날 Nature에 발표된 여러 연구원의 두 번째 연구에서는 ALS로 인해 말할 수 있는 능력을 잃은 한 여성이 의도한 말을 텍스트로 변환하는 또 다른 음성 생성 뇌-컴퓨터 인터페이스를 사용했습니다. 인터페이스는 분당 62단어의 속도로 그녀의 음성을 해독했으며, 125,000단어의 어휘에 대한 오류율은 23.8%였습니다.

"이제 마비가 있는 사람에게 유동적인 대화를 복원하여 그들이 말하고 싶은 것이 무엇이든 신뢰할 수 있을 만큼 높은 정확도로 자유롭게 말할 수 있는 미래를 상상하는 것이 가능합니다."라고 공동 저자인 Frank Willett은 말했습니다. Wired에 따르면 Stanford University의 두 번째 논문이자 연구 과학자는 언론 브리핑에서 말했습니다.