저자: MIT에서 발췌

편집자: Felix, PANews

OpenAI의 ChatGPT와 같은 대규모 언어 모델(LLM) 제품이 널리 보급됨에 따라 전 세계 기업과 사람들이 거의 매일 LLM을 사용하고 있습니다. 다른 도구와 마찬가지로 LLM에도 장점과 한계가 있습니다.

최근 매사추세츠 공과대학교(MIT)는 교육적 맥락에서 논문 작성을 위해 LLM(예: ChatGPT)을 사용할 때 발생하는 인지적 비용을 분석한 206페이지 분량의 연구 보고서를 발표했습니다. 이 보고서는 LLM 사용이 뇌와 인지 능력에 미치는 영향을 밝혔습니다. 이 연구는 OpenAI의 ChatGPT와 같은 인공지능 챗봇에 과도하게 의존할 경우 인지 능력이 저하될 수 있음을 보여주었습니다.

연구팀은 참가자들을 LLM 그룹, 검색 엔진 그룹, 그리고 뇌만 사용하는 그룹의 세 그룹으로 나누었습니다. 이 참가자들은 지정된 도구(뇌만 사용하는 그룹은 도구를 사용하지 않음)를 사용하여 4개월이라는 제한된 시간 안에 논문을 작성했습니다. 각 실험에서 논문의 주제는 달랐습니다. 연구팀은 각 참가자를 위해 동일한 그룹으로 3번의 실험을 진행했습니다. 네 번째 실험에서 연구팀은 LLM 그룹의 참가자들에게 도구를 사용하지 않도록 요청했고(LLM-to-brain 그룹), 뇌만 사용하는 그룹의 참가자들은 LLM을 사용했습니다(뇌-to-LLM 그룹). 처음 3번의 실험에 총 54명의 참가자가 모집되었고, 그중 18명이 네 번째 실험을 완료했습니다.

연구팀은 뇌파(EEG)를 사용하여 참가자들의 뇌 전기 활동을 기록하여 인지 참여도와 인지 부하를 평가하고 에세이 작성 과제 중 신경 활성화에 대한 통찰력을 얻었습니다. 연구팀은 자연어 처리(NLP) 분석을 수행하고 각 실험 후 각 참가자를 인터뷰했습니다. 연구팀은 인간 교사와 AI 심사위원(특별히 제작된 AI 에이전트)의 도움을 받아 점수를 매겼습니다.

자연어 처리(NLP) 분석에서 뇌만 사용한 참가자들은 대부분의 주제에 대해 논문 작성 방식에 상당한 변동성을 보였습니다. 반면, LLM 그룹이 각 주제에 대해 작성한 논문은 통계적으로 동질성을 보였으며, 다른 그룹보다 편차가 유의미하게 적었습니다. 검색 엔진 그룹은 검색 엔진 홍보 및 최적화된 콘텐츠의 영향을 적어도 부분적으로 받았을 가능성이 있습니다.

LLM 그룹은 사람, 이름, 장소, 연도, 정의 등 가장 구체적인 명명된 엔터티(NER)를 사용했고, 검색 엔진 그룹은 LLM 그룹보다 최소한 절반의 NER을 사용했으며, 뇌만 사용하는 그룹은 LLM 그룹보다 60% 적은 NER을 사용했습니다.

LLM 및 검색 엔진 그룹에서 일하는 사람들은 제한된 시간(20분) 때문에 추가적인 압박을 받았고, 따라서 사용하는 도구의 결과물에 집중하는 경향이 있었습니다. 대부분의 사람들은 도구의 결과물을 재사용하는 데 집중했고, 자신만의 독창적인 아이디어를 통합하고 자신의 관점과 경험에 따라 수정하는 대신 복사하여 붙여넣기에 바빴습니다.

신경 연결 패턴 측면에서 연구진은 동적 방향 전달 함수(dDTF) 방법을 사용하여 참가자의 인지 부하를 측정했습니다. dDTF는 실행 기능, 의미 처리 및 주의 조절에 중요한 네트워크 일관성의 체계적이고 주파수별 변화를 나타낼 수 있습니다.

EEG 분석 결과, LLM 그룹, 검색 엔진 그룹, 그리고 뇌 단독 사용 그룹 간의 신경 연결 패턴에 유의미한 차이가 나타났으며, 이는 서로 다른 인지 전략을 반영하는 것으로 나타났습니다. 뇌 연결 정도는 외부 지원이 증가함에 따라 체계적으로 감소했습니다. 뇌 단독 사용 그룹은 가장 강력하고 광범위한 네트워크를 보였고, 검색 엔진 그룹은 중간 수준의 참여도를 보였으며, LLM 지원 그룹은 전반적인 연결성이 가장 약했습니다.

실험의 네 번째 라운드에서 LLM에서 뇌 전용으로 전환한 참가자들은 신경 연결이 약하고 알파 및 베타 네트워크의 참여가 낮았지만, 뇌 전용에서 LLM으로 전환한 참가자들은 기억 회상이 향상되었고 광범위한 후두엽-두정엽 및 전전두엽 노드가 재활성화되었습니다.

인터뷰에서 LLM 그룹은 자신이 작성한 글에 대한 주인의식이 낮았습니다. 검색 엔진 그룹은 주인의식이 더 강했지만, 뇌만 사용하는 그룹보다는 낮았습니다. LLM 그룹은 또한 몇 분 전에 작성한 글을 인용하는 능력에서도 뒤처졌는데, ChatGPT 사용자의 83% 이상이 몇 분 전에 작성한 글을 인용하지 못했습니다.

아직 동료 심사를 거치지 않은 이 연구에 따르면, LLM 그룹 참가자들은 4개월 연구 기간 동안 뇌만 사용한 대조군보다 신경, 언어, 점수 측면에서 더 낮은 성적을 보였습니다. 일반 대중에게 LLM의 교육적 영향이 이제 막 드러나기 시작했기 때문에, AI LLM을 사용하는 것은 특히 젊은 사용자의 학습 능력 향상에 오히려 해로울 수 있습니다.

연구진은 LLM이 인간에게 유익하다는 것을 인정받기 전에 AI 챗봇이 인간의 뇌에 미치는 장기적 효과를 이해하기 위한 "종단 연구"가 필요하다고 말했습니다.

ChatGPT가 이 연구에 대해 어떻게 생각하는지 묻는 질문에 ChatGPT는 이렇게 답했습니다. "이 연구는 ChatGPT가 본질적으로 해롭다고 말하는 것이 아닙니다. 오히려 생각이나 노력 없이 ChatGPT에 지나치게 의존하지 말라고 경고하는 것입니다."

관련 자료: a16z: AI 에이전트, DePIN부터 소액 결제까지, 암호화와 AI 통합을 위한 11가지 핵심 구현 방향