Skip to content

Context Rot

컨텍스트 부패(Context Rot)는 거대언어모델(LLM)에 입력되는 컨텍스트(정보량)가 길어질수록 모델의 지능과 정보 처리 정확도가 떨어지는 현상을 말한다. 긴 문맥 속에서 중요한 정보를 놓치는 'Lost in the Middle' 현상이나 어텐션 메커니즘의 희석으로 인해 발생하며, 단순히 긴 문맥을 지원한다고 해서 성능이 보장되지는 않는다.

See also

Favorite site