Positional encoding

2024-11-26 (modified: 2025-06-29)
별칭: 포지셔널 인코딩

트랜스포머의 구성 요소 중 하나. RNN 같은 방식을 쓰지 않으면서도 토큰 순서에 대한 정보를 반영하기 위해 고안된 방법.

Articles

2024-11-25 - You could have designed state of the art positional encoding

Implementations

Absolute positional encoding: 원래의 논문(Attention is all you need)에서 제안한 방식
Rotary position embedding