Positional encoding

트랜스포머의 구성 요소 중 하나. RNN 같은 방식을 쓰지 않으면서도 토큰 순서에 대한 정보를 반영하기 위해 고안된 방법.

Articles

• 2024-11-25 - You could have designed state of the art positional encoding

Implementations

• Absolute positional encoding: 원래의 논문(Attention is all you need)에서 제안한 방식
• Rotary position embedding