Vì Transformer không sử dụng cấu trúc tuần tự như RNN, nên nó không có khả năng nhận biết thứ tự của các phần tử trong chuỗi. Để giải quyết vấn đề này, Transformer sử dụng một kỹ thuật gọi là positional encoding, trong đó mỗi phần tử trong chuỗi đầu vào được cộng thêm một vector đặc trưng để biểu thị vị trí của nó trong chuỗi. Kỹ thuật này giúp mô hình nhận biết được thứ tự của các phần tử mà không cần phải sử dụng cấu trúc tuần tự.Một trong những