Token

في موديلات اللغة هو جزء من النص بيتعامل معاه الموديل وممكن يكون كلمة أو جزء من كلمة أو علامة ترقيم وعدد الأجزاء بيختلف حسب النص وطريقة تقسيمه