@@ -109,16 +109,16 @@ extern "C" {
109
109
110
110
enum llama_token_attr {
111
111
LLAMA_TOKEN_ATTR_UNDEFINED = 0 ,
112
- LLAMA_TOKEN_ATTR_UNKNOWN = 1 << 1 ,
113
- LLAMA_TOKEN_ATTR_UNUSED = 1 << 2 ,
114
- LLAMA_TOKEN_ATTR_NORMAL = 1 << 3 ,
115
- LLAMA_TOKEN_ATTR_CONTROL = 1 << 4 , // SPECIAL?
116
- LLAMA_TOKEN_ATTR_USER_DEFINED = 1 << 5 ,
117
- LLAMA_TOKEN_ATTR_BYTE = 1 << 6 ,
118
- LLAMA_TOKEN_ATTR_NORMALIZED = 1 << 7 ,
119
- LLAMA_TOKEN_ATTR_LSTRIP = 1 << 8 ,
120
- LLAMA_TOKEN_ATTR_RSTRIP = 1 << 9 ,
121
- LLAMA_TOKEN_ATTR_SINGLE_WORD = 1 << 10 ,
112
+ LLAMA_TOKEN_ATTR_UNKNOWN = 1 << 0 ,
113
+ LLAMA_TOKEN_ATTR_UNUSED = 1 << 1 ,
114
+ LLAMA_TOKEN_ATTR_NORMAL = 1 << 2 ,
115
+ LLAMA_TOKEN_ATTR_CONTROL = 1 << 3 , // SPECIAL?
116
+ LLAMA_TOKEN_ATTR_USER_DEFINED = 1 << 4 ,
117
+ LLAMA_TOKEN_ATTR_BYTE = 1 << 5 ,
118
+ LLAMA_TOKEN_ATTR_NORMALIZED = 1 << 6 ,
119
+ LLAMA_TOKEN_ATTR_LSTRIP = 1 << 7 ,
120
+ LLAMA_TOKEN_ATTR_RSTRIP = 1 << 8 ,
121
+ LLAMA_TOKEN_ATTR_SINGLE_WORD = 1 << 9 ,
122
122
};
123
123
124
124
// model file types
0 commit comments