159
159
160
160
# struct llama_vocab;
161
161
llama_vocab_p = NewType ("llama_vocab_p" , int )
162
- llama_vocab_p_ctypes = ctypes .c_int32
162
+ llama_vocab_p_ctypes = ctypes .c_void_p
163
163
164
164
# # struct llama_sampler;
165
165
# llama_sampler_p = NewType("llama_sampler_p", int)
244
244
LLAMA_VOCAB_PRE_TYPE_DBRX = 13
245
245
LLAMA_VOCAB_PRE_TYPE_SMAUG = 14
246
246
LLAMA_VOCAB_PRE_TYPE_PORO = 15
247
- LLAMA_VOCAV_PRE_TYPE_CHATGLM3 = 16
247
+ LLAMA_VOCAB_PRE_TYPE_CHATGLM3 = 16
248
248
LLAMA_VOCAB_PRE_TYPE_CHATGLM4 = 17
249
249
LLAMA_VOCAB_PRE_TYPE_VIKING = 18
250
250
LLAMA_VOCAB_PRE_TYPE_JAIS = 19
@@ -1266,12 +1266,6 @@ def llama_n_seq_max(ctx: llama_context_p, /) -> int:
1266
1266
...
1267
1267
1268
1268
1269
- # LLAMA_API int32_t llama_vocab_n_tokens(const struct llama_vocab * vocab);
1270
- @ctypes_function ("llama_vocab_n_tokens" , [llama_vocab_p_ctypes ], ctypes .c_int32 )
1271
- def llama_vocab_n_tokens (vocab : llama_vocab_p , / ) -> int :
1272
- ...
1273
-
1274
-
1275
1269
# LLAMA_API int32_t llama_model_n_ctx_train(const struct llama_model * model);
1276
1270
@ctypes_function ("llama_model_n_ctx_train" , [llama_model_p_ctypes ], ctypes .c_int32 )
1277
1271
def llama_model_n_ctx_train (model : llama_model_p , / ) -> int :
@@ -1308,7 +1302,7 @@ def llama_pooling_type(ctx: llama_context_p, /) -> int:
1308
1302
...
1309
1303
1310
1304
# LLAMA_API const struct llama_vocab * llama_model_get_vocab(const struct llama_model * model);
1311
- @ctypes_function ("llama_model_get_vocab" , [llama_model_p_ctypes ], ctypes . c_int32 )
1305
+ @ctypes_function ("llama_model_get_vocab" , [llama_model_p_ctypes ], llama_vocab_p )
1312
1306
def llama_model_get_vocab (model : llama_model_p , / ) -> Optional [llama_vocab_p ]:
1313
1307
...
1314
1308
@@ -1330,7 +1324,7 @@ def llama_vocab_type(vocab: llama_vocab_p, /) -> int:
1330
1324
1331
1325
1332
1326
# LLAMA_API int32_t llama_vocab_n_tokens(const struct llama_vocab * vocab);
1333
- @ctypes_function ("llama_vocab_n_tokens" , [llama_vocab_p_ctypes ], ctypes .c_int )
1327
+ @ctypes_function ("llama_vocab_n_tokens" , [llama_vocab_p_ctypes ], ctypes .c_int32 )
1334
1328
def llama_vocab_n_tokens (vocab : llama_vocab_p , / ) -> int :
1335
1329
...
1336
1330
0 commit comments