common : remove llama_token_to_piece for compatibility with hack

Signed-off-by: Jared Van Bortel <[email protected]>

Author: cebtenzzre

common/common.cpp

@@ -1415,20 +1415,6 @@ std::vector<llama_token> llama_tokenize(
     return result;
 }
 
-std::string llama_token_to_piece(const struct llama_context * ctx, llama_token token) {
-    std::vector<char> result(8, 0);
-    const int n_tokens = llama_token_to_piece(llama_get_model(ctx), token, result.data(), result.size());
-    if (n_tokens < 0) {
-        result.resize(-n_tokens);
-        int check = llama_token_to_piece(llama_get_model(ctx), token, result.data(), result.size());
-        GGML_ASSERT(check == -n_tokens);
-    } else {
-        result.resize(n_tokens);
-    }
-
-    return std::string(result.data(), result.size());
-}
-
 std::string llama_detokenize_spm(llama_context * ctx, const std::vector<llama_token> & tokens) {
     const llama_token bos_id = llama_token_bos(llama_get_model(ctx));
 

common/common.h

@@ -211,12 +211,6 @@ std::vector<llama_token> llama_tokenize(
                         bool   add_bos,
                         bool   special = false);
 
-// tokenizes a token into a piece
-// should work similar to Python's `tokenizer.id_to_piece`
-std::string llama_token_to_piece(
-        const struct llama_context * ctx,
-                       llama_token   token);
-
 // TODO: these should be moved in llama.h C-style API under single `llama_detokenize` function
 //       that takes into account the tokenizer type and decides how to handle the leading space
 //