Apply suggestions to main.cpp

Author: thomasantony

main.cpp

@@ -88,8 +88,6 @@ int main(int argc, char ** argv) {
 
     // Add a space in front of the first character to match OG llama tokenizer behavior
     params.prompt.insert(0, 1, ' ');
-    // tokenize the prompt
-    std::vector<gpt_vocab::id> embd_inp = llama_tokenize_text(ctx, params.prompt);
 
     // tokenize the reverse prompt
     std::vector<gpt_vocab::id> antiprompt_inp = llama_tokenize_text(ctx, params.prompt);
@@ -140,15 +138,15 @@ int main(int argc, char ** argv) {
         printf(ANSI_COLOR_YELLOW);
     }
 
-    if(!llama_injest_input(ctx, params.prompt))
+    if(!llama_ingest_input(ctx, params.prompt))
     {
-        fprintf(stderr, "Failed to injest prompt\n");
+        fprintf(stderr, "Failed to ingest prompt\n");
         return 1;
     };
 
     // display text
     input_noecho = false;
-    const std::vector<gpt_vocab::id>& embd = llama_context_get_embd(ctx);
+    const std::vector<gpt_vocab::id>& embd = llama_context_get_embedding(ctx);
     if (!input_noecho) {
             for (auto id : embd) {
             printf("%s", vocab.id_to_token[id].c_str());
@@ -162,15 +160,14 @@ int main(int argc, char ** argv) {
 
     const std::vector<gpt_vocab::id>& last_n_tokens = llama_context_get_last_n_tokens(ctx);
 
-    while (llama_context_not_finished(ctx) > 0) {        
+    while (llama_context_is_finished(ctx) != true) {
         gpt_vocab::id model_output = 0;
-        bool response = llama_inference(ctx, model_output);
+        bool response = llama_infer(ctx, model_output);
         if (response) {
             printf("%s", vocab.id_to_token[model_output].c_str());
             fflush(stdout);
         }
 
-
         // in interactive mode, and not currently processing queued inputs;
         // check if we should prompt the user for more
         if (params.interactive) {
@@ -204,7 +201,7 @@ int main(int argc, char ** argv) {
                         buf[n_read+1] = 0;
                     }
                     // Do not clear existing context in interactive mode
-                    llama_init_context_with_prompt(ctx, buf, false);
+                    llama_update_context_with_prompt(ctx, buf, false);
                 }
 
                 is_interacting = false;