common : warm-up with 2 tokens - seems to work better

ggerganov · ggerganov · commit 062cc263c98e · 2023-09-03T21:07:01.000+03:00
diff --git a/common/common.cpp b/common/common.cpp
@@ -770,7 +770,7 @@ std::tuple<struct llama_model *, struct llama_context *> llama_init_from_gpt_par
     {
         LOG("warming up the model with an empty run\n");
 
-        const std::vector<llama_token> tmp = { llama_token_bos(lctx), };
+        const std::vector<llama_token> tmp = { llama_token_bos(lctx), llama_token_eos(lctx), };
         llama_eval(lctx, tmp.data(), tmp.size(), 0, params.n_threads);
         llama_reset_timings(lctx);
     }

Original file line number	Diff line number	Diff line change
`@@ -770,7 +770,7 @@ std::tuple<struct llama_model , struct llama_context > llama_init_from_gpt_par`
`770`	`770`	`{`
`771`	`771`	`LOG("warming up the model with an empty run\n");`
`772`	`772`
`773`		`- const std::vector<llama_token> tmp = { llama_token_bos(lctx), };`
	`773`	`+ const std::vector<llama_token> tmp = { llama_token_bos(lctx), llama_token_eos(lctx), };`
`774`	`774`	`llama_eval(lctx, tmp.data(), tmp.size(), 0, params.n_threads);`
`775`	`775`	`llama_reset_timings(lctx);`
`776`	`776`	`}`