llama : fix llama_memory_t typedef

ggml-ci

Author: ggerganov

include/llama.h

@@ -62,7 +62,7 @@ extern "C" {
     struct llama_context;
     struct llama_sampler;
 
-    typedef struct llama_memory * llama_memory_t;
+    typedef struct llama_memory_i * llama_memory_t;
 
     struct llama_kv_cache; // DEPRECATED (use llama_memory instead)
 

src/llama-context.h

@@ -17,8 +17,8 @@ struct llama_model;
 class llama_io_read_i;
 class llama_io_write_i;
 
-class llama_memory_i;
-class llama_memory_state_i;
+struct llama_memory_i;
+struct llama_memory_state_i;
 
 struct llama_context {
     // init scheduler and compute buffers, reserve worst-case graphs

src/llama-graph.h

@@ -17,7 +17,7 @@ struct ggml_tensor;
 struct llama_ubatch;
 struct llama_cparams;
 
-class llama_memory_state_i;
+struct llama_memory_state_i;
 
 class llama_kv_cache_unified_state;
 class llama_kv_cache_unified_iswa_state;

src/llama-memory.h

@@ -39,8 +39,7 @@ llama_memory_status llama_memory_status_combine(llama_memory_status s0, llama_me
 // the only method that can mutate the memory and the memory state is llama_memory_i::apply()
 //
 // TODO: rename to llama_memory_context_i ?
-class llama_memory_state_i {
-public:
+struct llama_memory_state_i {
     virtual ~llama_memory_state_i() = default;
 
     // consume the current ubatch from the state and proceed to the next one
@@ -65,8 +64,7 @@ using llama_memory_state_ptr = std::unique_ptr<llama_memory_state_i>;
 
 // general concept of LLM memory
 // the KV cache is a type of LLM memory, but there can be other types
-class llama_memory_i {
-public:
+struct llama_memory_i {
     virtual ~llama_memory_i() = default;
 
     // split the input batch into a set of ubatches and verify that they can fit into the cache
@@ -113,11 +111,7 @@ class llama_memory_i {
 
 using llama_memory_ptr = std::unique_ptr<llama_memory_i>;
 
-// TODO: how to avoid this shim?
-struct llama_memory : public llama_memory_i {
-};
-
 // TODO: temporary until the llama_kv_cache is removed from the public API
-struct llama_kv_cache : public llama_memory {
+struct llama_kv_cache : public llama_memory_i {
     virtual ~llama_kv_cache() = default;
 };