Make llama_buffer and llama_ctx_buffer copyable+moveable.

Author: mattpulver

llama-util.h

@@ -417,39 +417,45 @@ struct llama_buffer {
     size_t size = 0;
 
     llama_buffer() = default;
+    ~llama_buffer() { resize(0); }
+    llama_buffer(const llama_buffer& rhs) { *this = rhs; }
+    llama_buffer& operator=(const llama_buffer& rhs) {
+        resize(rhs.size);
+        memcpy(addr, rhs.addr, size);
+        return *this;
+    }
+    llama_buffer(llama_buffer&& rhs):addr(rhs.addr), size(rhs.size) {
+        new (&rhs) llama_buffer();
+    }
+    llama_buffer& operator=(llama_buffer&& rhs) {
+        this->~llama_buffer();
+        addr = rhs.addr;
+        size = rhs.size;
+        new (&rhs) llama_buffer();
+        return *this;
+    }
 
     void resize(size_t len) {
+        size = 0;
 #ifdef GGML_USE_METAL
         free(addr);
-        int result = posix_memalign((void **) &addr, getpagesize(), len);
-        if (result == 0) {
-            memset(addr, 0, len);
-        }
-        else {
-            addr = NULL;
-            len = 0;
+        if (len) {
+          int result = posix_memalign((void **) &addr, getpagesize(), len);
+          if (result == 0) {
+              memset(addr, 0, len);
+              size = len;
+          } else {
+              addr = NULL;
+          }
         }
 #else
         delete[] addr;
-        addr = new uint8_t[len];
-#endif
-        size = len;
-    }
-
-    ~llama_buffer() {
-#ifdef GGML_USE_METAL
-        free(addr);
-#else
-        delete[] addr;
+        if (len) {
+          addr = new uint8_t[len];
+          size = len;
+        }
 #endif
-        addr = NULL;
     }
-
-    // disable copy and move
-    llama_buffer(const llama_buffer&) = delete;
-    llama_buffer(llama_buffer&&) = delete;
-    llama_buffer& operator=(const llama_buffer&) = delete;
-    llama_buffer& operator=(llama_buffer&&) = delete;
 };
 
 #ifdef GGML_USE_CUBLAS
@@ -459,44 +465,48 @@ struct llama_ctx_buffer {
     bool is_cuda;
     size_t size = 0;
 
-    llama_ctx_buffer() = default;
-
-    void resize(size_t size) {
+    void resize(size_t len) {
         free();
-
-        addr = (uint8_t *) ggml_cuda_host_malloc(size);
-        if (addr) {
-            is_cuda = true;
-        }
-        else {
+        addr = (uint8_t *) ggml_cuda_host_malloc(len);
+        is_cuda = static_cast<bool>(addr);
+        if (!is_cuda) {
             // fall back to pageable memory
             addr = new uint8_t[size];
-            is_cuda = false;
         }
-        this->size = size;
+        size = len;
     }
 
     void free() {
         if (addr) {
             if (is_cuda) {
                 ggml_cuda_host_free(addr);
-            }
-            else {
+            } else {
                 delete[] addr;
             }
         }
-        addr = NULL;
+        new (this) llama_ctx_buffer();
     }
 
-    ~llama_ctx_buffer() {
-        free();
+    llama_ctx_buffer() = default;
+    ~llama_ctx_buffer() { free(); }
+    llama_ctx_buffer(const llama_ctx_buffer& rhs) { *this = rhs; }
+    llama_ctx_buffer& operator=(const llama_ctx_buffer& rhs) {
+        resize(rhs.size);
+        memcpy(addr, rhs.addr, size);  // cuda memcpy if is_cuda?
+        return *this;
+    }
+    llama_ctx_buffer(llama_ctx_buffer&& rhs):addr(rhs.addr), is_cuda(rhs.is_cuda), size(rhs.size) {
+        new (&rhs) llama_ctx_buffer();
+    }
+    llama_ctx_buffer& operator=(llama_ctx_buffer&& rhs) {
+        this->~llama_ctx_buffer();
+        addr = rhs.addr;
+        is_cuda = rhs.is_cuda;
+        size = rhs.size;
+        new (&rhs) llama_ctx_buffer();
+        return *this;
     }
 
-    // disable copy and move
-    llama_ctx_buffer(const llama_ctx_buffer&) = delete;
-    llama_ctx_buffer(llama_ctx_buffer&&) = delete;
-    llama_ctx_buffer& operator=(const llama_ctx_buffer&) = delete;
-    llama_ctx_buffer& operator=(llama_ctx_buffer&&) = delete;
 };
 #else
 typedef llama_buffer llama_ctx_buffer;