Try restricting compilation to ARM64.

Author: MrMage

include/llama.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #ifndef LLAMA_H
 #define LLAMA_H
 
@@ -1320,3 +1322,5 @@ extern "C" {
 #endif
 
 #endif // LLAMA_H
+
+#endif

src/llama-grammar.cpp

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #include "llama-grammar.h"
 
 #include "llama-impl.h"
@@ -1137,3 +1139,5 @@ void llama_grammar_accept_impl(struct llama_grammar & grammar, llama_token token
     grammar.partial_utf8 = decoded.second;
     GGML_ASSERT(!grammar.stacks.empty());
 }
+
+#endif

src/llama-grammar.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #pragma once
 
 #include "llama.h"
@@ -141,3 +143,5 @@ void llama_grammar_apply_impl(
 void llama_grammar_accept_impl(
               struct llama_grammar & grammar,
                        llama_token   token);
+
+#endif

src/llama-impl.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #pragma once
 
 #include "ggml.h" // for ggml_log_level
@@ -59,3 +61,5 @@ std::string llama_format_tensor_shape(const std::vector<int64_t> & ne);
 std::string llama_format_tensor_shape(const struct ggml_tensor * t);
 
 std::string gguf_kv_to_str(const struct gguf_context * ctx_gguf, int i);
+
+#endif

src/llama-sampling.cpp

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #include "llama-sampling.h"
 
 #include "llama-impl.h"
@@ -2405,3 +2407,5 @@ void llama_perf_sampler_reset(struct llama_sampler * chain) {
 
     ctx->t_sample_us = ctx->n_sample = 0;
 }
+
+#endif

src/llama-sampling.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #pragma once
 
 // TODO: rename llama-sampling.h/.cpp to llama-sampler.h/.cpp ?
@@ -30,3 +32,5 @@ struct llama_sampler * llama_sampler_init_dry_testing(
                          int32_t   dry_allowed_length,
                          int32_t   dry_penalty_last_n,
   const std::vector<std::vector<llama_token>>& seq_breakers);
+
+#endif

src/llama-vocab.cpp

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #include "llama-vocab.h"
 
 #include "llama-impl.h"
@@ -3250,3 +3252,4 @@ int32_t llama_detokenize(
     return vocab->detokenize(tokens, n_tokens, text, text_len_max, remove_special, unparse_special);
 }
 
+#endif

src/llama-vocab.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #pragma once
 
 #include "llama.h"
@@ -123,3 +125,5 @@ struct llama_vocab {
     struct impl;
     std::unique_ptr<impl> pimpl;
 };
+
+#endif

src/llama.cpp

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #include "llama-impl.h"
 
 #include "llama-chat.h"
@@ -10111,3 +10113,5 @@ void llama_perf_context_reset(struct llama_context * ctx) {
     ctx->t_eval_us   = ctx->n_eval = 0;
     ctx->t_p_eval_us = ctx->n_p_eval = 0;
 }
+
+#endif

src/unicode-data.cpp

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 // generated with scripts/gen-unicode-data.py
 
 #include "unicode-data.h"
@@ -7032,3 +7034,5 @@ const std::initializer_list<range_nfd> unicode_ranges_nfd = {  // start, last, n
 {0x02FA1C, 0x02FA1C, 0x009F3B},
 {0x02FA1D, 0x02FA1D, 0x02A600},
 };
+
+#endif

src/unicode-data.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #pragma once
 
 #include <cstdint>
@@ -18,3 +20,5 @@ extern const std::unordered_set<uint32_t> unicode_set_whitespace;
 extern const std::initializer_list<std::pair<uint32_t, uint32_t>> unicode_map_lowercase;
 extern const std::initializer_list<std::pair<uint32_t, uint32_t>> unicode_map_uppercase;
 extern const std::initializer_list<range_nfd> unicode_ranges_nfd;
+
+#endif

src/unicode.cpp

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #if defined(_MSC_VER)
 #define _SILENCE_CXX17_CODECVT_HEADER_DEPRECATION_WARNING
 #endif
@@ -840,3 +842,5 @@ std::vector<std::string> unicode_regex_split(const std::string & text, const std
 
     return unicode_byte_encoding_process(bpe_words);
 }
+
+#endif

src/unicode.h

@@ -1,3 +1,5 @@
+#if defined(__arm64__)
+
 #pragma once
 
 #include <cstdint>
@@ -64,3 +66,5 @@ uint8_t     unicode_utf8_to_byte(const std::string & utf8);
 uint32_t unicode_tolower(uint32_t cpt);
 
 std::vector<std::string> unicode_regex_split(const std::string & text, const std::vector<std::string> & regex_exprs);
+
+#endif