Add minimal grammar parser in examples/

Author: joelkuiper

examples/CMakeLists.txt

@@ -27,6 +27,7 @@ else()
     add_subdirectory(embd-input)
     add_subdirectory(llama-bench)
     add_subdirectory(beam-search)
+    add_subdirectory(grammar)
     if (LLAMA_METAL)
         add_subdirectory(metal)
     endif()

examples/grammar/CMakeLists.txt

@@ -0,0 +1,5 @@
+set(TARGET grammar)
+add_library(${TARGET} SHARED grammar.cpp)
+set_target_properties(${TARGET} PROPERTIES POSITION_INDEPENDENT_CODE ON)
+target_link_libraries(${TARGET} PRIVATE common llama ${CMAKE_THREAD_LIBS_INIT})
+target_compile_definitions(${TARGET} PRIVATE LLAMA_SHARED LLAMA_BUILD)

examples/grammar/grammar.cpp

@@ -0,0 +1,14 @@
+#include "grammar.h"
+
+struct llama_grammar * llama_parse_grammar(const char * grammar_str) {
+    struct llama_grammar * grammar = NULL;
+    grammar_parser::parse_state parsed_grammar;
+
+    parsed_grammar = grammar_parser::parse(grammar_str);
+    grammar_parser::print_grammar(stderr, parsed_grammar);
+
+    std::vector<const llama_grammar_element *> grammar_rules(parsed_grammar.c_rules());
+    grammar = llama_grammar_init(grammar_rules.data(), grammar_rules.size(), parsed_grammar.symbol_ids.at("root"));
+
+    return grammar;
+}

examples/grammar/grammar.h

@@ -0,0 +1,17 @@
+#ifndef GRAMMAR_H
+#define GRAMMAR_H
+
+#include "llama.h"
+#include "grammar-parser.h"
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+  struct llama_grammar * llama_parse_grammar(const char * grammar_str);
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif // GRAMMAR_H