refactor : simplify and improve memory management

This commit is contained in:
Georgi Gerganov
2025-11-28 16:09:42 +02:00
parent 459b7ae7b9
commit 117e2079a9
29 changed files with 424 additions and 449 deletions
+3 -3
View File
@@ -192,10 +192,10 @@ int main(int argc, char ** argv) {
llama_numa_init(params.numa);
// load the target model
common_init_result llama_init = common_init_from_params(params);
auto llama_init = common_init_from_params(params);
llama_model * model = llama_init.model.get();
llama_context * ctx = llama_init.context.get();
auto * model = llama_init->model();
auto * ctx = llama_init->context();
auto * mem = llama_get_memory(ctx);