llama.cpp 的新發展

最近 llama.cpp 有一些令人期待的新發展：

• Chat Script - 示範用 few shot learning 的方法用 LLaMA做一個 Chat Bot。
• C-style API - 在此之前只能把 llama.cpp 當成一個程式使用。雖然有一些 library 把它的功能包裝了，但每次使用也要重新載入整個模型。這個 PR 以後就可以在其他語言裡直接使用這些功能了。
• Embedding - 返回輸入的 Embedding  – 一組包含了單詞的語義和語法的多維向量。用它可以做本地的語意搜尋。

這些比較接近基礎建設，雖然還有一些技術問題要克服，但成功組合起來後就可以做本地版的 LangChain 或 GPT Index 了 。