資深開發(fā)大佬，終于忍不住自己出來創(chuàng)業(yè)了。

Georgi Gerganov，今年三月曾開源了 llama.cpp 項目，GitHub 上已破三萬星標，要知道 Stable Diffusion 也不過 8.8k。

這個項目能讓開發(fā)者在沒有 GPU 情況下運行 Meta 的 LLaMA 模型，即便是在樹莓派、MacBook 上運行大模型也通通不在話下~

甚至還成功吸引了小扎的注意:Meta 也在運行 llama.cpp。

可能由于反響太好，這位大哥決定把背后核心純 C 語言框架 ggml 拿出來創(chuàng)業(yè):原本是幾月前的副業(yè)項目。

在官宣前這家公司就已經(jīng)獲得來自 GitHub 前 CEONat Friedman、Y Combinator 合伙人 Daniel Gross 的種子前投資。

消息一出，眾多開發(fā)者趕來祝賀。

其中不乏一些堅定的擁護者:ggml 正在將大模型普及到邊緣設(shè)備。

沒過多久就有人建議:蘋果應(yīng)該將它收購了。

llama.cpp 作者創(chuàng)業(yè)

ggml，是一個純 C 語言編寫的張量庫，可幫助開發(fā)者在消費級硬件上運行大模型，GitHub 星標數(shù)達到 4.4k。

由于加速效果驚人，一下子收獲了不少開發(fā)者的支持。

By the way，ggml 的 gg 恰好是他名字的縮寫。

大哥自己的兩個上萬星標的項目 llama.cpp 和 whisper.cpp 都使用了它。

后者是為 OpenAI 的 Whisper 自動語音識別模型開發(fā)的加速方案，可在 Mac、Windows、Linux、iOS、安卓、樹莓派以及 web 上運行。

不少初創(chuàng)公司，比如主打生活搜索引擎的 rewind 都使用了這套解決方案。

還有兩個項目同時在終端上運行。

根據(jù)個人介紹，ggml 張量庫具有以下這些特點:

支持 16bit 浮點數(shù)；支持整數(shù)量化；自動微分；內(nèi)置優(yōu)化算法(例如 ADAM、L-BFGS)；為蘋果芯片設(shè)置特定優(yōu)化；在 x86 架構(gòu)上使用 AVX / AVX2 Intrinsic；通過 WebAssembly 和 WASM SIMD 提供 Web 支持；無第三方依賴；運行時零內(nèi)存分配；支持指導(dǎo)型語言輸出……

目前這個庫以及相關(guān)項目都是免費開源，開發(fā)過程也全公開；當(dāng)然也不排除開發(fā)授權(quán)給一些商業(yè)用途的項目。

用 C / C++ 重寫神經(jīng)網(wǎng)絡(luò)代碼

而這背后的開發(fā)大佬 Georgi Gerganov 也值得說道說道。

他的個人網(wǎng)站十分簡單直接，甩出各種開源項目，除此之外別無其他。可以看出，他是 C / C++ 的狂熱愛好者，信仰 Vim。

此前，他曾用 C / C++ 語言重寫神經(jīng)網(wǎng)絡(luò)推理代碼，這樣幾乎不依賴于其他庫，以此提升效率。至于 llama.cpp 也是他一晚上 Hacking 出來的。

除此之外，他還有一些有意思的項目。

比如檢查鍵盤是否可以通過麥克風(fēng)竊聽、猜 Hacker News 的標題，Wordle 克隆版等等。

One More Thing

值得一提的是，背后的這兩個投資者也有點意思。

他們還專門給創(chuàng)業(yè)者提供算力集群，只需在網(wǎng)站上申請即可。這波是在 Next Level 上了~

參考鏈接:

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個人觀點，與本網(wǎng)無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。