Francis Chong - reality

Francis Chong

Mobile and web developer

llama.swift

llama.cpp 繼續有不錯的發展，可以用來做東西玩了。今天首先做了個 llama.cpp 的 Swift Package: https://github.com/siuying/llama.swift import Llama // 1. Open a model let modelPath = Bundle.module.path(forResource: "gpt4all-lora-quantized", ofType: "bin")! let llama = try Llama(path: modelPath) // 2. Predict words based on input let result = try llama.predict("Neil Armstrong:

llama.cpp 的新發展

最近 llama.cpp 有一些令人期待的新發展： * Chat Script - 示範用 few shot learning 的方法用 LLaMA做一個 Chat Bot。 * C-style API - 在此之前只能把 llama.cpp 當成一個程式使用。雖然有一些 library 把它的功能包裝了，但每次使用也要重新載入整個模型。這個 PR 以後就可以在其他語言裡直接使用這些功能了。 * Embedding - 返回輸入的 Embedding – 一組包含了單詞的語義和語法的多維向量。用它可以做本地的語意搜尋。這些比較接近基礎建設，雖然還有一些技術問題要克服，但成功組合起來後就可以做本地版的 LangChain 或 GPT Index 了。

如何用幾美元訓練出可以在 Raspberry Pi 上運行的 Chat bot

如何用幾美元訓練出可以在 Raspberry Pi 上運行的 Chat bot

最近各種 AI 的發展實在太快，就在上篇文章後，這幾天的新聞有： * GPT-4 - OpenAI 新的大型多模態模型，能夠理解圖片內容，並在各種專業和學術標準測試中表現出與人類同等水平的性能。 * Apple 正在加緊開發聊天機器人，很多工程師每週也在測試大型語言模型。 * Amazon 表示一直也有研究大型語言模型 * Google 宣佈 PaLM API * 百度發佈「文心一言」，多模態模型能理解文字、圖片和影片。發佈後第二天股價下跌近一成。 * Microsoft 宣佈 365 Copilot 把 AI 深入整合進 Office 365 各種產品中大型語言模型的普及化這些新聞都是巨企如何花大錢研發巨型的模型，但是比較讓我在意的是小型模型的後續發展。今年一月，ARK Investment 在曾預言 AI (主要指大型語言模型) 的訓練成本將持續下降，他們預測到 2030 年成本將下跌至 $30 美元。

上手玩玩 LLaMA - Meta 的開源大型語言模型

最近 ChatGPT 大熱，取代 crypto 成為 buzz word 之首。網路上各種應用和教學也如花潮一樣每個人都在談。不過最近更值得留意的是 Meta 最近發表的模型 LLaMA，原因有二：一：它的模型比較細小。由 7B 到 65B，Meta 稱它的 13B 的模型的性能可和 175B 的 GPT-3 相比。這意味著這個最小的模型可以放到 14G 的民用 GPU 上，最大的模型也 "只" 需要 135G – 一個 A100 電腦叢集就可以運行。 (相對來說 GPT-3 需要 800G ，這已遠超一般公司甚至雲端運算供應商可以服務的層次了) 二：Meta 選擇公開了模型 – 雖然有一定的限制。

二零二三

對上一次更新已經差不多四年前了。這幾年香港、世界以至自己的轉變可說翻天覆地，但各種鬱悶實在無法好好整理下來。來到英國已經兩年，也算過了初到貴境的階段了。接下來希望可以多些認識這地方，可以的話也多些時間筆記和整理思緒吧。

第一次自組水冷

計劃中和做得不錯的部份 1. 我事前畫了大量的設計圖，不同的水管角度也畫了無數次，雖然實際做時也需要隨機應變，但這些設計很有幫助。 2. 因應設計買了足夠的 fittings 和轉角接口，90 度最有用，45度和180度也十分有用。 3. 設計時留了一個排水口，平時隱藏但維護時很有用計畫外和錯誤的部份 1. 買配件時沒有計算大小，我的機箱是 Fractal Design Define C 本來勉強可以放進 360 + 240 散熱器，但同時配 2 張 GPU 和 D5 水泵就太難搞了。最終我買了大一號的 Define S2。(結果漂亮的 Define C 變成給老婆的新機，這是後話) 2. 買錯了 GPU Block ，看到寫的是 EVGA 1080

黑蘋果 iMac Pro

上回說到我想自組一台黑蘋果。參考 tonymac 的一篇教學和相關教程後我終於決定拍板了。現在這台電腦已經成功穩定運行一星期了。這一篇是回顧和記錄，希望其他有需要的朋友會有用。不過我得強調，除非你像我打算建立一台比 iMac Pro 更靈活更強的電腦，又不怕花一點時間研究，否則去買一台 iMac Pro 相信是個更好的選擇。效能比較話說組裝這部電腦是因為在公司用 18 Core iMac Pro 後覺得家中的 5K iMac (2014) 特別慢。一完成安裝我的第一件事當然是跑分測試啦。 Geenbench iMac Pro (2017, 18 cores, 64G)：5193 (single), 46001 (multi) iMac 5K (2014, i5 4 cores, 16G)： 4245, 12645

自組一台黑蘋果 Mac Pro

自組一台黑蘋果 Mac Pro

我的 iMac 是 2014 年 5k iMac，雖然還能動，但用 Xcode 還是常常彩虹球。其實一直也想自組一台黑蘋果，目標是 8 Core 以上的工作站。經過上次的組裝後自信可以自行完成，可以計劃一下了。為何不買 iMac 、 iMac Pro或未來的組合式 Mac Pro？單以價錢而論，如果買一個 5K 顯示器再組一台 PC 其實不會便宜過買 iMac。但是因為是一體式電腦，想要更新的話必需整台機器換掉，這個華麗的 5K 顯示器和內部如底板基本上就變垃圾了 (新的 iMac 沒有 target display mode，就算有當年也沒有方法輸出 5K 解像度...)。再說想要高效能就必需買 iMac Pro，那個超高價格換來是超高的規格：32G

try! Swift 2018 第一天筆記 (1)

try! Swift 2018 第一天筆記 (1)

Swift Secret Tour Yuka Ezura * 一些有關 Swift 的 type 和 closure 的你不知道的小知識 * 用 AST 在這些情況了解 Swift 運作的秘訣 Slide SIL for first time learners Yusuke Kita * 基本上就是說 swiftc -emit-sil -O ... 可以看到 swift 的 Swift Intermediate Language (SIL)。 Slide Exploring Clang Modules Samuel E. Giddins @segiddins CocoaPods 貢獻者 Samuel E. Giddins 在開發

2018 砌機：Ryzen 3 HTPC+遊戲組合

2018 砌機：Ryzen 3 HTPC+遊戲組合

後久沒有砌機了，這次想組一台 HTPC 所以趁機練習一下。硬件： * CPU：Ryzen 3 2200G * 底板：ASRocks Fatal1ty AB350 Gaming-ITX/ac (有 Wifi 和 USB-C) * 機箱：Jonsbo UMX1 Plus (鋁鎂外殼 + 鋼化玻璃) * 電源：Corsair SF450 (雖然機箱可以用ATX，但店員建議用 SFX 電源讓走線方便一點) * 記憶體：DDR4-3000 (Ryzen 要比較快的 DDR4) * 儲存：M.2 SSD (超方便，不用走線直接安裝到底板就行) * 顯示卡：之前換下來的 Zotac 1060 AMP Edition ITX

移除 Audible 有聲書的 DRM

之所以想把 Audible 收藏備份，是早前在推上看到這篇 xkcd ：有些好書你真的只能在有 DRM 的市場找到，而我們當然也想支持作者和出版社，所以只好先買書再用麻煩的方法解除 DRM 了。要留意以下的方法並不是破解 Audible DRM ，只是用和 Audible app 一樣的方法下載和解碼，再轉換檔案而已。下載 Audible 有聲書要移除 DRM ，首先當然要下載有 DRM 的檔案。Audible 除了由 app 播放外，也支援下載有聲書到 iTunes 使用。登入 Audible 後在 Library 裡可以看到 "Download" 的選項 (記得把 Audio Quality 設為 Enhanced)，點它就會下載 aax 格式的

Demo: P2P collaborative text editor

Demo: P2P collaborative text editor

Recently I've been researching on P2P collaborative text editor. I've a demo to show - its not much beyond a technical demo, but it is interesting. Go ahead to try it out! Open the page on two browser windows (only Firefox or Chrome will work for now), wait a few

Mastodon

我很喜歡 Twitter 這個平台。在 2007 年時，在上面說中文的多是 Blogger 圈的人。我記得拉了好幾位同事朋友進去。那時 Twitter 還常常鯨魚，那時還有許多內地的高質推文。。。都是許久之前的事了。 Twitter 最大的問題是 Twitter 這公司，他們的策略和方向基本上是跟用戶作對的。記得他們移除了超強的 Twitter iPad app 換成現在的統一的垃圾、他們的 Dick Bar 、他們的 100000 個 auth token 限制來毒殺第三方軟件，他們近年最大的創新居然是 140 字不計 mention 和 url。。。 Twitter 的未來？之前有一些號稱取代 Twitter 的開源/商業代替品，像不久之前關門的 app.net。我覺得它是一個很爛的主意，

My WWDC 2016 Wishlist

My WWDC 2016 Wishlist

Its about time to WWDC. It’s always like Christmas for Apple developers. Provided Phil Schiller release huge App Store changes a week before WWDC, we can expect there will be lots of important changes coming. Here is what I wished for: Instant Apps Google wow everyone with the Android

Making of Peerflix for iOS, or how to embed any nodejs app in iOS app.

This is about building Peerflix for iOS. What is Peerflix? In case you don't know, peerflix is a JavaScript app that stream video torrents without fully downloading them. It's like Netflix, but P2P, bought to you by @mafintosh. It's awesome! But what if I just want to play video my

我看 WWDC 2015

說說今年 WWDC 比較重要的東西吧： Swift 2.0 蘋果自己埋頭苦幹做了 Swift 幾年，在上年突然推出把全世界嚇了一跳。雖然贏得了開發者的掌聲，但是它的不穩定和一些語法古怪的部份讓很多開發者都停留在 Objective-C。今年蘋果就是要跟大家說他是認真的，也解決了一些重要問題： * 解決了大部份的 compiler bug ，也把許多謎一樣的 compiler error/warning 改成有用的建議 * 在 Objective-C 中加入了 nullability 和 generics 。這讓 Swift 使用 Obj-C 時多餘的 optional 減到最少。 * 錯誤處理：加入了 try/catch 錯誤處理機制，巧妙地兼容 Objective-C 的 error pointer，不用再用 NSErrorPointer 了。 * 甚麼是

Effectively implementing delegate pattern in your custom classes

Delegate is one of the simplest and flexible patterns in Cocoa. A delegate is an object that acts on behalf of, or in coordination with, another object when that object encounters an event in a program. Concepts in Objective-C Programming By using delegate, you simplify the design and reduce the

Building a iOS Ruby REPL and Opal for iOS

Building a iOS Ruby REPL and Opal for iOS

I'm happy to tell you I just finished the first version of IGJavaScriptConsole, a JavaScript/Ruby REPL for your Objective-C apps! REPL stands for Read-Eval-Print-Loop. See it in live below: Why? Since iOS 7 shipped with JavaScriptCore, I always want to run Ruby on it with Opal. While it is

Debugging JavaScriptCore using Safari Web Inspector

With new JavaScriptCore in iOS, we have the ability to add dynamic scripting to mobile apps. If you've been working on embedded JavaScript for iOS projects, you know the pain: you have to compile and install the app, just to test the JavaScript changes you made. When something goes wrong,

讀書：iOS 6 Programming - Pushing the Limits

這本是我讀過最好的 iOS 開發者書本之一！不要被名字誤導，它的內容遠不只 iOS 6。它內容大致分成以下幾部份： 1. **iOS 6 的新功能。**包括 XCode 4、LLVM、IB等。 2. **日常工具進階介紹。**包括 Objective-C (你未必知道) 的常識、Cocoa 的 Design Pattern、記憶體管理、Table Views、Collection Views、Auto Layout、繪圖、動畫、錯誤處理、Location Service。 3. **各種常用功能的技巧。**包括 Table View 的進階應用、Multitasking、RESTful API 的應用、加密和保護資料安全、

讀書：Microinteractions

作為開發者我們開發時很容易把功能 (features) 當成是價值的指標。然而在 App Store 或網站這類市場上，有能力做到同樣功能的人隨時成千上萬。能夠給人印像深刻的軟件，其成功之處往往就是在無數個沒有標明的細節上。何謂「細節」？ Microinteractions: Designing with Details 一書就嘗試系統化地分析互動設計上的細節。這超越了設計的潮流 (擬真 vs 平面)、技術和平台，聚焦在日常互動的亮點，那些讓人滿足和愉快的設計。這書十分精練、有趣和清晰。每一章往往都是由生活化的故事說起，一路讀下去你會看到有趣的題目，不同的例子和執行上的考慮。我特別喜歡正文之間夾雜的由成功軟件抽出來的 "microinteractions"，經典的設計讓人樂此不疲。讀畢此書你自然會養成檢視每一個軟件細節的習慣，雖然這未必等於有「好設計」，但最少你所檢視的層次不再只是「合乎規格」而已。更重要的是你會懂得分辦細節的好壞，將之解釋給隊友或客戶知道。我把此書推介給所有軟件開發者和 UX/UI 設計師！

2013 三藩市之旅 (1)

WWDC 是 Apple 系開發者最重要的活動，2013 年，全職開發 iOS 軟件三年後終於有機會參與其中，所以我想總要寫下點甚麼記錄吧。 Day 1 到步的時間是大清早，這次選了坐 BART，只要 8.5 元便去到 Powell St. Station 。這時也只是上午九時許。下車第一時間當然是買 Sim 卡上網，這次用的也是 T-Mobile。雖然據說這年 T-Mobile 在灣區建設了 4G 的網路，但實際用的時候還不是太可靠就是了... 這天的行程基本上就是亂走，我就隨便走去了 Cable Car Museum。其實我之前也沒有坐過這裡的 Cable Car，不過作為這區的名勝之一總要走一走吧。意外的除了一些歷史展品外，這個地方同時是 Cable Car 的動力中心，也就是說這些在轉的滑輪就在拉動整個灣區的 Cable

2013 三藩市之旅 (3) - 矽谷遊

2013 三藩市之旅 (3) - 矽谷遊

Day 8 這天跟 @dlackty 和 @itszero 去 Computer History Museum，那裡記錄著電腦科技的歷史(包括好些黑歷史)，是業界人士必去的景點啊！午餐在 The Cheesecake Factory，美式食品和 Cheese Cake 也十分美味！！之後我們走了去 Stanford University，見識一下老牌大學的樣子。晚餐在 Himawari ，是日式餐館！抱著挑戰的心態走去吃。。。結果拉面還可以，但小食還是免了。 Day 9 這天繼續矽谷遊，首先是去 Facebook 。他們的辦公室像是一個城堡，圍牆之內是一個應有盡有的社區，感覺是就算是喪屍來襲他們的員工還是可以在裏面繼續生存和開發的。午餐在 Feffrey's Hambugers，是地道的漢堡包。接著去加入了 AVOS 的 POP 團隊。印像好深刻的就是這張可調升降的 standing

2013 三藩市之旅 (2) - WWDC

2013 三藩市之旅 (2) - WWDC

Day 3 WWDC 第一天，這天沒有真正的 Talk。重點是傳說中的 Key Note。之前一天晚飯的時侯，Playmore 的 Andy 和 Alex 說著「要是八時去到鐵定要去overflow room 看電視直播」。雖然不大相信，但千里迢迢過來總不能灰到看電視轉播的吧？所以我和同房便六點走過去了。。。六時的 Moscone West 已經打了一個蛇餅了，晨早的三藩市格外寒冷。不過因為在這裡排隊的都是跟我們一樣的開發者，熱熱鬧鬧的，還有蘋果供應的咖啡，兩小時很快過過去了。 Key Note 會場！ Key Note 完場後，覺得已經完全不同了 (貌似)。幾千個開發者聚在一起的午餐就是這樣：休息時間。如何在一個場地應付幾千個每人身上都起碼有兩三件 Wifi 儀器的 Geek 的？據說Apple是小數真的可以克服這困難的公司，現場也有他們監察流量的 Dashboard。另一個重點就是

TOKYO Rails #19

TOKYO Rails #19

During our trip in Tokyo last month, I and my wife attended TOKYO Rails #19 at COOKPAD, and that is fantastic. While I don't actually coding Rails lately, I'm lucky to met a few iOS developers and exchanged a bit, such as introducing もじバトル, SplitCam and EverClip, and see some