ช่วงนี้กระแส local model กำลังมา แต่ก็ไม่ใช่ทุกคนที่มี resource ในการลอง run … แน่ใจหรอ

วันนี้ผมมี 2 ตัวเลือกมาให้ลองเล่นเพื่อเหมือนลองสัมผัสแบบเบาๆ ว่า local model จริงๆ แล้วมันคืออะไร เอาไปทำไรได้บ้าง

อันแรกคือ Handy (ฟรีใช้ได้เลย ถ้าไม่เกิน limit ที่ให้มาก็เยอะมากอยู่) อันนี้ได้รับการป้ายยามาจากพี่ Peerasak มันทำหน้าที่เหมือนโหลด Local Model เช่นแบบ Whisper สมัยก่อน แต่เดี๋ยวนี้มีโมเดลอย่าง Qwen หรือ FunASR ให้เล่นเยอะมาก ลองพูดแล้วให้มัน transcribe ดู จะเห็นเลยว่าการรัน Local Model ทำให้ transcribe หรือ post-process ได้ค่อนข้างดีมาก แล้วก็ได้ compare ไปเลยว่าแต่ละตัว speed เป็นยังไง accuracy เป็นยังไง ได้สัมผัสว่าแต่ละ Local Model เป็นยังไงบ้าง กิน ram เราไปแค่ไหน จะได้รู้ข้อจำกัดของคอมเราไปด้วยเลยว่ารอบหน้าต้องซื้อ spec ไหน T T

อีกอันคือ Cotypist (ฟรีใช้ได้เหมือนกัน ถ้าไม่เกิน limit ซึ่งก็ให้มาเยอะมาก) เป็นแอปที่ดึง Local Model มาใช้ในการพิมพ์คำต่อไป เราเลือก Local Model ได้เองว่าจะใช้ตัวไหน เช่นใช้ Qwen หรือใช้ Gemma แล้วก็จะเห็นว่า Gemma มี Gemma 3, Gemma 4 speed เป็นยังไง ใช้ edge model เป็นยังไง แต่ละขนาด 4B, 3B, 2B ต่างกันยังไง

ผมว่ามันเป็นการเปิดเข้าสู่โลก Local Model ที่ดี เพราะบางคนอาจไม่มีเครื่องสำหรับรันโมเดลใหญ่ๆ พวกนี้เป็น edge model ที่รันบนคอมเราได้ง่ายๆ ลองดูครับ

ยาวไปไม่อ่าน สรุปก็คือ:

  1. อยากลอง Local Model ง่ายๆ บน Mac มี 2 แอปให้ลอง
  2. Handy — โหลด Local ASR model (Whisper, Qwen, FunASR) มาลอง transcribe เทียบ speed/accuracy กันเอง
  3. Cotypist — ใช้ Local Model ช่วยพิมพ์คำต่อไป เลือกโมเดลเองได้ (Qwen, Gemma 3/4 ขนาด 2B/3B/4B)
  4. เหมาะกับคนที่ไม่มีเครื่องแรงๆ รัน edge model บนคอมตัวเองได้เลย

Local models are trending right now, but not everyone has the resources to actually try running one… or do they?

Today I’ve got 2 options for a light-touch taste of what a local model actually is and what you can do with it.

The first is Handy (free to use, unless you exceed the limit — which is pretty generous), recommended to me by Peerasak. It works like loading a local model — something like Whisper back in the day — but these days there are models like Qwen or FunASR that give you plenty to play with. Try speaking and letting it transcribe: you’ll see that running a local model does a pretty good job at transcription and post-processing, and you get to compare speed and accuracy across models directly. You get a feel for what each local model is like, how much RAM it eats — so you also learn your machine’s limits and what spec to buy next time, T T.

The other one is Cotypist (also free unless you exceed the limit, which again is quite generous), an app that pulls in a local model to help with predictive typing. You get to pick which local model to use yourself — Qwen or Gemma, for example — and you’ll see that Gemma has Gemma 3, Gemma 4, with different speeds, what using an edge model feels like, and how the different sizes (4B, 3B, 2B) compare.

I think this is a good gateway into the world of local models, because some people just don’t have a machine that can run the big ones. These are edge models that run easily on your own computer — give it a try.

TL;DR:

  1. Want to try local models easily on Mac? Two apps to check out.
  2. Handy — load a local ASR model (Whisper, Qwen, FunASR) and try transcribing, compare speed/accuracy yourself.
  3. Cotypist — uses a local model for predictive typing, lets you pick the model (Qwen, Gemma 3/4, sizes 2B/3B/4B).
  4. Good fit if you don’t have a beefy machine — run edge models on your own computer.