Swiftlet — ruleaza modele Qwen de 35B si 80B pe Mac si iPhone cu doar cativa GB de RAM in 2026

Sa rulezi un model AI de 80 de miliarde de parametri pe un telefon suna a science fiction. Pana acum cateva saptamani, chiar era. Apoi a aparut Swiftlet — un runtime open-source scris in Swift si Metal care face exact asta: ia modelele Qwen MoE de 35B si 80B, le impacheteaza intr-un format propriu si le ruleaza pe Mac cu doar cativa GB de RAM. Si pe iPhone 17, cu 2.5 GB.

Proiectul a aparut pe GitHub in august 2026, sub licenta Apache 2.0, si a devenit rapid trending pe Hacker News. Nu e un wrapper peste llama.cpp si nu foloseste mmap. E o abordare complet diferita — una care exploateaza arhitectura Mixture-of-Experts ca sa tina in memorie doar ceea ce conteaza pentru fiecare token.

Daca ai un Mac cu Apple Silicon si vrei sa rulezi modele mari local, fara sa-ti umpli RAM-ul, articolul asta iti arata exact cum functioneaza Swiftlet si cum il instalezi pas cu pas. Iar daca vrei sa intelegi mai bine ecosistemul AI local, poti citi si ghidul nostru despre cum rulezi AI local cu Ollama sau despre Qwen 3.6 27B, cel mai bun model dense pe care il poti rula pe calculatorul tau.

Ce vei gasi in acest articol:

• Ce este Swiftlet si cum difera de llama.cpp, Ollama sau LM Studio
• Cum functioneaza streaming-ul de experti MoE si de ce consuma atat de putin RAM
• Tabel comparativ cu performantele reale ale modelelor de 35B si 80B
• Ghid complet de instalare pe Mac si iPhone, pas cu pas
• Limitarile oneste — ce nu poate face Swiftlet si cand sa nu te bazezi pe el

Ce este Swiftlet si de ce e diferit

Swiftlet e un runtime AI scris integral in Swift si Metal, creat de leonickson1 si lansat sub licenta Apache 2.0. Ruleaza modelele din familia Qwen3-Next si Qwen3.5/3.6 — modele MoE (Mixture-of-Experts) hibride care combina atentia clasica cu atentia liniara DeltaNet.

Spre deosebire de Ollama, LM Studio sau llama.cpp, care incearca sa tina tot modelul in memorie (sau sa foloseasca mmap si sa se bazeze pe page-cache-ul SO), Swiftlet face ceva fundamental diferit: tine doar nucleul dens in memorie si expertii MoE sunt incarcati de pe SSD, la cerere, printr-un format propriu .qpack.

Ce inseamna asta in practica? Un model de 80 de miliarde de parametri care ocupa 42 GB pe disc foloseste doar ~4.3 GB RAM in timpul rularii. Nu e magie — e inginerie inteligenta care exploateaza faptul ca modelele MoE nu activeaza toti parametrii odata.

Cum functioneaza streaming-ul de experti

Ca sa intelegi de ce Swiftlet consuma atat de putin RAM, trebuie sa intelegi cum functioneaza modelele MoE. Spre deosebire de modelele dense (unde toti parametrii sunt activi la fiecare token), modelele MoE au mii de „experti” — sub-retele specializate — iar la fiecare token doar cativa sunt activati.

Arhitectura modelelor Qwen MoE

La fiecare strat si la fiecare token, un mecanism de rutare decide catre care experti merge tokenul:

• Qwen3.6-35B-A3B: 256 experti per strat, 8 activati per token, plus un expert comun (shared)
• Qwen3-Next-80B-A3B: 512 experti per strat, 10 activati per token, plus un expert comun

Astfel, desi modelul are 35 sau 80 de miliarde de parametri in total, fiecare token activeaza doar ~3 miliarde. Restul expertilor stau nemiscati pe disc.

Ce face Swiftlet diferit

Swiftlet exploateaza acest lucru la maximum:

1. Nucleul dens ramane in memorie — atentia, proiectiile DeltaNet, rutatoarele, expertul comun si embedding-urile. Asta inseamna ~1.3 GB pentru modelul de 35B si ~2.5 GB pentru cel de 80B (la 4-bit).

2. Expertii sunt repackati in .qpack — un format propriu in care fiecare expert e aliniat la un stride fix. Citirea unui expert = exact un pread() de pe SSD. Fara mmap, fara page-cache thrash, fara cautari.

3. Cache de experti fierbinti — expertii des folositi raman intr-un pool in memorie, cu evictie LFU + recency. Masuratorile arata un hit rate de 43-70%, dar viteza nu scade semnificativ chiar si cu hit rate mai mic, pentru ca SSD-urile Apple absorb miss-urile rapid.

4. Tot forward pass-ul pe Metal — shaderele sunt compilate la runtime, fara sa ai nevoie de Metal toolchain la build. Acelasi cod merge si pe macOS, si pe iOS.

5. Atentie liniara pe 75% din straturi — Gated DeltaNet are o stare recurenta de dimensiune fixa, deci nu exista KV cache care creste cu contextul lung. Asta e un avantaj masiv fata de modelele clasice transformer.

Performante reale — tabel comparativ

Iata cifrele masurate pe hardware real:

Cateva observatii importante:

• Modelul de 35B pe iPhone 17 ruleaza in ~2.5 GB RAM la ~1 token/s. E prima data cand un model de clasa asta (35B parametri totali) ruleaza nativ pe un telefon.
• Viteza de 7-11 tokeni/s pe Mac M5 pentru 35B e comparabila cu cititul in viteza — suficient pentru conversatie reala.
• 4.3 GB RAM pentru 80B e remarcabil. Un model echivalent ar necesita 40-80 GB RAM cu metode conventionale.
• SSD-ul Apple e critic — viteza de incarcare a expertilor depinde de throughput-ul de stocare.

Ce iti trebuie ca sa rulezi Swiftlet

Inainte sa incepi, verifica daca ai tot ce iti trebuie:

Ghid de instalare pas cu pas

Pasul 1: Clonare si compilare

git clone https://github.com/leonickson1/Swiftlet.git && cd Swiftlet
swift build -c release

Compilarea dureaza cateva minute prima data. Dupa aceea, executabilele sunt in .build/release/.

Pasul 2: Descarcarea modelului

Pentru modelul de 35B (18 GB):

.build/release/swiftlet-repack \
  --from-hf Leonickson/Qwen3.6-35B-A3B-qpack \
  --output ~/models/qwen3.6-35b.qpack

Pentru modelul de 80B (42 GB):

.build/release/swiftlet-repack \
  --from-hf Leonickson/Qwen3-Next-80B-A3B-qpack \
  --output ~/models/qwen3-next-80b.qpack

Descarcarea e resumabila — daca se intrerupe, rulezi aceeasi comanda si continua de unde a ramas.

Pasul 3: Chat direct din terminal

.build/release/swiftlet chat ~/models/qwen3.6-35b.qpack "Ce este Mixture-of-Experts?"

Poti da mai multe intrebari in aceeasi comanda — Swiftlet mentine starea conversatiei:

.build/release/swiftlet chat ~/models/qwen3.6-35b.qpack \
  "Scrie un haiku despre programare" "Acum transforma-l intr-un sonet"

Pasul 4: Generare cu statistici

.build/release/swiftlet generate ~/models/qwen3.6-35b.qpack \
  --gpu --chat --prompt "Explica expert streaming intr-un paragraf."

Pasul 5: Server compatibil OpenAI API

.build/release/swiftlet-server --model ~/models/qwen3.6-35b.qpack --port 8080

Asta porneste un server local pe localhost:8080 care raspunde la API-ul OpenAI chat-completions. Poti conecta orice aplicatie care vorbeste cu OpenAI — Open WebUI, Continue, sau orice alt client.

Pasul 6 (iPhone): Folosirea prin aplicatia Priv AI

Pe iPhone, cea mai simpla metoda e aplicatia Priv AI, disponibila pe App Store:

1. Descarca Priv AI din App Store
2. Deschide Settings → Experimental Models
3. Descarca modelul de 35B
4. Incepe sa conversezi — totul ruleaza local, fara server

Aplicatia e open-source la leonickson1/localLLM pe GitHub. Daca vrei sa o compilezi singur, cloneaza repo-ul Swiftlet langa ea ca swiftlet, deschide proiectul Xcode si ruleaza pe iPhone.

.build/release/swiftlet-repack \
  --from-hf mlx-community/nume-model \
  --output ~/models/model.qpack

.build/release/swiftlet-repack \
  --source /path/to/checkpoint \
  --output ~/models/model.qpack

4 moduri de a folosi Swiftlet

Swiftlet e gandit ca o biblioteca, nu doar ca un CLI. Ai patru optiuni:

1. Pachet Swift (pentru dezvoltatori)

Adaugi SwiftletCore in proiectul tau macOS sau iOS si folosești SwiftletSession pentru chat cu streaming, cache de conversatie, sampling cu control de repetitie si gestionarea presiunii de memorie.

2. CLI (pentru utilizatori avansati)

• swiftlet chat — conversatie interactiva cu template de chat aplicat automat
• swiftlet generate — generare one-shot cu statistici
• swiftlet-repack — construire containere din checkpoint-uri Hugging Face sau MLX

3. Server local (pentru integrare)

swiftlet-server vorbeste API-ul OpenAI chat-completions pe loopback. Orice aplicatie care se conecteaza la OpenAI poate folosi un model local prin Swiftlet.

4. Aplicatia Priv AI (pentru utilizatori normali)

Pe iOS, Priv AI ascunde complet terminalul. Descarci modelul si vorbesti cu el. Atat. Aplicatia e open-source.

Limitari oneste — ce nu poate face Swiftlet

Swiftlet face ceva impresionant, dar e important sa intelegi si limitarile:

Doar ~3B parametri activi per token. Asta inseamna ca modelul scrie si converseaza la nivel de model mare — rationeaza, creeaza, explica — dar retine fapte ca un model mic. Nu il folosi ca baza de cunoastere sau ca enciclopedie. Daca intrebi „care e capitala Mongoliei?”, probabil stie. Daca intrebi detalii obscure din istoria Mongoliei, s-ar putea sa nu.

Viteza pe iPhone e limitata. La ~1 token/s pe iPhone 17, e functional dar nu e rapid. Pentru conversatii lungi sau generare de cod, foloseste Mac-ul.

Nu merge pe Mac cu Intel. Swiftlet e construit pe Metal si Apple Silicon. Nu exista planuri pentru suport x86 sau Nvidia.

Formatul .qpack e proprietar. Nu poti folosi direct fisiere GGUF sau safetensors. Trebuie sa treci prin swiftlet-repack.

Spațiul pe SSD conteaza. Modelul de 80B ocupa 42 GB. Pe un iPhone cu 128 GB, asta e o bucata semnificativa.

Intrebari frecvente

Swiftlet arata directia in care merge AI-ul local: nu mai e nevoie de 80 GB RAM ca sa rulezi un model de 80B. Cu inginerie inteligenta si exploatarea arhitecturii MoE, poti face asta cu 4.3 GB. Daca ai un Mac cu Apple Silicon si vrei sa experimentezi cu modele mari, fara sa depinzi de cloud si fara sa-ti golesti portofelul, Swiftlet merita incercat.