Simon Willison's Weblog: ai • 2026-03-18
Autoresearching Apple’s "LLM in a Flash" pentru a rula Qwen 397B local
AITutorialeStiri
Dan Woods a realizat o cercetare interesantă, reușind să ruleze un model personalizat Qwen3.5-397B-A17B pe un MacBook Pro M3 Max, optimizând utilizarea memoriei. Folosind tehnici dintr-un articol Apple, a stocat parametrii modelului în memoria flash pentru a-i aduce rapid în DRAM. Rezultatul include cod eficient generat de Claude Code și detalii despre experiment, dar calitatea finală a ieșirilor necesita evaluări suplimentare.