Experți în streaming

Dan Woods a experimentat cu modele de tip Mixture-of-Experts, utilizând streamingul greutăților de pe SSD pentru a rula modele mari în memorie RAM limitată. Recent, modelul Kimi K2.5 a fost rulat pe un MacBook Pro cu 96GB RAM, având 1 trilion de parametrii. Această tehnică promitătoare este subiectul unor cercetări continue pentru optimizarea performanței modelelor.