Quantizarea de la zero

Sam Rose a publicat un eseu interactiv detaliind cum funcționează cuantizarea modelilor de limbaj mari, subliniind importanța valorilor outlier. Aceste valori rare pot afecta semnificativ calitatea modelului, iar schemele de cuantizare realiste se preocupă să le protejeze. Concluziile sugerează că trecerea de la 16 biți la 8 biți nu reduce semnificativ calitatea, iar trecerea la 4 biți are un impact notabil, dar nu drastic.