Separarea semnalului de zgomot în evaluările de codare

O nouă analiză de la OpenAI evidențiază probleme în SWE-Bench Pro, un benchmark popular pentru evaluarea codării. Aceasta ridică semne de întrebare privind fiabilitatea și precizia evaluării modelelor AI.