Interessant pregunta. Això no és realment una resposta, però és massa llarg per ser un comentari.
Crec que el seu disseny experimental es veu desafiat per aquests motius:
1) Això no reflecteix la forma en que la selecció de valors s’avalua realment en el “món real”. Com a exemple extrem, suposem que el selector d’accions A triar 1 acció que va pujar un 1.000%, i 9 que va baixar un 1%, i el selector d’accions B va triar 10 accions que van pujar un 1%. Si aquestes accions es faran servir realment per construir un índex, llavors clarament A tindria un millor acompliment, però B ho faria molt millor en el seu experiment. Un desafiament més interessant des del punt de vista financer seria construir una cartera i comparar el seu acompliment amb el de l’S & P 500. Al seu torn, hi ha una maquinària d’ús comú per avaluar dit acompliment: simplement prengui una regressió lineal dels rendiments diaris de la cartera davant els de S & P. El terme d’intercepció (sovint anomenat “alfa”) mesura el rendiment mitjà “per sobre de mercat”. Atès que és un coeficient de regressió lineal, és una qüestió trivial construir un interval de confiança de l’95% si així ho desitja. Després compari això amb les tarifes que el seu banc cobraria per aquest servei.
2) Sense tenir en compte 1, ja que sembla que tots dos ja han acordat la forma de l’experiment, consideri com es podria jugar això. Suposem que tinc un oracle màgic que em diu la probabilitat que cada acció estigui per sobre del seu preu actual d’aquí a un mes (diguem). Llavors podria triar les n accions amb les majors probabilitats, i molt probablement més de l’50% d’elles pujarien. Ara, com probabilitats estan codificades (imperfectament) en diversos preus d’opcions. Per exemple, puc comprar una trucada “opció binària”, que és bàsicament una aposta en l’esdeveniment “L’acció X estarà per sobre de l’preu I en la data Z”. El preu de tal implica una probabilitat d’aquest esdeveniment (encara que com més a prop estigui la data Z de el present, menys fiable serà). Atès que seguir cegament la “saviesa de les multituds” no requereix experiència particular, Jo diria que l’acompliment d’una estratègia com aquesta hauria de considerar-se “nivells d’oportunitat” per al seu experiment particular. Alternativament, us mostrarà una llista d’accions de la seva elecció i li indica si creu que cadascuna estarà amunt o avall, juntament amb la seva confiança en cada predicció. Després, agrupi totes les respostes per nivell de confiança i vegi com de estretament s’alineen (és a dir, d’aquelles accions en què tenia una confiança al 90%, ¿va predir correctament el 90% d’elles?). Hi ha una forma estàndard de quantificar això; No recordo per endavant com es diu, però pots llegir-lo en Superforecasters de Phil Tetlock. i que indiqui si creu que cada un estarà amunt o avall, juntament amb la seva confiança en cada predicció. Després, agrupi totes les respostes per nivell de confiança i vegi com de estretament s’alineen (és a dir, d’aquelles accions en què tenia una confiança al 90%, ¿va predir correctament el 90% d’elles?). Hi ha una forma estàndard de quantificar això; No recordo per endavant com es diu, però pots llegir-lo en Superforecasters de Phil Tetlock. i que indiqui si creu que cada un estarà amunt o avall, juntament amb la seva confiança en cada predicció. Després, agrupi totes les respostes per nivell de confiança i vegi com de estretament s’alineen (és a dir, d’aquelles accions en què tenia una confiança al 90%, ¿va predir correctament el 90% d’elles?). Hi ha una forma estàndard de quantificar això; No recordo per endavant com es diu, però pots llegir-lo en Superforecasters de Phil Tetlock.