pregunta interesante. Esta non é realmente unha resposta, pero é demasiado tempo para ser un comentario.
Creo que o seu deseño experimental é desafiado por estas razóns:
1) Isto non reflicte o camiño En que a selección de valores é realmente avaliada no “mundo real”. Como exemplo extremo, supoñemos que o selector de accións é unha acción de 1% que subiu un 1000% e 9 que caeu un 1%, eo selector de intercambio B escolleu 10 accións que subiron un 1%. Se estas accións son realmente usadas para construír un índice, entón claramente tería un mellor rendemento, pero B faría moito mellor no seu experimento. Un desafío máis interesante do punto de vista financeiro sería construír unha carteira e comparar o seu rendemento co S & P 500. Á súa vez, hai unha máquina de uso común para avaliar a devandita Performance: simplemente tomar unha regresión lineal dos rendementos diarios da carteira contra o s & p. O termo interceptación (a miúdo chamado “alfa”) mide a actuación media “por riba do mercado”. Dado que é un coeficiente de regresión lineal, é unha pregunta trivial para construír un intervalo de confianza do 95% se o desexa. A continuación, comparar isto coas taxas que o seu banco cobraría por este servizo.
2) sen considerar 1, xa que parece que ambos xa acordaron a forma do experimento, considerar como isto podería ser xogado. Supoña que teño un oráculo máxico que me di a probabilidade de que cada acción estea por riba do seu prezo actual nun mes (digamos). Entón eu podería elixir as accións de n con maiores posibilidades e, probablemente, máis do 50% deles subirían. Agora, tales probabilidades están codificadas (imperfectamente) en varias opcións dos prezos. Por exemplo, podo mercar unha chamada “opción binaria”, que é basicamente unha aposta no evento “A acción X estará por riba do prezo e da data Z”. O prezo de tal implica unha probabilidade deste evento (aínda que canto máis preto sexa a data Z do presente, menos fiable será). Desde que se segue cegamente a “sabedoría das multitudes” non require unha experiencia particular, diría que o desempeño dunha estratexia como este debería considerarse “niveis de oportunidade” para o seu especial experimento. Alternativamente, presenta unha lista de accións que elixas e dille se pensas que cada un estará arriba ou abaixo, xunto coa túa confianza en cada predición. A continuación, agrupar todas as respostas por nivel de confianza e ver como se aliñan de cerca (é dicir, desas accións en que tiña unha confianza do 90%, previu correctamente o 90% deles?). Hai unha forma estándar de cuantificalo; Non me lembro con antelación o que se chama, pero podes le-lo en Phil Tetlock Superforecastterters. E para indicar se pensas que cada un estará arriba ou abaixo, xunto coa túa confianza en cada predición. A continuación, agrupar todas as respostas por nivel de confianza e ver como se aliñan de cerca (é dicir, desas accións en que tiña unha confianza do 90%, previu correctamente o 90% deles?). Hai unha forma estándar de cuantificalo; Non me lembro con antelación o que se chama, pero podes le-lo en Phil Tetlock Superforecastterters. E para indicar se pensas que cada un estará arriba ou abaixo, xunto coa túa confianza en cada predición. A continuación, agrupar todas as respostas por nivel de confianza e ver como se aliñan de cerca (é dicir, desas accións en que tiña unha confianza do 90%, previu correctamente o 90% deles?). Hai unha forma estándar de cuantificalo; Non me lembro con antelación o que se chama, pero pode le-lo en Phil Tetlock Superforecastterters.