Armistead, un home esclau, pertanyia a William Armistead de Virgínia. La majoria de les fonts indiquen que James Armistead va néixer a 1748 a New Kent County, Virginia, encara que altres situen el seu naixement al voltant de 1760 a Elizabeth City, Virginia.
El 1781, després d’aconseguir el consentiment del seu amo, Armistead es va unir com a voluntari a l’exèrcit sota Lafayette. Va servir com a espia, fingint ser un esclau fugitiu. Es va apropar a el campament de general de brigada Benedict Arnold, un renegat que dirigia algunes forces britàniques a la zona. Pretenent ser un espia per a ells, Armistead es va guanyar la confiança d’Arnold en la mesura que ho va emprar per guiar les tropes britàniques a través de les carreteres locals. “L’ex-esclau, qui més tard es va rebatejar James Armistead Lafayette en honor de l’general, va servir com a agent doble contra els britànics sota Lafayette, obertament antiesclavista.”
Després que Arnold partís cap al nord en la primavera de 1781, James va anar a el campament de Lord Charles Cornwallis i va continuar el seu treball. Es movia amb freqüència entre campaments britànics on els oficials parlaven obertament sobre les seves estratègies davant d’ell. Armistead va documentar aquesta informació en informes escrits, els quals lliurava a altres espies nord-americans. D’aquesta manera, va transmetre molta informació sobre els plans britànics per desplegament de tropes i armes. Els informes d’intel·ligència de la seva espionatge van ser fonamentals per ajudar a derrotar als britànics durant la batalla de Yorktown.