Armistead, un home escravo, pertencía a William Armistoad de Virginia. A maioría das fontes indican que James Armisteo naceu en 1748 no Novo Condado de Kent, Virginia, aínda que outros colocan o seu nacemento ao redor de 1760 en Elizabeth City, Virginia.
En 1781, despois de obter o consentimento do seu amor, Armistead Uniuse ao voluntario do exército baixo Lafayette. Serviu como espía, finxindo ser un escravo fugitivo. Achegouse ao campamento do xeneral por Brigada Benedict Arnold, un renegado que dirixiu algunhas forzas británicas na zona. Fingendo ser un espía para eles, Arnistead gañou a confianza de Arnold mentres o usaba para orientar tropas británicas a través de estradas locais. “O ex-escravo, que máis tarde foi renomeado a James Armistoad Lafayette en homenaxe ao xeneral, servido como dobre axente contra os británicos baixo Lafayette, abertamente anti-escravitude”
despois de que Arnold split cara ao norte na primavera De 1781, James foi ao campamento de Lord Charles Cornwallis e continuou o seu traballo. Trasladouse con frecuencia entre os campamentos británicos onde os oficiais falaban abertamente sobre as súas estratexias diante del. Armistead documentou esta información en informes escritos, que entregaron a outros espías americanos. Deste xeito, transmitiu moita información sobre os plans británicos para a implantación de tropas e armas. Os informes de intelixencia da súa espionaxe foron fundamentais para axudar a derrotar aos británicos durante a batalla de Yorktown.