Yokoi va ser cridat a el servei actiu per l’exèrcit japonès en 1941. Inicialment va servir amb la 29a divisió d’infanteria en Manchukuo. El 1943 el van transferir a el 38è regiment, destacat a les Illes Mariannes com a part de l’equip de subministraments.
Va arribar a Guam al febrer de 1943. Quan el Cos de Marines dels Estats Units va capturar l’illa durant la Segona batalla de Guam, Yokoi es va internar a la jungla amb altres deu soldats nipons transformant-se en holdouts (fugitius). Yokoi i els seus companys van ignorar les trucades de rendició ja que sovint algunes patrulles americanes caçaven i assassinaven als que així ho feien. A més, caure presoner era una deshonra.
El sergent Yokoi va romandre amagat fins a 1972. Set dels militars originals finalment es van anar allunyant. Només tres van romandre a la regió. El 1952 van escoltar rumors que la guerra havia acabat, però van pensar que era un ardit per fer-los sortir i assassinar-los. Més tard, aquests tres últims es van separar i es visitaven mútuament fins al voltant de 1964, quan Yokoi va trobar als seus dos amics morts, a causa de la inanició. Els següents vuit anys va viure totalment sol.
Yokoi vivia de la caça i pesca, sobretot a les nits. Va usar plantes natives per fer roba, roba de llit i estris d’emmagatzematge, que acuradament amagava en la seva cova situada prop de les cascades de Talofofo.