Va ser constituïda a Berlín el 1922 per diversos grups anarcosindicalistes i sindicalistes revolucionaris que rebutjaven el neutralisme sindical de la Carta d’Amiens així com la dependència de partits polítics, tant comunistes (Internacional Sindical Roja) com a socialdemòcrates (Federació Sindical Internacional).
la guerra de 1914-1918 havia signat la fallida de l’internacionalisme socialdemòcrata, i revelat les dissensions entre l’esquerra governamental i l’esquerra revolucionària (el socialdemòcrata Noske va fer així assassinar als líders de la Lliga Espartaquista alemanya, entre els quals estaven Rosa Luxemburg i Karl Liebknecht). La revolució russa, que havia representat una esperança per al moviment anarcosindicalista, va decebre ràpidament. Aviat els anarcosindicalistes es van adonar que no havien d’esperar cap emancipació per part dels bolxevics.
La principal novetat programàtica de l’AIT pel que fa a el moviment sindical revolucionari anterior la primera guerra mundial ia la revolució russa, era el trencament definitiu amb els partits polítics, que ja no podien ser considerats com a elements que formaven part de el moviment obrer com donava a entendre la Carta d’Amiens, sinó que havien de ser tractats com a enemics dels treballadors.
Organitzacions poderoses amb diverses centenes de milers de membres com la FORA Argentina, la USI a Itàlia, CGT a Portugal, IWW a Xile o, més coneguda, la CNT espanyola eren les principals organitzacions que constituïen l’AIT a principis de segle XX.
l’AIT també va tenir la particularitat d’agrupar a més de a organitzacions de masses, a grups de propaganda anarcosindicalistes (com en els anys 30, la Federació Anarquista Polonesa, membre de l’AIT).
No obstant les seccions van ser laminades per la repressió exercida per les dictadures de tota mena (nazisme a Alemanya, feixisme a Itàlia ia Portugal, franquisme a Espanya, comunisme a Bulgària i en els països de l’est oa Cuba, dictadures militars a Amèrica llatina) perdent la puixança de les primeres dècades de segle XX. Tot i això, la mort de l’AIT, no es va produir. Va aconseguir sobreviure durant les dècades terribles de la guerra freda, negant-se a prendre partit per un o altre dels bel·ligerants. Durant aquesta època, l’AIT es va veure molt minvada, amb només cinc seccions, dues d’elles (CNT i la secció Búlgara) a l’exili.
En el congrés de 1980 es va iniciar una gran millora, amb deu seccions i una reorganització de la CNT, que va ser capaç d’enviar delegats d’Espanya per primera vegada des de 1930. També van entrar les reforçades USI i NSF noruega , juntament amb SF del Regne Unit, la WSA d’EE. UU., la FAU alemanya i la secció australiana.
Aquesta renovació s’acompanya d’una clarificació quant a les seves finalitats perseguides polítics i ideològics. Així, en el controvertit congrés de Madrid el 1996, les tendències sindicalistes “pures” van ser excloses de l’AIT (La tendència Vignoles de la Confederació nacional de la feina (França) així com la tendència romana de l’USI), per participació en les institucions de col·laboració de classe que reforçaven l’Estat (eleccions sindicals). Aquest mateix Congrés va ser també el de l’obertura a l’est, tot just alguns anys després de la caiguda de l’Mur de Berlín, amb l’acollida de noves seccions txeques, eslovaques i russes.
En els anys 2000,-ne de noves seccions van entrar a formar part de l’AIT, l’ASI Sèrbia i COB brasilera la qual va ser l’encarregada d’organitzar el XXIV Congrés. Aquest últim congrés va estar marcat per la detenció a Belgrad de l’secretari de l’AIT, Ratibor Trivunac, juntament amb altres activistes de l’ASI i anarquistes serbis. Així mateix, la ZSP va ser admesa com a secció de l’AIT a Polònia.
A partir d’el congrés celebrat el 2013, la secció polonesa ZSP assumeix la secretaria.