Entre los siglos VI y IV a. C., los sármatas se establecieron en lo que hoy es el sur de Rusia, reemplazando finalmente a los escitas como la tribu dominante en esta región. Desaparecieron del registro histórico después de que su tierra fuera invadida por los hunos a fines del siglo IV d.C., y se sabe poco sobre ellos.
Sin embargo, resurgieron en el reino de la mitología. Según una leyenda que ganó popularidad en Polonia en el siglo XV, los antiguos sármatas entraron en las tierras polacas y dieron orden y estabilidad a la primitiva población local. Este mito ayudó a justificar la servidumbre, permitiendo a los nobles imaginar que eran de un linaje racial superior. La historia sármata se hizo enormemente popular, lo que llevó a algunos a llamar a Copérnico el Ptolomeo sármata.
El sarmatianismo no tenía ningún contenido religioso específico al principio, pero durante la Contrarreforma, cuando los católicos trabajaron para acabar con la diversidad religiosa en la República de Polonia y mientras el estado luchaba contra enemigos no católicos fuera del país, la leyenda mutó para incluir a idea de que los sármatas tenían una misión de Dios para difundir y defender la Verdadera Fe.
A finales del siglo XVII, el sarmatianismo había desarrollado un carácter xenófobo, ya que muchos nobles polacos se alejaron de todas las influencias "extranjeras" para gloriarse en su herencia sármata indígena. Este mito incluso influyó en el estilo de la ropa, el arte y la arquitectura de Polonia durante los siglos XVII y XVIII, cuando los nobles llegaron a diseños pseudo-orientales de fantasía que sentían que evocaban su herencia racial.
Los intelectuales de la Ilustración polaca culparon al sarmatianismo de las crisis del siglo XVIII y de la eventual destrucción y partición de Polonia. Aunque algunos de los rasgos estilísticos perduraron un poco más, la ideología más amplia del sarmatianismo se desvaneció en el siglo XIX o vivió como un elemento traza dentro de nuevas formaciones ideológicas.