Registos históricos indicam que a povoação estava instalada desde 1897, com a designação de Chai-Chai. A 27 de Outubro de 1911, foi elevada à categoria de vila. Em 1922 passou a chamar-se Vila Nova de Gaza e, em 1928, Vila de João Belo. A 7 de Outubro de 1961, foi elevada à categoria de cidade. Após a Independência Nacional, recuperou a designação de Xai-Xai.

A sua história está estreitamente ligada ao rio Limpopo. Situada na margem esquerda do rio, Xai-Xai desenvolveu-se também com a expansão das vias de comunicação. Entre 1909 e 1912, a povoação ficou ligada por uma linha ferroviária de bitola reduzida à Rodésia, contribuindo para a sua integração nas redes de circulação da época.

Esse período deixou marcas no património da cidade, entre elas a antiga estação dos caminhos-de-ferro, o antigo Colégio-Liceu de Nossa Senhora do Rosário, o Hotel Xai-Xai e a ponte sobre o Limpopo.

A ponte tornou-se igualmente parte da memória histórica de Xai-Xai. O Museu da Presidência da República regista que foi inaugurada a 27 de Julho de 1964, durante uma visita de Estado a Moçambique do Presidente português Américo Tomás.

A origem do próprio nome Xai-Xai também aparece associada à história dos povos da região. Um documento do Governo de Moçambique apresenta uma explicação segundo a qual a designação estaria relacionada com um chefe de origem Zulo-Nguni colocado na zona de Fenicelene, junto ao Limpopo.

Em 1925, a sede do distrito de Gaza foi transferida de Chongoene para Xai-Xai, reforçando a importância administrativa da povoação.

As cheias de 2000 tiveram impactos particularmente fortes no vale do Limpopo. Após as cheias cíclicas, especialmente as de 2000, a cidade passou a orientar a sua expansão para as zonas mais elevadas.

Hoje, Xai-Xai continua a ser um dos principais centros administrativos e urbanos de Gaza. A sua identidade resulta de diferentes períodos históricos: a antiga Chai-Chai, as designações Vila Nova de Gaza e Vila de João Belo, a transformação em cidade e, finalmente, o regresso ao nome Xai-Xai depois da Independência.

Mais do que uma mudança de nomes, a história de Xai-Xai é a história de uma cidade construída junto ao Limpopo, marcada pelas transformações do território e preservada na memória dos seus lugares.