Les conditions de vie souvent difficiles ont poussé plusieurs colons à exprimer leur mécontentement aux dirigeants de la colonie. Certains, comme le peintre Peter Rindisbacher et sa famille, sont définitivement partis :
[S]eules quelques peintures rendent compte de la situation de plus en plus désespérée qui était celle des compatriotes de Rindisbacher. Étant pour la plupart des artisans, ils n’étaient absolument pas préparés à affronter les privations d’une existence de fermiers à la colonie de la Rivière-Rouge. Les catastrophes d’origine humaine ou naturelle déjouaient les efforts maladroits qu’ils déployaient pour assurer leur subsistance. Petit à petit, ils se mirent à descendre vers le sud. Au printemps de 1826, une crue dévastatrice et une invasion de larves découragèrent les quelques irréductibles qui restaient, dont Pierre Rindisbacher. Le 11 juillet 1826, en compagnie de sa famille et d’autres colons suisses, il quitta la Rivière-Rouge ; il s’établit dans un endroit appelé Gratiot’s Grove (près de Darlington, Wisconsin).
Les biographies regroupées dans les listes suivantes permettent de prendre la mesure de ce signifiait, entre 1812 et 1870, vivre au quotidien à la Rivière-Rouge.
