«Ходить на сторону» (изменять); «пользоваться чем-либо, брать на стороне» — не совсем честным способом; «мое дело сторона» — безразличие, невмешательство. «Со стороны явилось» — неожиданно, негаданно, непредсказуемо; «быть на чьей-то стороне»

Т. е. «за» кого-то, оказывать поддержку. «Сторонний», «посторонний» — чужой. «Оценивать со стороны» — объективно, непредвзято.