Anderson nació en el pueblo de Accrington, en Lancashire, Reino Unido. Es hijo de Albert y Kathleen Anderson. Asistió de pequeño a la St. John’s Infants School, en Accrington, y comenzó sus primeros ensayos musicales a temprana edad, tocando la tabla de lavar en Little John’s Skiffle Group, donde interpretaban canciones de Lonnie Donegan, entre otros.
En 1962, Anderson se unió a The Warriors (también conocido como The Electric Warriors), donde él y su hermano compartían el rol de vocalista líder. Abandonó esta banda en 1967.
En 1968 editó dos simples como solista, cantó brevemente en las bandas The Gun y The Open Mind, y en el verano de ese año se unió a un grupo llamado Mabel Greer’s Toyshop, que también lo formaban el bajista Chris Squire y el guitarrista Peter Banks. Anderson encabezó esta banda, pero terminó abandonando el grupo antes de que terminara el verano.
Anderson, Squire y Banks deciden formar el grupo Yes, con Bill Bruford como baterista y Tony Kaye como teclista. Su álbum debut fue editado en 1969.
