Su carrera musical comenzó en 1967 con su single debut «Dissapear» y «What Can I Do» (1968) fue liberado por la CBS como una pequeña noticia. En este punto, Raymond O’Sullivan -no así Gilbert- fue utilizado solo como compositor y cantante prometedor en ciernes. Entra Gordon Mills, mánager de MOR y de las superestrellas Tom Jones y Engelbert Humperdinck, En 1969, O’Sullivan tiene un acercamiento con Mills y se inicia una relación de sus canciones por un año y la mitad del siguiente, uniendo ambos fuerzas. O’Sullivan y Mills trabajaron alegremente y su relación de trabajo era excelente, pero desafortunadamente, años más tarde terminaría en malas actitudes y litigios.
Ha lanzado cerca de 200 discos mundialmente (entre LP, EP, singles, CD y material descargable). En el año 2009 declaró en una entrevista: «Yo compongo canciones de pop. Fin de la historia. Eso es todo lo que quiero hacer. Y es todo lo que querré seguir haciendo. No tengo interés en hacer giras, y vivir en el pasado».
En 1970 logró el éxito con el primer single “Nothing Rhymed”, un bonito tema con piano que le llevaría al puesto número 10 en el Reino Unido y que manifestaba con claridad la ascendencia del Paul McCartney más calmado en su escritura. Su siguiente número fue liberado en 1971 como «Underneath The Blanket Go» un número muy armonioso pero quedó fuera de los 30 números en las listas británicas. Se escuchó muy poco por radio porque era un tema muy duro. «Esto fue gradualmente construyendo hacia arriba», diría O’Sullivan de su ingreso inicial en las listas. «Nothing Rhymed» fue un hit, pero «Underneath The Blanket Go» no lo fue.
La melodía exquisita y los arreglos orquestales junto a sus apariciones televisivas, en las cuales Gilbert aparecía con una extravagante estética, con pantalones cortos, jerséis con la letra G estampada y peinado a la taza, apuntalaron su fama en tierras británicas.
En 1971 logró de nuevo estimables resultados comerciales con otra balada, “We will” (número 16), y con “No matter how I try” (número 5), pieza más animada con ecos de cabaret.
Ese año también apareció el sencillo “Underneath the blanket go” y el LP “Himself” (1971), álbum (número 15) producido por Mills en el que incluía “Matrimony”, uno de los temas más populares de su carrera.
Triunfal en el Reino Unido, O’Sullivan alcanzó el éxito internacional en 1972 cuando el tema, (todo un clásico de la época), “Alone again (Naturally)”, llegó al número 3 en el Reino Unido y al número 1 en los Estados Unidos, de acuerdo a la lista de Billboard, así como «Canción del Año» en varios países de todo el planeta. Esta canción hizo que O’Sullivan fuera conocido en ambos lados del Atlántico. Una melancólica mirada a desaparición y pérdida. Liberada a mediados de 1972 llegó muy rápido al número uno de la lista Billboard de Estados Unidos y ocupando el´número 3 en las listas británicas. Solo en los Estados Unidos, el sencillo vendió más de dos millones de copias. Quizá Alone Again (Naturally) probablemente permancerá como su mejor canción conocida en los Estados Unidos. «Es solo una canción. Cuando fue grabada, nadie diría que esta melodía fuera a cambiar el mundo», diría posteriormente O’Sullivan.
