Ele tinha 18 anos quando, em 1964, ingressou no serviço militar e aprendeu a tocar violão para driblar os momentos de marasmo no quartel. Compôs ali suas primeiras canções, algumas das quais seriam gravadas no futuro. Mas foi a partir de 1967, quando se associou ao Centro de la Canción Protesta, que Silvio Rodríguez passou a compor e a cantar de forma sistemática. Seu caminho foi muito parecido com o de Pablo Milanés.
Em fevereiro de 1968, os dois se somaram ao colega Noel Nicola e fizeram seu primeiro concerto, na Casa de las Americas. O trio constituiu a base do Grupo de Experimentación Sonora del ICAIC (Instituto Cubano de Artes e Indústria Cinematográfica), o Gesi, que, em 1972, deflagrou oficialmente o movimento musical batizado de “nueva trova cubana”.
As primeiras gravações aparecem nos álbuns coletivos do Gesi. Dessa etapa inicial, sua obra preserva as engajadas “Fusil contra fusil” e “La era está pariendo un corazón” (“E há que se queimar o céu se for preciso/ para viver/ por qualquer homem do mundo/ por qualquer casa”). Nelas, fica evidente a aproximação da música tradicional de Cuba com sonoridades internacionais, como o pop e o rock inglês.
O primeiro LP autoral, Días y Flores, foi lançado em 1975. Na Europa, foi intitulado “Te doy una canción”, porque a ditadura de Francisco Franco, na Espanha, proibiu a veiculação da faixa-título original “Días y Flores”, bem como de “Santiago de Chile”. Nesse primeiro disco, destacam-se “Pequeña Serenata Diurna” e “Sueño con Serpientes”. Ambas seriam gravadas no Brasil, a primeira por Chico Buarque, em seu LP de 1978, e a segunda por Milton Nascimento, no LP Sentinela, de 1980, com participação especial de Mercedes Sosa. As duas canções ficariam para sempre entre as mais importantes do autor, rivalizando apenas com o sucesso de “Ojalá”, lançada em seu disco seguinte, Al final de este viaje, de 1978.