John Royce Mathis, é o verdadeiro nome de Johnny Mathis, ele nasceu em 30 de setembro de 1935 em Gilmer no Texas, filho de Clem e Mildred Mathis. Johnny Mathis é o 4º filho entre seus 7 irmãos. Quando menino, a família se mudou para a Post Street, em São Francisco. Foi lá que ele aprendeu a apreciar a música com seu pai, que lhe ensinou sua primeira música, "My Blue Heaven". Aos oito anos, seu pai comprou um velho piano vertical. Quando o trouxe para casa, não entrava pela porta da frente. Então, naquela noite, Johnny ficou acordado a noite toda para assistir seu pai desmontar o piano, colocá-lo na pequena sala de estar do apartamento do porão e depois montá-lo. Johnny provou ser uma criança  ansiosa para aprender tudo sobre música. Ele cantou no coral da igreja, em eventos escolares, em eventos da comunidade, para visitantes em sua casa, além de shows amadores na área de San Francisco.