František XaverNeruda se narodil v Brně v hudební rodině. Byl pátým dítětem varhaníka brněnské katedrály Josefa Nerudy, byl pokřtěn jmény František Xaver Viktor.
Jan Neruda (1834-1891), syn obchodníka-trafikanta na pražské Malé Straně, vystudoval Akademické gymnázium a přihlásil se na právnickou a filozofickou fakultu, kde studia ukončil již po třech semestrech.