Filho de F. Allin Goldsworthy (1929–2001), professor aposentado de Matemática aplicada na University of Leeds, Andy Goldsworthy nasceu em 26 de Julho de 1956 em Cheshire e cresceu em Harrogate, West Yorkshire. Aos 13 anos trabalhou em uma fazenda. Ele ligou as repetitivas tarefas da fazenda com a rotina de fazer esculturas: "A lot of my work is like picking potatoes; you have to get into the rhythm of it." (Muito do meu trabalho é como colher tomates; você tem que entrar no rítimo).
Ele estudou artes na Bradford College of Art (1974–1975) e na Preston Polytechnic (1975–1978) (agora University of Central Lancashire) em Preston, Lancashire, recebendo o título e Bacharel em Artes.
Depois de deixar a universidade, Goldsworthy viveu em Yorkshire, Lancashire e Cumbria. Em 1985 mudou-se para Langholm em Dumfries and Galloway, Dumfriesshire, Escócia, e um ano depois, para Penpont.
