Hilary Duff ist die Tochter von Susan Duff (geborene Cobb) und deren Mann Robert („Bob“) Erhard Duff, der Partner in einer Kette von Convenience Shops ist. Ihre Mutter Susan arbeitet bei Filmen, in denen ihre Töchter auftreten, mit. So war sie bei Cinderella Story, The Perfect Man und Material Girls ausführende Produzentin. Außerdem ist sie Duffs Managerin. Die Eltern ließen sich Ende 2007 scheiden.

Hilary hat eine rund zweieinhalb Jahre ältere Schwester namens Haylie, ebenfalls Schauspielerin und Sängerin, die mit ihr in verschiedenen Episoden der Serie Lizzie McGuire auftrat, in der Hilary die Hauptrolle spielte.

Seit Anfang 2007 ist Hilary mit dem Eishockeyspieler Mike Comrie liiert.