Duff do wnętrza 2002 zaczęła się załatwiać z piosenkarzem Aaronem Carterem. Spotkali się na przestrzeni kręcenia Lizzie McGuire, gdy Carter grał niewielką rolę do wnętrza odcinku świątecznym. Związek przetrwał półtora roku. Doniesiono, że Carter rzucił aktorkę Lindsay Lohan na rzecz Duff. Carter powiedział, że też jest zdradzony wskroś Duff z jej najlepszym przyjacielem, że Duff "ma złamane serce", dodatkowo że przeprasza zbytnio swoje zachowanie. [32] Później Duff oraz Lohan obwieściły, że się nawzajem nienawidzą zbyt związki z Carterem. [33]
Na rok kalendarzowy 2007 Duff dodatkowo Lohan są nastawione do siebie pokojowo. Drugiego kwietnia, Duff plus jej mniszka Haylie zaprosiły Lohan na przyjecie z okazji ukazania się ostatniego albumu Duff, Dignity.[34]
W latach 2004-2006, Duff umawiała się z Joelem Maddenem, piosenkarzem hokej rosyjski Good Charlotte. [35] Matka Duff, Susan, ogłosiła ich związek wewnątrz czerwcu 2005 r. wewnątrz wywiadzie na rzecz magazynu Seventeen, po długim okresie plotek do wnętrza brukowcach. [36]
W czerwcu 2006 w środku artykule do wnętrza magazynie ELLE, pojawiły się cytowane słowa Duff: "... (dziewictwo) jest na widać czymś, co wewnątrz sobie lubię. To nie znaczy, że nie myślę o seksie, skoro wszyscy, których znam mają główny kiedyś zbytnio sobą plus chce się do nich dołączyć". [37] Później, Duff powiedziała MuchMusic, że cytowane słowa w życiu nie zostały wskroś nią wypowiedziane, również że ten zagadnienie jest "zdecydowanie czymś, o czym nie chce rozmawiać...". [38] Duff oraz Madden zerwali ze sobą wewnątrz grudniu 2006 r. [39]
Pod skraj 2006 r. Duff podjęła walkę prawną przeciwko domniemanemu prześladowcy także jego współlokatorowi.[40] Policja przeprowadziła pytanie w środku tej sprawie. Trzeciego listopada 2006 roku kat Duff, Maksim Miakovsky, został zatrzymany zbyt groźby o zabiciu Duff tego weekendu. Został oskarżony o rozprowadzaniu pogróżek plus prześladowanie. Przyleciał do Stany Zjednoczone Ameryki Północnej "wyłącznie wewnątrz celu spotkania dodatkowo romantycznego zbliżenia się po białogłowa Duff". Miakovsky przebywa wewnątrz więzieniu Manhattan Beach, i jego kaucja wynosi 200 tys. dolarów.[41] Dziewiętnastego stycznia 2007 Miakovsky został zmuszony na 117 dni więzienia oraz pięć lat nadzoru kuratorskiego po wystąpieniu obrony o obniżenie wyroku, jako twierdzi Associated Press. [42]
Duff powinno się do kilku organizacji charytatywnych, jest entuzjastką praw zwierząt, członkinią "Kids with zaś Cause,"[43] plus przekazała 250 tys. dolarów na rzecz ofiar huraganu Katrina. [44]
Pod skraj sierpnia 2006 r. Duff pojechała do szkoły podstawowej do wnętrza Nowym Orleanie plus pracowała z Stany Harvest poniżej rozdzielaniu jedzenia. W 2005 r. podarowała ok. 2,5 mln posiłków ofiarom huraganu. [45]
W sierpniu 2006 Duff powiedziała, że otrzymała wzmacniający tworzywo nazębny, jako że odłamał jej się kawałek przedniego zęba na mikrofonie w czasie koncertu. [46] W internecie, fani Duff narzekali, że dostała zbytnio co niemiara materiału na wskroś co miała "wygląd konia". Po czym Duff zmniejszyła "nowe" zęby do rozmiaru oryginalnych. [47] [48] Pod ostateczność 2005 roku Duff zrobiła sobie miesięczną przerwę odkąd pracy w charakterze zaległy niespodzianka urodzinowy. Powiedziała, że chciała zainkasować powierzchowny tchnienie po wydaniu Most Wanted także napisaniu trzech nowych piosenek na rzecz niej, nakręceniu trzech filmów także przejechaniu trasy koncertowej "Still Most Wanted Tour". W 2005 r. Duff pojawiła się odchudzona, co sprowokowało publikatory do spekulacji na ten temat. Plotki donosiły, że Hilary cierpi na zaburzenia jedzenia, co sama zainteresowana zdementowała. [49] Duff wypowiedziała się w ciągu australijskiego show Today Tonight, że straciła wagę prowadząc w wyższym stopniu rezolutny zwyczaj życia.
Później, produkt wewnątrz Digital Spy ogłosił, że w środku 2006 r. Duff schudła do amerykańskiego rozmiaru zero, po przeczytaniu, że wygląda, pozornie przytyła 15 funtów (ok. 6 kg.). [50] Niedawno powiedziała, że czuła siła na egzystencja szczupłym; oświadczyła, że jest dostrzegana na wskroś czwarta władza zbyt grubą czy też zbytnio chudą. Duff nazwała to "orzeczeniem również zamierzeniem". [51]