Powstanie zespołu Grinderman ma swoje źródło w innej grupie: Nick Cave And The Bad Seeds. Na początku 2004 roku, gdy Nick Cave zebrał małą ekipę złożoną z członków Bad Seeds: skrzypka Warrena Ellisa, basistę Martyna Casey i perkusistę Jima Sclavunosa, w maleńkim paryskim studio Misère na sesję komponowania piosenek - w efekcie powstał zupełnie nowy zespół.
Mały skład w postaci Nicka, Warrena, Marty’ego i Jima zadebiutował publicznie brawurowym występem promującym album Bad Seeds Nocturama. Czwórka muzyków spotykała się nadal w tym doborowym składzie, żeby opracowywać materiał na ‘solowe’ trasy koncertowe Nicka Cave’a, działając aktywnie jako pełnoprawny zespół. Twórczość powstała podczas sesji w Misère, a także muzyka filmowa i teatralna, nad którą pracował zespół przez ten czas, wskazywała wyraźnie, że ten skład ma potencjał i może działać zupełnie niezależnie od Bad Seeds prezentując całkowicie odmienne brzmienie i podejście do muzyki. W lutym 2006 muzycy zarezerwowali londyńskie Metropolis Studios na pięciodniowy maraton nagrywania wersji demo, gdzie powstało wiele godzin surowego materiału.
Warren: „To miało być coś bardzo otwartego i swobodnego. Poszliśmy w kierunkach, w które normalnie nigdy byśmy się nie udali… a potem próbowaliśmy zabrnąć jeszcze dalej…”
Marty: „Z Nickiem na gitarze zmienia się cała dynamika.”
W następnym miesiącu Grinderman zaprosili do współpracy producenta ostatnich dwóch albumów Bad Seeds, Nicka Launay’a.
Warren: „Launay dba o świetne brzmienie. Nie chcieliśmy napotkać na żadne trudności dzielące brzmienie zespołu i produkcję, więc Launay był idealny.”
Razem nagrali trzynaście piosenek w londyńskich RAK Studios, po czym powrócili do Metropolis w październiku, żeby zmiksować album zatytułowany nazwą zespołu - Grinderman.
Jim: „Nazwa Grinderman /’Szlifierz’/ wydawała się nam odpowiednia dla tego składu. Opisuje rodzaj muzyki, jaki robimy. Ostrzymy i szlifujemy.”