Hopetouns första uppgift var att välja en premiärminister för att bilda en regering som skulle börja den 1 januari 1901. De första valen skulle inte hållas förrän i mars, så han kunde inte välja ledaren för det största politiska partiet i representanthuset. I stället bad han Sir William Lyne, premiärminister i den största delstaten, New South Wales, att bli premiärminister.
Detta var ett rimligt val, men Lyne hade motsatt sig federationen och var impopulär bland de ledande federalistiska politikerna. Alfred Deakin och andra viktiga politiker meddelade Hopetoun att de inte skulle samarbeta med Lyne. Hopetoun frågade då Edmund Barton, ledaren för den federala rörelsen och den man som alla ansåg borde bli premiärminister. Detta blev känt som "Hopetouns misstag".
Det uppstod snart fler problem. Hopetoun hade tagit med sig sin egen officiella sekreterare, kapten Edward William Wallington. Australiensarna ville inte ha en engelsman som ansvarade för officiella ärenden. De gillade inte heller den kungliga pompa och ståt som Hopetoun använde sig av i sin befattning, och de pengar som detta kostade. Han uppträdde som om han styrde Australien tillsammans med premiärministern. Detta var inte vad författarna till konstitutionen hade velat.
Hopetoun blev vän med anarkisten och fackföreningspionjären John "Chummy" Fleming från Melbourne. I maj 1901 protesterade Fleming mot arbetslösheten i Melbourne genom att rusa upp på Prince's Bridge för att stoppa generalguvernörens vagn. Hopetoun lyssnade på Fleming när han talade om de arbetslösas problem. Enligt vissa rapporter fick Hopetoun regeringen att påskynda arbetsprojekten.
Slutligen fanns det ett problem med hur mycket generalguvernören skulle få betalt för att ha ett hus i både Sydney, den största staden, och Melbourne, den australiska regeringens hemvist. Samväldets och Victorias parlament ville inte betala Hopetoun mer pengar. Hopetoun avgick i maj 1902. Han och hans familj lämnade Australien (från Brisbane) den 17 juli 1902. Han visste att han hade misslyckats i en historisk roll. Han utnämndes till 1st Marquess of Linlithgow den 27 oktober 1902, medan han fortfarande var generalguvernör. Hans mandat tog officiellt slut den 9 januari 1903. Han utnämndes till minister för Skottland 1905.
Han dog plötsligt den 29 februari 1908 i Pau, Pyrénées-Atlantiques, Frankrike.
