Joseph Hyde Potts, quien era empleado del Banco de Nueva Gales del Sur, es quien dio origen al nombre de Potts Point. Compró 6,5 acres de terreno frente al mar en lo que entonces se conocía como Woolloomooloo Hill, y le cambió el nombre a Potts Point.

Una gran parte de lo que hoy conocemos como Potts Point y el distrito de Elizabeth Bay fueron inicialmente concedidos a Alexander Macleay, Secretario Colonial de Nueva Gales del Sur de 1826 a 1837, quien dio nombre a la calle Macleay. El reconocido poeta australiano Henry Lawson menciona a Potts Point en su poema “William Street”. John Wylde, la persona por la que se nombra la calle, fue un funcionario público del siglo XIX que tenía propiedades en la región.