1850年外国侨民霍格等5人，以每亩不足十两银子的价格“永租”得土地81亩，建成了上海的第一个跑马场——老公园。
1854年，跑马总会把老公园分10块每亩超过200两银子的价格卖出。从浙江中路南京路两侧以9700两银子的价格圈定了第二个跑马场——新公园。
1861年，以100036两银子的价格卖掉第二个跑马场，而在今人民公园处强圈了500亩大小的第三个跑马场。
如《申报》记载：“但见往返者如鱼贯、如蚁阵—跑马之处则广场东北两边之路，人如堵墙，叠层拥积，约有万数之多。”
当时盛传一时的短歌，嘲讽的就是跑马总会为了谋取利益，而发行的“香槟票”。
1954年5月31日，跑马总会所有建筑物由人民政府接管。跑马总会大楼改为上海图书馆。
1959年的人民广场。
1997年，上海图书馆迁至淮海中路新馆，上海美术馆进驻原跑马总会大楼。
到如今南京西路325号的上海历史博物馆与人民广场。