Từ sau năm 1812, Tổng trấn Gia Định là Lê Văn Duyệt (tức Thượng công Lê Văn Duyệt) đã sử dụng khu đất rộng làm khu vườn cảnh để thưởng lãm cảnh vật và xem hát bội. Từ đó nhân dân quen gọi là vườn Ông Thượng.

Thời Pháp thuộc, vườn Ông Thượng bị sáp nhập vào khu đất dinh Toàn quyền. Từ năm 1869 trở đi con đường Miss Clawell (đường Huyền Trân Công Chúa) được xây dựng đã tách vườn Ông Thượng trước đây khỏi khu đất dinh Toàn quyền. Tại khu vườn có các công trình xây dựng mới: câu lạc bộ thể thao Sài Gòn với sân bóng đá, hồ bơi, sân quần vợt, hội Hiếu nhạc, hội Tam Điểm, viện Dục nhi cũng đặt cơ sở tại khu vườn, người dân quen gọi là “vườn Bờ-rô”.

Trong những ngày sục sôi chuẩn bị cho Cách mạng tháng 8 năm 1945, tại vườn Bờ-rô, Thanh niên Tiền phong đã hai lần tổ chức mít-tinh tuyên thệ (lần thứ nhất ngày 5 tháng 7 năm 1945; lần thứ hai ngày 19 tháng 8 năm 1945) thề trung thành với tổ quốc, trung thành với nhân dân.

Sau năm 1954, vườn Bờ-rô được đổi thành vườn Tao Đàn, viện Dục nhi được sử dụng làm trụ sở Bộ Y tế Việt Nam Cộng Hòa.

Sau năm 1975, vườn Tao Đàn đổi tên thành công viên Văn hóa thành phố. Câu lạc bộ Văn hóa, Cung văn hóa Lao động thay cho Câu lạc bộ thể thao Sài Gòn. Công ty Lương thực thành phố, Sở Y tế, Báo Công an, Nhạc viện Thành phố… đều có trụ sở làm việc tại đây.

Dù có thay đổi tên gọi qua các thời kỳ: từ vườn Ông Thượng, vườn Bờ-rô, vườn Tao Đàn, công viên Văn hóa thành phố. Hiện nay nơi đây có tên gọi công viên Tao Đàn - địa điểm cảnh quan đẹp bởi thảm thực vật nhiệt đới phong phú với trên 1000 cây lớn; là nơi hoạt động thể thao, sinh hoạt văn hóa tinh thần, nơi tổ chức hội trợ triễn lãm, hàng hóa, Hội Hoa Xuân, chim, cá, cảnh sinh động, náo nhiệt của người dân thành phố.