西塘的西园来自于柳亚子邀友在西塘小院吟诗欢歌，留影《西园第二雅集图》一事。现在的西园是1993年新建的公园，另有一西园也只不过是南社陈列馆，都不是当初南社吟诗之所了。
西园旧址在西街计家弄内，系明代朱氏别业，后出让给孙氏。园内有树木、花草、假山、亭池等，风景优美。东侧假山上有“听涛轩”茶室，因假山上有白皮松1株，高数丈，风来稷稷有声，故名。1920年冬天诗人柳亚子来西塘，曾住西园并与西塘南社社友在西园摄影留念，题名为“西园雅集第二图”。
西园原先只是明代朱姓人家的一个普通小花园，弹丸之地，园内的亭台楼阁也很少，曲桥荷池面积也不大。到了民国初年，吴江黎里柳亚子先生与西塘的一帮子文友在此举行了雅集合照，所拍照片被称为“西园雅集第二图”，西园便有了些许名声。这是众所周知的事情。
之后不久，西园归属西塘名门胡蒙子所有。胡蒙子系醉园王亨先生之外公，西园便也成为了王亨童年时的乐园，这样的情景有点象鲁迅先生小说里所描写的情景：曲径通幽的假山丛，是捉迷藏的好地方，西园里高高的白皮松上经常会停伫一些不知名的彩鸟，夜晚时摇一下树身，有一些鸟竟会不自觉地从天而降……
上个世纪五十年代初，西园被毁，原因是西园里的假山石被运到水泥厂轧了水泥，荷池被填，亭阁被拆。在我幼小的记忆里，西园已经是一片白场了，专门放映露天电影，但是这里仍然是盛夏时节我们小孩子家玩耍和渴望的地方。
有一些介绍西塘的资料里，经常提到大西园和小西园，其实根本是说说的。所谓的大西园即是上世纪九十年代初宏福路上新建的公园，自1998年开发旅游在苏家弄里仿建了明清风格的老西园后，为免名称冲突，改成了平川公园（西塘又别称平川）。现今的西园，早已不是从前旧址上的西园了；现今的西园，也早已不是柳亚子当年会友雅集的西园了。
真正的西园是在今天的南社陈列馆的旁边，建于明代，实为西塘历史上最大的私家花园，主人姓柯，历史上有几代文人，为西园留下许多的诗作。
1990年3月，在镇西善兴建了总面积16.6亩的公园，名为“西园”。入园处小桥流水，石狮门厅，园内环绕砖砌花格游廊、水榭、曲桥、假山、凉亭、人工瀑布。
