1849年由林占梅興築於西門內，又稱「內公館」，為清代竹塹地區重要的文人聚會場所，何翀、謝琯樵均曾在此客居，1910年林守長出生於此。

日治時期，潛園一帶在市區改正中被規劃為道路，爽吟閣被拆遷至新竹神社境內，園林規模毀損不再。