小雁塔与大雁塔相距约3千米，因规模小于大雁塔，因此称为小雁塔。
荐福寺建于662年，是唐高宗李治死后百日，宗室皇族为他献福而建造的。小雁塔是为了存放唐代高僧义净从天竺带回来的佛教经卷、佛图等而建立的。
小雁塔位于安仁坊，所在的塔院是荐福寺的一部分，不过当时塔院并不在荐福寺内，而是与荐福寺门隔街相望。
在唐代末期的战乱中，荐福寺屡遭破坏，寺院毁废，只有小雁塔得以保存。
小雁塔是密檐式砖构建筑，塔形秀丽，是我国唐代精美的建筑艺术遗产。
小雁塔保存着一口金代铸的大铁钟，