三義客家書院是文林國中校長吳景豐位在雙潭社區內的老宅．建於民國五十年，是一幢樓板面積達六十餘坪的兩層式樓房，琉璃瓦、白牆搭配沿著牆壁伸展的綠色藤蔓，展現出質樸的古典雅趣．在社區多元的現代建築群中，顯得格外醒目。
這座吳家古厝早期是廣東梅縣秀丁吳秉睿(日據時代栗社詩人)的老宅，改建後，由吳秀才之子於民國廿六年起經營「精米所(日語)」，是三義客家聚落的集穀中心，也是舊時經濟活動的互動環節，在富時曾開創出金店面的時代格局，最為當地人津津笑道。一直到民國六十年吳秀才之子去世後，「精米所」才結束營業。
目前三義客家書院以展示、典藏客家文物為主，未來將派駐社區規劃團隊推動客家三生園區的社造工程，發揮教育研究、推廣等功能，例如辦理客家歌謠、詩詞等研習．或以田野調查方式，蒐集當地客家文史，為客家文化挹注新的活力。

吳校長對客家文化的傳承有春深切的使命執著與文化包容，他表示一只要是和護持客家文化有關的，他都會義不容辭地積極參與．希望窮畢生之力為客家文化有所貢獻。