南宋《赤城志》记载：“灵石山，在县西五十里。以甘露降，名甘露山。山上有寺，当孙恩叛，毁木为船，石从空自坠，贼以伤去，故号灵石。”清光绪《黄岩县志》卷7《乡都》：“六都-图灵石。”今属黄岩北洋镇联群村。

　　灵石村是南宋黄岩谢氏居住地。第一代谢克家，河南上蔡人，北宋理学宗师“二程”(程颢、程頣)四大弟子之一谢良佐之侄，任南宋绍兴九年(1139)参知政事(副丞相)，与秦桧政见不合辞官。其子谢伋任太常寺少卿亦辞官，父子隐居灵石寺。谢克家卒后墓在寺侧。谢伋在寺内外建白莲池(今灵石中学校内)、水芝轩、灵泉馆、挽衣亭、润畦亭等，后移住三童岙(今属高桥街道)，开辟药园。朱熹、孙觌、洪迈等名人造访药园，赋诗称赞。谢伋是南宋四六文名家，隐居时著有《四六谈麈》。绍兴二十五年(1155)十月秦桧死，谢伋出任处州知州，后因“失察”被降职。谢克家、谢伋“会(因)有秦氏之厄，摈落二十年”，住黄岩直至终老。

　　谢伋之孙谢直，字希孟，生长于灵石村。南宋淳煕十一年(1184)进士，官至嘉兴府通判。因仕途多舛，沉缅秦楼梦馆。南宋庞元英《谈薮》论其逸事。

　　谢希孟在临安与名妓相好，其师陆九渊责之：“士君子乃朝夕与贱娼居，独不愧于名教乎？”希孟依旧我行我素，还为相好造鸳鸯楼。九渊再责，希孟答，不但要造楼，还要为这楼作记。九渊赏识他的文章，便问他打算如何写。希孟说：“自逊、抗、机、云之死(指东吴陆逊、陆抗、陆机、陆云)，英灵之气不钟于世之男子，而钟于妇人。”九渊沉默不语。

　　一日，希孟忽然有归家的念头，于是匆匆辞官，相好追至江边涕泣沾襟，恋恋不舍。希孟取下自己的头巾书写《卜算子》：“双桨浪花平，夹岸青山琐。你自归家我自归，说着如何过？我断不思量，你莫思量我。将你从前与我心，付与他人可！”

　　好友陈傅良(瑞安人，乾道进士，官至宝谟阁待制，与叶适并称永嘉学派巨擘)有《送谢希孟归黄岩》诗四首(其一)：“法令如牛毛，斯鞅信手成。簿书积丘山，赵张眼愈明。万人立下风，国势尊且荣。未省三代前，谁独有此名。”

　　谢希孟回黄岩住灵石村，晚年整理祖父谢伋《药竂丛稿》20卷，叶适作序(谢伋《四六谈麈》被《四库全书》收录)。谢希孟名言“英灵之气，不钟于世之男子，而钟于妇人”，为明清文学杜十娘、杜丽娘、沈琼枝等形象塑造奠定基础，明末清初《古今女史》《续玉台文苑》《红蕉集》《红楼梦》等，均沿用或效仿其论述。