徐霞客（1587～1641），名弘祖，字振之，號霞客，陳眉公為他取的號，江陰（今江蘇）人，出身書香的官僚地主家庭。偉大的地理學家和旅行家和探險家。
據《梧塍徐氏宗譜》所載，徐霞客世系從北宋末年開封府尹徐錮開始。在金兵南侵之際，梧塍裏徐氏一世祖徐錮攜帶大批中原文獻隨宋王室南遷杭州，其子孫散居荊溪（今宜興）、雲間（今松江）、琴川（今常熟）等地。四世祖徐守誠在南宋寧宗慶元年間以吳縣縣尉遷居蘇州。五世祖千十一于元初遷居偏僻的江陰梧塍裏，子孫俱誓不仕元，潛伏數十年。千十一是江陰梧塍徐氏始祖。九世祖徐麒（字本中）在明初白衣應招，奉命出使西蜀，招撫羌人，功成身退，以一品朝服榮歸故裏，“藏雄跡于江村，寓大雅于詩酒”（胡廣《心遠先生喻蜀圖序》），“朝士高之，賦詩送別，為國初盛事”，“及其歿也，當世名公，若魏文靖、王文端、胡忠安、葉文庄背，皆哀挽銘誄，語無虛美，大書深刻，傳播海內”（董其昌《明故徐豫庵隱君暨配王孺人合葬墓志銘》）。徐麒在家鄉一方面大規模墾荒開田，一方面廣收文集，使徐家成為“闢田若幹頃，藏書數萬卷”的江南望族。徐麒以景南、景州作為兩個兒子的字，以示不忘“南州高士”之祖風。景南、景州又分別以梅雪、竹雪為號，以明志向。兄弟倆築“梧塍十景”以過隱居生活，“恪守庭訓，務農重谷，讀書好禮，敦行孝悌；資累鉅萬，而修身慎行，德量過人，取與辭受，必以其義”（《民譜》卷53《舊傳輯略》）。徐景南築梅雪軒，軒中有經傳子史和茶灶筆床，軒外栽數株梅樹，觀書之餘，“臨窗覓句想林逋，洗鼎烹茶效陶谷”（樓宏題詩），與賓友觴詠為樂。在災荒和邊患之際，徐景南兄弟出谷賑災，出鞍馬助邊，為世人稱道並被朝廷旌為義民，賜給冠服，並旌其父之墓。徐景南有心報效皇恩，將兒子徐頤送進京師，謀取職務。此後徐家連續五代積極人世，博取功名。
十一世徐頤憑借豐厚的家產和精湛的書法，以楷法入中書科，後來被提拔為中書舍人。因病告歸之後，親自督促子孫學業，李東陽《明故中書舍人徐君墓志銘》說他“教子甚嚴，不侈服，不重肉，館于後圃，左右圖籍，不令與闌市相接，而日躬課核，至夜分乃罷”。徐頤還不惜重金為子孫聘請名師，華亭狀元錢鶴灘罷官家居時，徐氏以五百金延請至家塾；吳中才子文徵明祖父也曾為徐家塾師，文徵明《內翰徐公像贊》雲：“內翰江陰徐公歿三十年矣，璧生晚，未及瞻承。然先大父寺丞，曾館予公；先君溫州守，辱交尤厚”；此外，翰林檢討張亨父閒居時亦曾為徐頤長子徐元獻師。李東陽曾為徐頤撰六十壽序，後來又為他撰墓志銘。此墓志後來散失，徐霞客和從兄仲昭百計搜求，才以三畝田購得。徐經遺像上有文徵明、祝允明、顧鼎臣等人題贊。
徐霞客太祖徐元獻，字尚賢，號梓庭，天資穎異，10歲能詩賦，長大後習舉業，並博覽古經史傳、秦漢文詞。明憲宗成化十六年（1480）參加鄉試，得到主考官羅明仲、李賓之的賞識，取為第三名，並刻寫傳播其經文。第二年參加吏部考試，落第而歸，不久病逝，年僅29歲，幾個月之後其父徐頤亦去世。徐元獻是梧塍徐氏第一個才華出眾的科場追逐者，有《達意稿》若幹卷行世，是徐家第一部抒懷言志的著作。
徐霞客高祖徐經，字直夫，自號西塢。《民譜》卷53《舊傳輯略·春元西塢公傳》雲：“少孤力學，淡于世昧，酷嗜學問，雖大廈千間，金珠委地，未嘗一著意焉。唯四方賢士大夫至。則坐論競日，而忘疲焉。”徐經為了繼承父祖之志金榜題名，將一切家計都交給母親和妻子，自己藏身于“萬卷樓”苦讀。錢鶴灘《萬卷樓記》雲：“茲樓也，儲川岳之精，瀉鬼神之秘，究古今之奧，煥鬥牛之纏，知不可以金谷、平泉視也。”徐經于弘治乙卯（1495）中鄉試舉人，與吳門唐寅等人以才名相為引重，再加上他“富而不施”，遭人嫉忌。弘治己未（1949）徐經與唐寅同船赴京會試，到京城後，“六如（唐寅）文譽籍甚，公卿造請者闐堙于巷，徐有優童數人，從六如日馳于都市中，都人矚目者已眾矣”，（《唐伯虎全集·軼事》卷二掉三場會師之後，竟滿城飛語，傳言：“江陰富人徐經賄金預得試題”。後經朝廷查處，鬻卷之說純屬烏有，但為了平息輿論，兩人仍被削除仕籍，發回縣衙作小吏使用。唐寅歸家後恥不就吏，夫妻反目，頹唐消極，築“桃花庵”自娛。徐經歸梧塍裏，閉門謝客讀書。明孝宗死後，徐經盼望朝廷赦令，于丙寅（1506）北上京師探聽訊息：臥病京邸，于正德丁卯（1507）客死異鄉，重演其父齎志以歿的悲劇。有《賁感集》傳世，評者論其詩“類陸龜蒙”（《春元西塢公傳》），“不下崔灝”（元壽《<賁感集>後序》）。
徐經家財宏富，在江陰的梧塍、南碭歧沙山等處有地近四萬畝。三子治、徐洽、沾，唯次子洽繼承父志攻舉子業。徐洽字悅中，號雲歧，自立門戶後居南嚦歧，為徐霞客曾祖，也是南嚦歧徐氏始祖。徐洽穎敏有文：由博士子弟補國子監生，“每試輒最”，可是七次參加會試都榜上無名。最倒酶的一次是嘉靖辛卯（531）會試，本來已經被錄取，卻因為參考的監生人數太多超過規定的比例而落榜。後來捐資進入鴻臚序班，官至鴻臚主簿。《民譜》卷53《舊傳輯略·鴻臚佐雲歧公傳》說：“其詩文宏雅古博，多自得趣”，有《雲歧小稿》傳世。
徐洽有五子，長子衍芳，字原潤，又字汝聲，號柴石，為徐霞客祖父。徐衍芳“博綜典故，出入風雅，以古文詞為通人所賞識”（《民譜》卷53《舊傳輯略·光祿佐柴石公傳》）。其父科場失意，寄厚望于衍芳，特築書屋令他誦讀其中。兄弟分家時，徐衍芳雖為長子，卻主動放棄祖屋而出居湖庄書屋，研精靜慮以求科智，結果卻像父親一樣“累試數奇”。有《柴石小草》傳世。徐衍芳有六子，第三子徐有勉就是徐霞客的父親。綜觀徐霞客的家世淵源，有兩個突出的特點：一是有隱士高風，二是以詩書傳家，二者相輔相成。隱士高風，對徐氏家族來說，不戀慕功名富貴隱而不仕的高士之風可謂源遠流長，遠祖徐稚一直是他們的驕傲和榜樣。在千十一、徐麒、徐景南、徐影州兄弟身上，可以直接看到“南州高士之風”的延續。盡管從徐頤開始，這個高士之家連續幾代角逐科場追求功笤，但“高士之風”仍不絕如縷。十一世祖徐頤捐資得官之後不久即以病告歸，自稱“違養圖仕，非志也”（李東陽《明故中書舍人徐君墓志銘》）；太祖元獻以泊然寒士自處，“與世之驕侈者遠甚”（《民譜》卷53《舊傳輯略·經元梓庭公傳》）；高祖徐經淡于世味酷嗜學問；曾祖徐洽辭官歸田，優遊林泉，不染塵世事；祖父徐衍芳出入風雅，淡泊世味，以詩酒寫性靈。隱逸可以說是中國古代知識分子群體生活的大景觀，以至于有人認為中國古代歷史可以交替劃分為“仕文化”和“隱文化”兩種時期。不過像徐氏這樣高士之風累世傳續的現象並不多見，因此，不僅徐氏族裔引以為榮自覺模範，世人也津津樂道，極力推崇。在《晴山堂帖》中，人們一再稱揚徐稚的隱士高風。王達善題詩說：“高士令名垂無窮”；解縉題詩說：“南州信義世皆知”；蘇平題詩說：“南州高士神仙人，繞軒栽得江南春”。黃嚦《梅雪軒記》說，“嘗慕乃祖南州孺子之名，所以字之以景南者，有以期之也”；張洪《梅雪軒序》說，徐景南“系南州高士之後，故其名然，作求世德，其在茲乎”；李東陽《明故中書舍人徐君墓志銘》說：徐頤“雖斂處林壑，而世家譽望，著于東南久矣。君舊譜相傳出漢南州高士之裔”。詩書傳家，與隱士高風比較，徐氏家族的書香傳統更為引人註目。一世祖徐錮隨宋室南渡時帶來大量中原文獻，為徐家藏書奠定了基礎；八世祖徐均平與倪瓚為故交，其子徐麒10歲時已有餐霞御風之異態，倪瓚為他取字為本中，還為他繪《書屋圖》並題詩，楊維楨、高啓等名流皆有題詠。徐麒奉詔使蜀時，文壇泰鬥宋濂以詩送之，《送徐生》之序稱：“生，江上故族也。學古儲今，以詩文從餘”，可見徐麒是宋濂的弟子。徐麒藏書達數萬卷，與良朋酬酢觴詠其間，“宇內播揚，鹹仰之為山鬥”（陳敬宗《明故徐微君墓志銘》）；徐景南亦酷好讀書，有“梅雪軒”故事；徐頤親自課子並廣延名師；徐元獻弱冠成舉子，古文歌詩皆有名；徐經藏身于“萬卷樓”苦讀。徐元獻、徐經、徐洽、徐衍芳，連續四代有文集傳世，先後媲美，論者嘆為盛事，湯煥《〈徐氏家集〉序》說：“往予署學江陰，見徐氏列冠裳者先後數十人；居庠校者，彬彬多才子弟，意必有賢父兄，而家法先猷，當有所自”，“昔人有言：植本固而發源深也。徐氏自開封尹以中原文獻南來，迨乎皇朝，益敦詩禮之教，又再世而賢科出焉，其培植也遠矣”。
徐氏不僅“五世以來，文豪于國，詩震于時”（範梅《<柴石遺稿>序》），如前所說，我們在《晴山堂帖》中，可以看到一大批如雷如霆之偉人的手筆，晴山堂石刻因此而“與唐碑宋碣並重”，“三百年來，拓本流傳，人爭寶貴”（張之純跋）。徐氏真正可以說是出入有鴻儒的世家望族。徐霞客與其從兄徐仲昭千方百計搜尋先世遺墨題贈，紹繼的不止是祖業，應該還包括祖宗的德行風範。何喬遠《張侯名宦匯紀序》說：“徐弘祖一布衣也，愍然若其遠祖達人。”徐霞客出生在這樣一個故族世家，深受祖德家範的浸染，其放絕世務奇情鬱然的個性、其目空萬卷詞意高妙的才情都可謂淵源有自。