且說謝安和支道林一路遊玩，自建康騎馬到京口（今鎮江一帶），在北固山住了些日子，之後從京口乘船，經江南運河、浙東運河，一路買舟而下，到達會稽，見到了傳說中的會稽山水，謝安早就欣慕會稽山水，這回劈面相見，滿眼綠的山，紫的霞，青的煙，秀的水，隻覺相見恨晚，謝安寫信告訴父兄，要在這裡隱居。

當然，謝安的隱可不同於多年後陶淵明的隱，陶淵明是真隱，草屋八九間，經常窮到喝不上酒，吃不上飯，還要親自晨興理荒穢，戴月荷鋤歸。

謝安在東山，是有真金白銀做後盾的。謝裒知道這個兒子勸不住，於是不勸，而是要錢給錢，要人給人，讓謝安在東山經營一個田莊出來，全當為謝氏置產。

謝氏最初也想在建康置產，但好房好地好山好水，早被江南舊族佔了，空間十分有限，之前也曾在京口一帶治了些房產地畝，只是京口是軍事重地，遊民聚居，亦不是理想的居所。會稽居三吳腹心，山美水美，物產豐富，民多富庶，正是好家園，王家和郗家早已在會稽封錮山澤，建立莊園，謝安既無心仕途，留在建康也沒什麼大用，不如給謝氏置辦一份產業，好為子孫萬代計。

謝安把莊園建在半山上，遍植茂林修竹，亭台樓榭，可以修身養性，可以三五好友乘興而遊，還可開大型PARTY。更重要的，莊園佔地廣大，又收留眾多僑戶耕種漁獵，相當於謝氏的一次圈地運動。數十年後，謝氏後人謝靈運在他的《山居賦》中說：「春秋有待，朝夕須資，既耕以飯，亦桑貿衣，藝菜當餚，採藥救頹……」也就是說，謝家莊園物產豐富，人丁興盛，不止是居家好去處，更是一條生財路。

莊園建成後，他和支道林又在東山上建造了國慶寺，有這二位文壇新銳、玄學霸主在此，國慶寺香火日盛，之後，又增修了白雲、明月二堂，東西各修一座亭子，以供遊人遠眺。

且說謝安在東山過得正好，朝廷的詔書來了，這是第四次，前三次謝安都拒絕了，這一次，招募他的是中書令、揚州刺史庾冰，作為帝舅，庾氏權力正盛，庾氏兄弟個個人傑，論才學膽識，人品才情，都是當世之俊，特別是庾冰，被稱為庾氏之寶，從私人感情上，謝安對庾氏兄弟是頗有好感的。加之，此時謝安的堂兄謝尚頂頭上司就是庾翼。

儘管一百個不情願，謝安去赴任了。可是他還是高估了自己的忍耐力，庾冰待他很友好，但再友好，也是居高臨下的友好，每天上班跟坐牢似的，見一些莫名其妙的人，做一些莫名其妙的事。謝安越想越氣悶，我在東山待得好好的，詩酒閒遊，入山學道，下河泛舟，沒來由跑到這兒，處處不自在，人生苦短，爭權奪利的事，留給他人做吧，我何苦受這個罪。

勉強忍耐了一個多月，謝安強行辭歸，此後，朝廷又征詔過他幾次，謝安乾脆不奉詔，朝廷一怒，下詔：對謝安同志永不起用。

謝安大喜，這東山，終於可以住安穩了。