此時(shí)的司馬睿也是十分著急的，他需要一個(gè)中間人式的人物來(lái)平衡權(quán)力，王家的勢(shì)力太大，他一時(shí)支撐不住這個(gè)局。
他需要謝家出這么一個(gè)人能夠擔(dān)當(dāng)這個(gè)斡旋的中間人角色。由于謝安始終不肯出面，只得讓謝家的其他子輩來(lái)出來(lái)做事，于是謝奕、謝據(jù)、謝萬(wàn)、謝石、謝鐵等謝家子弟一一出來(lái)做事輪個(gè)遍，但是效果一般般，都達(dá)不到司馬睿的預(yù)期的要求。
為何要謝安出面呢？有個(gè)小故事可以看出，有一次謝安與王羲之在游山玩水的途中望著這美好的江山，王羲之發(fā)出感慨，
“這么好的江山竟落得到如此地步，北方被少數(shù)民族占領(lǐng)，南方茍延殘喘，未來(lái)不知道怎么樣了。這樣的國(guó)家一定要做一次大的改革才行，不然大家以后都可能面臨亡國(guó)的危險(xiǎn)?！?br/>
“羲之此言過(guò)于悲觀，北方淪喪主要是北方少數(shù)民族善于騎射，我們漢族人并不善于此道。這個(gè)和國(guó)家體制沒(méi)有任何關(guān)系。當(dāng)年秦朝時(shí)，重用商鞅來(lái)變法，國(guó)家雖然強(qiáng)大了，也統(tǒng)一了中國(guó)，但是秦朝迅速在2年左右時(shí)間土崩瓦解了，難道這不能說(shuō)明什么嗎？一個(gè)國(guó)家的存在與體制改革沒(méi)有直接關(guān)系，主要是這個(gè)國(guó)家是否是關(guān)心了人民的疾苦。當(dāng)年晉朝洛陽(yáng)的貴族太過(guò)于奢華，以至于買了很多北方奴隸，想不到北方奴隸到了洛陽(yáng)后造反了，反叛了，反而成為了洛陽(yáng)的主人，當(dāng)年的主人反而被他們殺光了。所以生活過(guò)于奢華又不關(guān)心勞動(dòng)人民的疾苦，這才是國(guó)家存與亡的根本因素。”，謝安說(shuō)完，繼續(xù)與王羲之前行游覽名勝古跡去了。
從這個(gè)故事可以看出，謝安的思想偏向于孟子思想，民貴君輕，當(dāng)國(guó)君不關(guān)心人民的疾苦之后，老百姓不管是不是奴隸都會(huì)起來(lái)反抗。
謝安主張對(duì)國(guó)家不大動(dòng)，以小動(dòng)來(lái)代替大動(dòng)，大動(dòng)要傷精動(dòng)骨，說(shuō)不定沒(méi)多久國(guó)家就垮了。
謝安的治國(guó)思想充分體現(xiàn)了無(wú)為而治的道家思想。對(duì)于謝安來(lái)說(shuō)，他覺(jué)得司馬睿不需要憂心忡忡地?fù)?dān)心王家勢(shì)力太大，其實(shí)只要司馬睿行術(shù)端正無(wú)所謂有人會(huì)謀反，但是如果整天疑神疑鬼的話，反而會(huì)造成國(guó)家的動(dòng)亂。
再說(shuō)了，謝安現(xiàn)在手上一沒(méi)軍隊(duì)，二沒(méi)人，他也斡旋不了司馬家與王家的矛盾。
由于司馬睿屢次邀請(qǐng)謝安出來(lái)做官，謝安也有點(diǎn)煩惱，謝安覺(jué)得索性還是搬山上去住比較好，這樣別人也不知道自己住哪里，也沒(méi)有啥人來(lái)打擾了。
于是他繼續(xù)帶著夫人周游各地，名為游歷實(shí)為探測(cè)一下哪里更適合居住，過(guò)上隱居的生活。
當(dāng)謝安在找地方隱居的時(shí)候，前秦對(duì)晉朝開(kāi)始發(fā)動(dòng)攻擊了。前秦的攻擊暫時(shí)不是全面的，他們對(duì)晉朝目前的情況不熟悉，只知道改叫東晉了，徹底和西晉說(shuō)再見(jiàn)了，西晉的皇帝都不知道到哪里去了。
前秦的符堅(jiān)先派朱肜把東晉長(zhǎng)江北岸的梁州占領(lǐng)了，他發(fā)現(xiàn)東晉連點(diǎn)大動(dòng)靜都沒(méi)有，料定東晉沒(méi)實(shí)力反撲，就派徐成把益州也占領(lǐng)了。
前秦軍隊(duì)占領(lǐng)這兩個(gè)地方像玩一樣的，東晉軍隊(duì)里都流傳說(shuō)符堅(jiān)長(zhǎng)著三頭六臂，力大無(wú)比，誰(shuí)遇上誰(shuí)沒(méi)命，所以大家伙兒一聽(tīng)到前秦軍隊(duì)來(lái)了就緊閉城門防守，防守了一大段時(shí)間看到前秦軍隊(duì)還沒(méi)撤離，就索性堅(jiān)持不住了，開(kāi)門投降了。
就這樣前秦的軍隊(duì)越來(lái)越強(qiáng)大，各種武器都有，除了十八般兵器，還把馬拉的戰(zhàn)車也用上了，好幾十輛戰(zhàn)車和騎兵一沖，東晉步兵像小草一樣被任意宰割。
東晉的探子把這些消息傳到建康都城，各個(gè)王公貴族都是惶惶不可終日，只有謝安還是那么悠閑，老樣子，早上稀飯加咸鴨蛋，晚飯粥加饅頭加咸菜。
他不喜歡吃山珍海味，每日的粗茶淡飯才是謝安最想過(guò)的日子。