楊廣在江都設(shè)置的四道場(chǎng)與楊堅(jiān)在長(zhǎng)安設(shè)立的大興善寺、玄都觀交相暉映，成為全國(guó)性的宗教思想控制的中心。楊廣曾寫詩(shī)夸耀自己在江都設(shè)立的四道場(chǎng)，對(duì)自己能延攬到眾多高僧頗為得意。

    然而，也有一些高僧堅(jiān)決拒絕楊廣的延攬，不愿前往江都四道場(chǎng)任職。如《續(xù)高僧傳》卷一《彭城崇圣道場(chǎng)靖嵩傳》記曰：隋煬昔鎮(zhèn)揚(yáng)越，立四道場(chǎng)，教旨載馳，嵩終謝遣。及登紫極，又有敕征，固辭乃止。門人問(wèn)其故，答曰：‘王城有限，動(dòng)止嚴(yán)難，雖內(nèi)道場(chǎng)，不如物外’。蘇州虎丘山名僧智琰因道盛名高，被楊廣召進(jìn)慧日道場(chǎng)，后亦以辭疾，得返舊山。江南第一高僧的智覬雖被楊廣延屈至江都。但智覬卻也堅(jiān)決拒絕進(jìn)入慧日道場(chǎng)。

    智覬來(lái)江都時(shí)，慧日己明，楊廣意讓智覬為慧日主持，利用智覬的德望擴(kuò)大其對(duì)江南佛教界的影響。智覬堅(jiān)辭不受，反倒當(dāng)面提出要回荊湘，于當(dāng)陽(yáng)縣玉泉山建立自己的精舍。不愿意加人有大隋官方背景的慧日道場(chǎng)，要遠(yuǎn)離江都到荊州建立自己自由傳教的天地，這是對(duì)楊廣盛情邀請(qǐng)明確表示不予合作。智覬在江都城外住了幾個(gè)月，但始終未入慧日道場(chǎng)。其間楊廣仍百般延請(qǐng)，多次派柳顧言往智居處奉送禮物，再作挽留。楊廣稱：弟子一曰恭親，猶以陋薄，不稱宿心。開(kāi)皇十二年（592年）二月十八日，楊廣致書一封請(qǐng)留，但智覬則反而提出要先回廬山東林寺，并轉(zhuǎn)而請(qǐng)楊廣為東林峰頂兩寺檀越（施主）。楊廣無(wú)奈，只得再派柳顧言轉(zhuǎn)達(dá)口信：弟子意不欲相去遼遠(yuǎn)，脫能旋回，不敢留停，鎮(zhèn)下近山隋樂(lè)住止。但智覬仍執(zhí)意離去。三月一日，楊廣又修《重留書》，欲留智覬過(guò)完夏天后再發(fā)遣，冀不半途飄露，請(qǐng)就攝山安居度夏，但師不許，嚴(yán)辭謝絕。楊廣對(duì)這位固執(zhí)的長(zhǎng)者不敢違忤，謹(jǐn)尊宿愿，即命所司發(fā)遣，最后具裝發(fā)遣送智覬覬上廬山。

    智覬入江都僅四個(gè)月就遠(yuǎn)走荊湘，對(duì)楊廣表現(xiàn)出的不合作甚至對(duì)立，楊廣都表現(xiàn)出了極大的耐心與智慧。

    然而智覬雖極力疏遠(yuǎn)楊廣，卻也沒(méi)有忘記利用王者之力來(lái)興辦佛事。他離江都時(shí)即給楊廣寫信，稱近年寇賊交橫，寺塔燒燼，仰乘大力建立將危。遂使佛法安全，道俗蒙賴，收拾經(jīng)像處處流通，誦德盈衢恩滿路，希望楊廣營(yíng)造治葺廟宇。楊廣立即回信表示同意，稱廢寺同于火宅，持缽略成空返，僧從無(wú)依，實(shí)可傷嘆。智覬登上廬山，又述東林寺羨玩忘勞，然山下伽藍(lán)偏近驛道，行人歸去頗成混雜，請(qǐng)求楊廣下令寺邊永禁公私停泊。楊廣知道后立即交代有關(guān)方面勒彼州令去公私使命，不得停止。就這樣，師徒二人各有圖謀，互相利用，書信往來(lái)不絕，表面看來(lái)似乎已成莫逆之交。

    楊廣也一刻沒(méi)有放松對(duì)智覬大師的拉攏。開(kāi)皇十二年（592年）三月二十一日，楊廣連修書三封，存問(wèn)大師道體如何。七月一日，楊廣遣主簿王灌往廬山參省問(wèn)候，并送鹽米，希望智覬回心轉(zhuǎn)意。但智覬卻于八月八日西去南岳衡山，營(yíng)建功德參拜恩師慧思之墓。楊廣得知智覬遠(yuǎn)云，急忙于十月十日參書一封，云：弟子渡江還，去月初移新住，多有造次，未善安立，來(lái)旨勖以法事，實(shí)用慚悚，始于所居外援建立慧日道場(chǎng)，安置照禪師以下，江陵論法師亦已遠(yuǎn)至于內(nèi)援。建立法云道場(chǎng)，安置潭州覺(jué)禪師已下。再次表示要請(qǐng)智到江都道場(chǎng)主持佛法，并催促說(shuō)：已別遣使迎延，愿預(yù)整歸計(jì)。十一月十五日，楊廣再遣親信伏達(dá)往潭州奉迎。但智覬未加理會(huì)，于十二月回到闊別二十多年的家鄉(xiāng)荊州。一時(shí)泮宮道俗延頸侯望，扶老攜幼相趨戒場(chǎng)，垂里戴白云屯講座，聽(tīng)眾五千余人，旋鄉(xiāng)答地荊襄未聞。智覬即于當(dāng)陽(yáng)縣玉泉山建立精舍，并重修十住寺，打算在此長(zhǎng)住久居。

    智覬大師我行我素，傲慢地拒絕晉王楊廣的累書延屈，當(dāng)然使晉王大丟面子，但楊廣也并未激怒，表現(xiàn)出極高的政治素養(yǎng)和極大的耐心。智覬遠(yuǎn)離江都而入荊湘意在擺脫晉王的控制，但終不能擺脫大隋政權(quán)的監(jiān)視，遠(yuǎn)離晉王卻也使智覬難以得到晉王的政治庇護(hù)。時(shí)楊堅(jiān)在舊陳荊州等地設(shè)置的總管府，雖說(shuō)總歸晉王節(jié)制，但實(shí)際上是直接聽(tīng)命于朝廷，總管刺史加使持節(jié)，擁有很大的權(quán)力。如令狐熙為桂州總管十七州諸軍事，即有便宜從事之權(quán)，可以朝廷名義任命刺史以下官吏，楊廣號(hào)令所達(dá)地區(qū)實(shí)際上僅限于揚(yáng)越一隅。

    智覬進(jìn)入荊湘弘法，果然遇到了麻煩。智覬臨終時(shí)給楊廣的遺書中透露了自己在荊州集眾說(shuō)法時(shí)，遭到地方當(dāng)局粗暴干涉的情況：

    于荊州法集，聽(tīng)眾一千余僧，學(xué)禪三百，州司惶虛，謂乖國(guó)式，豈可集眾，用惱官人。胡朝同云合，暮如雨散，設(shè)有善萌，不獲增長(zhǎng)，此乃世調(diào)無(wú)堪，不能諧和所得。

    法會(huì)竟被地方官勒令解散，足見(jiàn)其事之嚴(yán)重。時(shí)江南平叛不到兩年，隋對(duì)舊陳遺民心存警戒，曾多次下令收繳武器，直到開(kāi)皇十八年（598年），還下令禁止私造大船，因相聚結(jié)，致有侵害，其江南諸州，人間有船長(zhǎng)三丈以上，悉括入關(guān)。智覬因相聚結(jié)了一千余僧，外加學(xué)僧三百，而未經(jīng)官方同意，自然有乖國(guó)式。特別是智覬先前與南陳君臣關(guān)系密切而不附隋朝，隋地方官員生怕他以宗教聲望聚眾謀反，他的自由傳教又怎能不使州司惶虛。可以肯定，遣散智覬的法令是地方官依法行事，而決不是秉承晉王的命令。為了尋求政治庇護(hù)，智覬寫信請(qǐng)楊廣做玉泉的大檀越，楊廣再次表示同意。楊廣后又寫信給荊州總管達(dá)奚儒，請(qǐng)他對(duì)智者及所修玉泉寺多加關(guān)照。

    開(kāi)皇十三年（593年）二月二十二日，楊廣入朝，行至陜州，又遣使送去親筆信往荊州奉迎智，稱自己馳仰之誠(chéng)與時(shí)而積。五月，智覬派弟子奉書報(bào)晉王，送上新建玉泉伽藍(lán)圖，獻(xiàn)上相傳是外國(guó)奉獻(xiàn)給梁武帝的珍貴萬(wàn)春樹(shù)皮袈裟。楊廣收到禮物后即修書一封表示感謝，并附一份豐厚的禮單以示還報(bào)。楊廣還在朝見(jiàn)父皇時(shí)奏告了自己為安定江南政局而拉攏利用智覬的意圖，楊堅(jiān)十分重視，于開(kāi)皇十三年（593年）七月二十三日敕書匾額，賜智覬創(chuàng)辦的精舍名曰玉泉寺，并敬問(wèn)道體?；实塾P親題金字，對(duì)于正遭到麻煩的智覬大師來(lái)說(shuō)，的確是巨大的恩惠，這也正是大師求之不得的。荊州總管王世積隨即到山禮拜，智覬的境況無(wú)疑大為改觀了。弟子為大師幫了大忙，因各有所求，已漸疏遠(yuǎn)的師徒關(guān)系似乎又熱起來(lái)。

    施之以李，報(bào)之以桃。楊廣施此恩惠，自然要圖還報(bào)，于是更加緊了對(duì)智覬的延攬。九月十日，楊廣致書智覬，稱弟子還鎮(zhèn)非久，便愿沿流仰合江都再次邀請(qǐng)智覬往江都。九月二十四日，楊廣又由京師寫信給智覬，稱仰違已久，弛系實(shí)深，獻(xiàn)歲非遙，傾遲虔禮，暮春屆節(jié)當(dāng)遣奉侯。不日，又遣統(tǒng)軍魯子譽(yù)送信，書稱：秋仲歸蕃，請(qǐng)夏訖沿下，在于拜覲。開(kāi)皇十四年（594年）九月，楊廣從駕東巡于路又兩次修書存問(wèn)道體康悆。開(kāi)皇十五年（595年）正月，楊廣隨楊堅(jiān)祠泰山后還鎮(zhèn)，即于二十日遣使奉書往迎智覬，稱余春未盡，必希拜覲。楊廣的恩惠和致書累請(qǐng)使智覬再也不好推辭，隨即順流東下，重履江淮。