После многих странствий, место в котором он остановился, называлось Желтые Воды и находилось на восточном берегу Волги, рядом с небольшим озером. Местность эта очень приглянулась Макарию. Здесь он жил в маленькой келье, трудясь в одиночестве и непрестанно молясь Богу.
Но вскоре его уединение было нарушено — на этот раз живущими в Желтых Водах иноверцами — чувашами и мордвой.
Придя к келье преподобного и увидев его скромную и нестяжательную жизнь, они поначалу очень удивлялись. Потом стали приносить старцу хлеб, мед, пшеницу и всякий раз умилялись его незлобивости и терпению; Макарий принимал их дары с благодарностью — но не для себя, а для своих посетителей. Многих он крестил в озере, что было почти у самой его кельи. К тому времени уже не только чуваши и мордва приходили к нему: народ стекался, желая услышать наставления и поучиться богоугодной жизни, некоторые селились рядом. Преподобный, помня сказанное Господом — «Приходящего ко Мне не изгоню вон»,— не запрещал им селиться, видя их добрую волю и старание. Так вокруг преподобного Макария образовалась новая, уже вторая по счету, монашеская обитель. В 1434 году великий князь Василий Темный, скрываясь от своего брата Дмитрия Юрьевича Шемяки в Н. Новгороде, посещал преподобного, и оказал значительное пособие в сооружении монастыря, а в 1435 году под его руководством был возведен храм во имя Живоначальной Троицы. Еще раньше Макария избрали настоятелем, и настоятельствовал он долгое время, постоянно заботясь о братии и наставляя их к монашеским трудам, а число иноков с каждым днем увеличивалось, так как слава о преподобном Макарии и его обители разнеслась по всей России и многие приходили из дальних краев и просили постричь их в иноческий чин.
Одним из таких был блаженный Григорий, называемый Пельшемским; оставив родителей, он пришел в Желтые Воды, принял монашество и по примеру Макария, который был ему и настоятелем и отцом, стал великим молитвенником и постником, а позже сподобился и священнического сана , чем подтвердил пословицу: «У доброго отца и дети бывают добрыми, а у искусного учителя и ученики искусны».
Имя Макария стало известно не только в простом народе, но и среди князей, которые посылали из своих имений в монастырь все нужное. Славилась обитель своим внешним видом, крепостью стен, основательностью строений, но больше всего праведностью и усердием монахов, богоугодной жизнью подражавших настоятелю. Но скоро покой и благоденствие обители были нарушены.
Во время княжения благоверного князя Василия Васильевича один из татарских военачальников по имени Улу-Махмет, изгнанный своими соотечественниками из Золотой Орды, приблизился к российским пределам и обосновался в Казани. Оттуда он делал набеги на соседние княжества, все дальше и дальше продвигаясь по русской земле. Так он достиг Нижнего Новгорода, потом его войско рассеялось, огнем и мечом опустошая христианские селения.
Появились они у Желтых Вод и напали на обитель преподобного Макария. Монахи защищались недолго, татары ворвались в монастырь и выкосили их, как колосья на ниве, лишь нескольких взяли в плен, а монастырь сожгли.
В плену был и старец Макарий. Привели его к татарскому военачальнику. А имя преподобного было хорошо известно среди них, потому что он и татар, которые к нему приходили, всегда любезно принимал и покоил. Когда воевода узнал, что за человек стоит перед ним, он разгневался: «Как вы посмели,— сказал он своим воинам, — зная святую жизнь этого старца, надругаться над ним и его обителью?
Знаете ли, что за таких, как он, придется держать ответ перед Богом, Который один и у них, и у нас!» И велел отпустить святого, а с ним и других пленных — нескольких иноков и мирян числом около четырехсот человек, не считая женщин, детей и стариков.
На прощанье военачальник сказал Макарию: «Уходите из этих мест не медля и больше никогда сюда не возвращайтесь, поскольку земля эта отныне будет принадлежать Казанскому ханству».