Po przekroczeniu 40 lat, mnich mógł iść na pustelnię w towarzystwie jednego ucznia, który zmieniał się co kilka lat, by służyć Bogu w zupełnym odosobnieniu. Pustelnia była odległa od opactwa około pół dnia drogi. Co tydzień Andrzej musiał wracać do opactwa w sobotę wieczór i zostać na całą niedzielę. Jego zajęciem było karczowanie lasu. Pomimo tak ciężkiej pracy Andrzej trzy dni zupełnie pościł: w poniedziałek, w środę i piątek. Na Wielki Post brał od opata Filipa tylko 40 orzechów włoskich, które były jedynym jego pokarmem przez osiem tygodni (jeden orzech na dzień) za wyjątkiem sobót i niedziel, gdzie przyjmował wspólny posiłek w opactwie. Aby nawet sen sobie uprzykrzyć, siedział przez całą noc na pieńku, otoczonym ostrymi prętami. Gdy ciało przechylało się w jakąś stronę, budził się raniony. Aby uniemożliwić zaś ruchy głową, zakładał na nią koronę z drewna z zawieszonymi czterema kamieniami, o które uderzał przy każdym skłonie. Ponadto Andrzej opasał swoje ciało mosiężnym łańcuchem, który z czasem obrósł skórą. To właśnie było bezpośrednią przyczyną jego śmierci ok. 1030-1034 r., gdyż po pęknięciu naskórka wywiązało się zakażenie. Wezwany opat Filip przybył już po śmierci Świerada. Przy obmywaniu ciała zauważył na jego brzuchu klamrę, która zdradziła istnienie łańcucha.

Towarzyszem pustelniczego życia Andrzeja i jednym z jego uczniów był Benedykt. Po jego śmierci opowiadał biskupowi Maurusowi o cnotach i umartwieniach swego mistrza. Kontynuował surowy tryb życia w pustelni. Podobnie jak św. Andrzej miał przybyć de terra Poloniensi - z ziemi polskiej. W trzy lata po śmierci św. Andrzeja napadli go zbójcy i zabili. Ciało wrzucili do rzeki Wag. Maurus dodaje legendę, że orzeł przez cały rok pilnował ciała Męczennika i że dzięki niemu ciało zostało odnalezione w stanie zupełnie nie zepsutym. Obydwu - ucznia i mistrza - pochowano obok siebie w kościele zakonnym.

Święci Andrzej Świerad i Benedykt na tle góry Zabor i katedry w Nitrze Kult obu świętych szybko rozszerzał się. Naturalnym ośrodkiem tego kultu był klasztor na Zaborze. Tu początkowo znajdował się ich grób, tu również przechowywano ze czcią łańcuch św. Andrzeja. Opat Filip, który opowiadał o obu świętych Maurusowi, ówczesnemu opatowi w klasztorze św. Marcina na Górze Panońskiej, podarował mu nawet część łańcucha. Relikwię tę zabrał ze sobą Maurus do Pesc, kiedy został mianowany tam biskupem (1036). Z czasem powstały w Słowacji dwa odrębne sanktuaria: św. Andrzeja w pobliżu Nitry, gdzie była jego pustelnia, oraz św. Benedykta, gdzie poniósł śmierć od pogańskich rozbójników w Skałce nad Wagiem na północ od Tręczyna. Około 1064 r. Świerad i Benedykt zostali uroczyście proklamowani przez biskupów Węgier świętymi. Wtedy zapewne przeniesiono ich ciała do katedry w Nitrze, gdzie spoczywają do dziś. Andrzej Świerad w hagiografii polskiej wybija się jako największy asceta wśród świętych i błogosławionych polskich.

Andrzej i Benedykt są pierwszymi Polakami, wyniesionymi do chwały ołtarzy (1083) po polskich kamedułach z eremu międzyrzeckiego: Izaaku, Mateuszu i Kryspinie, kanonizowanych przez papieża Jana XVIII (1004-1009). W ziemi krakowskiej kult św. Andrzeja Świerada jest szczególnie żywy w Tropiu. Od dawna ściągają tu pielgrzymi z Sądecczyzny i Słowacji na dzień dorocznego święta. Miejscowa ludność wierzy, że woda w źródełku, z którego Świerad miał czerpać, ma cudowną moc. Kościół w Tropiu posiada relikwie św. Świerada, sprowadzone z Nitry.