Eremici istnieli zanim pojawiło się chrześcijaństwo. Oddalenie od świata, wyrzeczenie się dóbr materialnych, rezygnacja z małżeństwa, życie samotne prowadzone indywidualnie lub we wspólnocie, troska o rozwój duchowy to elementy wspólne dla wszystkich religii. Idea ta pojawia się już w Starym Testamencie. W Księdze Wyjścia pustynia jest miejscem oczyszczenia, umocnienia, miejscem próby i zawierzenia Bogu. W chrześcijaństwie pustynia staje się miejscem pokuty, miejscem bliskiej obecności Boga, ale też terenem działalności szatana. Dla Chrystusa i wcześniej, dla Jana Chrzciciela, pustynia jest miejscem przygotowania do późniejszej działalności i obszarem służącym przezwyciężeniu pokus szatana. W miejscach ustronnych Chrystus modlił się, podobnie czynili później Apostołowie.

W Kościele katolickim pustelnicy pojawili się od samego początku jego istnienia. Eremici pragnęli upodobnić się do Chrystusa nie przez przelanie krwi (tzw. czerwone męczeństwo), ale poprzez ascezę (tzw. białe męczeństwo). Szczególnie dużo pustelników pojawiło się na przełomie wieku III/IV. Przebywali głównie na obszarach Egiptu i Azji Mniejszej. Klasycznym wzorem pustelnika był św. Antoni Egipcjanin, a jego biografia spisana przez św. Atana, służyła jako wzór dla wielu pokoleń pustelników. Ludzie szukali eremitów, by prosić ich o radę, pomoc i modlitwę. Czasem pozostawali z nimi do końca życia tworząc wspólnoty eremickie. Do najsłynniejszych należały: pustelnia św. Pachomiusza w Górnym Egipcie, św. Hilariona z Gazy na Wschodzie, św. Eustachego w Azji Mniejszej i św. Bazylego w Poncie, którą założył wraz ze św. Grzegorzem z Nazjanzu.

Również wielu wybitnych biskupów, teologów i myślicieli łączyło aktywną pracę z życiem pustelniczym Należał do nich św. Hieronim (zm. 420 r.) doradca papieży, pisarz, tłumacz Pisma świętego z języka hebrajskiego na łacinę. Ideał ten bliski był również św. Augustynowi (zm. 430 r.), duszpasterzowi i pisarzowi uznanemu później za Doktora Kościoła, który wypowiedział znamienne słowa: "nigdy nie jestem mniej sam niż gdy jestem sam". Ideał życia pustelniczego odnowił wreszcie św. Romuald - założyciel kamedułów.