Die unterirdische Moschee befindet sich in einiger Entfernung von der Nekropole im Nordosten. Die Sultan-Epe-Moschee ist in den Kalksteinfelsen gehauen. Die Moschee befindet sich im südlichsten Teil der Nordküste des Meeres. Im Jahr 2003 wurden archäologische Untersuchungen von Spezialisten des Nationalen Historischen und Kulturellen Reservats Mangystau unter der Leitung von A. Astafyev und M. Kalmenov durchgeführt. Die unterirdische Moschee besteht aus 9 Räumen. Der Eingangsraum endet in einer Art sehr steiler Treppe aus groben Steinplatten unterschiedlicher Größe. Die Treppe führt in eine kleine Halle mit hohem Dach und Oberlicht hinab. Die Wände sind aus Stein gebaut. Im Inneren des Raumes befindet sich eine hohe Treppe. Die Halle ist rechteckig und die Wände sind bis zu 3 m hoch. An der Nordwand der Halle befindet sich auch eine Lichtöffnung, die zu einem schmalen Raum führt. Besondere Aufmerksamkeit verdienen die Sultan-Epe-Schlucht und der Brunnen. Die Sultan-Epe-Schlucht befindet sich an der Nordküste der Halbinsel Tupkaragan, in der Nähe des Golfs von Sarytas, der sich 5 km vom Meer entfernt erstreckt. Es ist ein sehr schöner Ort. Die Sultan-Epe-Schlucht bietet eine Fülle unterschiedlicher Flora und Fauna, die Sie anderswo in der Region nicht finden werden.
Sultan-Epe war der Sohn des berühmten zentralasiatischen mystischen Dichters Khakim-Ata (Suleiman Bakyrgani), eines Schülers von Ahmad Yassawi, und Ambar-Ana. Der Legende nach ist Sultan-Epe der Schutzpatron der Ertrinkenden und Fischer. Er vollbrachte viele Wunder. So ließ er zum Beispiel für seinen Vater die Kaaba nach Bakyrgan (Khoresm) bringen, ließ geschlachtete Stiere auf wundersame Weise wieder auferstehen usw. Chakim-Ata begegnete den Aktivitäten seines Sohnes jedoch mit Eifersucht und Misstrauen. Daraufhin verabschiedete sich Sultan-Epe von seinem Vater und seiner Mutter und wurde unsichtbar. Als Khodja Ahmed Yassawi davon erfuhr, bestrafte er Chakim-Ata mit einem umgekehrten Segen: Angeblich floss auf seinen Befehl hin vierzig Jahre lang der Amu Darya über dessen Grab und die Stadt Bakyrgan wurde zerstört. Etwa hundert Jahre nach Sultan-Epes Verschwinden wanderten die Nogais nach Mangistau aus. Unter den nomadischen Nogais gab es einen Mullah, der Kindern Lesen und Schreiben beibrachte. Zu seinen Schülern gehörte ein schwacher und lahmer Junge namens Heyrulla. Jeden Tag wurde er geschlagen: in der Schule vom Mullah und zu Hause von seinen Eltern. Kameraden verspotteten ihn und beschimpften ihn ständig. Kurz gesagt, sein Leben war hart.