La mezquita subterránea se encuentra a cierta distancia de la necrópolis, al noreste de la misma. La mezquita Sultan-Epe está excavada en la mayor parte de la roca caliza. La mezquita está situada en la parte más meridional de la costa norte del mar. En 2003, los especialistas de la Reserva Nacional Histórica y Cultural de Mangystau llevaron a cabo investigaciones arqueológicas bajo la dirección de A. Astafyev y M. Kalmenov. La mezquita subterránea consta de 9 salas. La sala de entrada termina en una especie de escaleras muy empinadas hechas con losas de piedra tosca de diferentes tamaños. La escalera desciende a un pequeño vestíbulo con techo alto y claraboya. Los muros están construidos en piedra. Dentro de la habitación hay una escalera alta. La sala es rectangular y las paredes tienen hasta 3 m de altura. En la pared norte del salón también hay una abertura de luz que conduce a una habitación estrecha. Especial atención merece el cañón Sultan-Epe y el pozo. El cañón Sultan-Epe se encuentra en la costa norte de la península de Tupkaragan, cerca del golfo de Sarytas, que se extiende a 5 km del mar. Es un lugar muy hermoso. El cañón Sultan-Epe alberga una gran cantidad de flora y fauna diferentes que no encontrará en ningún otro lugar de la región.
Sultan-Epe era hijo del famoso poeta místico de Asia Central Khakim-Ata (Suleiman Bakyrgani), discípulo de Ahmad Yassawi, y Ambar-Ana. Según la leyenda, Sultan-Epe es el patrón de los pescadores y de los que se ahogan. Hizo muchos milagros. Por ejemplo, trasladó la Kaaba a Bakyrgan (Khorezm) para su padre, revivió milagrosamente a los toros sacrificados, etc. Sin embargo, Khakim-Ata trataba las actividades de su sol con celos y desconfianza. En respuesta, Sultan-Epe se despidió de su padre y de su madre y se volvió invisible. Al enterarse de esto, Khodja Ahmed Yassawi castigó a Khakim-Ata con una bendición inversa: supuestamente, por orden suya, Amu Darya fluyó sobre la tumba de este último durante cuarenta años y la ciudad de Bakyrhan fue destruida. Aproximadamente cien años después de la desaparición de Sultan-Epe, los nogais estaban migrando a Mangistau. Entre los nómadas nogais había un mullah que enseñaba a los niños a leer y escribir. Entre sus alumnos había un niño débil y cojo llamado Heyrulla. Todos los días lo golpeaban: en la escuela, el mulá y en casa, sus padres. Los camaradas se burlaban de él y siempre lo insultaban. En resumen, su vida fue dura.
