1290-ből származik az az oklevél, ahol először említik Harasztit. Ez a község is egyike azoknak a Herencsény-közeli falvaknak, amelyek a török hódoltság évei alatt pusztultak el. 

A Török templomon látható építészeti elemek alapján a gótikus stílusú templomot valamikor a XIV. században építették.

A XVIII. században dongaboltozattal állították helyre, ameddig a Prónay család tulajdonában volt, valószínűleg az evangélikusok használták. 1799-ben Herencsény római katolikus filiája volt, 1854-től pedig magtárként funkcionált.

1967-ben ásatásokat végeztek a templom környékén, amelyek során fehér agyagedényeket találtak, amik a XVI-XVII. század fordulóján kerülhettek a földbe. A templomtól nem messze emberi csontvázakra bukkantak, ami arra utal, hogy valamikor egy temető volt itt. A szentély alatt egy két méter mély gabonavermet tártak fel. Erről már korabeli források is említést tesznek, amelyek szerint a kurucok ideje alatt tárolták itt a gabonájukat a falu lakói.

Az 1990-es években felújított épületet ma kápolnaként használják. A herencsényiek "török templomnak", "evangélikus templomnak" vagy "kismagtárnak" nevezik az épületet.

A török templomhoz fűződik egy érdekes legenda is. Eszerint a templomot szerették volna eldugni az éppen Haraszti felé tartó ellenség elől. A legbiztonságosabb rejtekhelynek a közelben lévő kutat találták, úgyhogy ide rejtették a templomot, ami itt is volt évszázadokon át. A helyi öregek időnként emlegették a harangokat, mígnem az akkori földbirtokos elhatározta, hogy kiszedi a kútból a nevezetes harangokat. Nyolc pár ökröt, és számos lovat hozott, így próbálta kihúzni a templomot. Egy idő után már úgy látszott, hogy erőfeszítéseik sikerrel járnak, amikor az állatok nekifeszültek, már látták a harangokat. Ekkor azonban a földesúr a még nagyobb igyekezetre biztatva embereit és állatait, elkáromkodta magát. Ennek hatására a harangok ismét lezuhantak a mélybe, hogy soha többé ne lássa őket senki. A helyiek azt mondják, hogy hét évente tisztulnak a harangok, és ilyenkor lángot vetnek. Herencsény idős lakosai még emlékeznek rá, hogy hol volt ez a bizonyos kút. Mesélik, hogy gyakorta ittak a kővel kirakott kút friss vizéből, mára azonban ennek a helye sem látszik.