ஒரு முறை சுந்தரமூர்த்தி சுவாமிகள், விருதுநகரில் உள்ள திருமேனிநாதரை வழிபட்டு இந்த வழியாக வந்தார். அப்போது சொர்ணகாளீஸ்வரரை வணங்க நினைத்தார். ஆனால் வழி எங்கும் சிவலிங்கமாக தென்பட்டதால் அவரால் உள்ளே சென்று இறைவனை தரிசிக்க முடியவில்லை. இதனால் இறைவனை நினைத்து வேண்டினார். தன் நண்பன் மீது இரக்கம் கொண்ட ஈசன், காளையை அனுப்பினார். அது ஆலயத்தில் இருந்து ஓடி வந்து, சுந்தரமூர்த்தி நின்றிருந்த இடம் வரை வந்து விட்டு, மீண்டும் ஆலயம் சென்றது. காளை வந்த வழித்தடத்தில் சிவலிங்கம் இல்லை என்பதை உணர்ந்த சுந்தரமூர்த்தி சுவாமிகள், அதன்வழியே சென்று இறைவனை தரிசித்தார். காளை வழிகாட்டியதால், இதற்கு ‘காளையார்கோவில்’ என்று பெயர் வந்தது.