1892-ம் ஆண்டு டிசம்பர் மாதம் 25-ந்தேதி சுவாமி விவேகானந்தர் தமிழகம் வந்தபோது கன்னியாகுமரியில் கடலின் உள்ளே அமைந்திருந்த பாறை ஒன்றை கண்டு வியந்து போய் அங்கு செல்வதற்கு விரும்பினார். அவரை அந்த பாறைக்கு அழைத்து செல்ல யாருமே முன்வராததால் அவரே கடலை நீந்தி கடந்து அந்த பாறையை அடைந்தார். அதன் ரம்மியமும், அலை வந்து மோதிய பேரழகும் அவரை ஈர்க்க அங்கேயே 3 நாட்கள் தியானத்தில் அமர்ந்துவிட்டார். அவர் தியானித்த பாறை என்பதால் விவேகானந்தர் பாறை என்றே பின்னர் அழைக்கப்படுகிறது. 1972-ம் ஆண்டு விவேகானந்தரின் நினைவாக அந்த பாறையில் ஒரு நினைவு மண்டபம் கட்டப்பட்டது. அதனை அப்போதைய குடியரசு தலைவர் வி.வி.கிரி திறந்து வைத்தார்.
கடலின் நடுவில் அமைந்துள்ள விவேகானந்தர் பாறையின் மேல் அமைக்கப்பட்டுள்ள இந்த மண்டபத்தில் விவேகானந்தரின் முழு உருவ வெண்கல சிலையும், விவேகானந்தர் நினைவு மண்டபத்தின் பின்பகுதியில் மண்டபத்தின் கீழே ஒரு தியான மண்டபமும் அமைக்கப்பட்டிருக்கிறது. இது விவேகானந்த கேந்திரம் என்ற அமைப்பின் பராமரிப்பில் உள்ளது. இந்த நினைவு மண்டபம் அருகில் திருவள்ளுவரின் உயரமான சிலை பிரமாண்டமாக அமைக்கப்பட்டுள்ளது. தனது ஆன்மிக உரையால் அமெரிக்கர்களையும், உலக ஆன்மிகவாதிகளையும் ஈர்த்த விவேகானந்தரையே கவர்ந்த அந்தபாறை தமிழகத்தின் அர்த்தமுள்ள அதிசயம் என்றால் மிகையல்ல.