큰 바위는 '아버지바위'이고 작은 바위는 '아들바위'라 하며
둘 다 머리에 삿갓을 쓴 형태이다.

목포는 1897년에야 일본인들이 한국침략의 서남거점으로 개항해
오늘날처럼 도시로 발전했다. 그 전에는 영산강하구를 지키는
보잘 것 없는 나루로 조그만 마을이 있었을 뿐이다.

이 갯마을에 어머니를 일찍 여의고 병든 아버지를 모신
가난한 소금장수 청년이 살고 있었다.
그는 포구에 실려 오는 소금을 받아 인접마을에 팔아서 끼니를 이어갔다.
가난하여 약 한 첩 제대로 쓸 수 없었던 청년의 아버지는
날로 병환이 악화되어 갔다. 청년은 안타깝기만 했다.
그는 스스로 큰 결심을 했다.
이번에는 아버지 약값을 충분히 벌어야 집에 돌아온다고 다짐했다.
힘에 겹도록 소금 짐을 짊어지고 떠났다.
그러나 딱하게도 소금을 사려는 사람이 없었다.

빈손으로 집에 돌아갈 수 없었던 청년은 날품이라도 팔아야겠다고 생각하고
부유해 보이는 길갓집을 찾아 들었다.
그 집주인은 소문난 구두쇠로 한 달 동안을 일하고 품삯을 달라는 청년에게,
'그동안 먹여준 밥값도 못한 주제에 품삯은 무슨 놈의 품삯이냐' 며 쫓아버렸다.
아버지 약값을 구하지 못하면 돌아가지 않겠다고 다짐한터라
길거리에 주저앉아 신세한탄만 하고 있었다.
그 마을을 지난 던 도승이 청년을 보고 무슨 걱정거리가 있기에
그리 한숨을 쉬느냐고 물었다. 청년은 자초지종 그의 처지를 말했다.
얘기를 들은 도승은 크게 낯 색이 변하며 청년을 꾸짖었다.
'청년은 한가지만 생각했지 깊은 생각이 부족했네,
자네가 약값을 마련하겠다고 타향을 전전하고 있는 동안 병든 아버지는
누가 돌보았겠으며 그동안에 죽었다면
애써 약값을 마련했다 한들 무슨 소용 있겠나'
그때서야 병든 아버지를 생각한 청년은 부랴부랴 집으로 달려갔다.
그러나 그의 아버지는 돌보는 이 없이 싸늘한 시체가 되어 있었다.

청년은 그의 어리석음이 한없이 후회스러웠다.
이승에서 편히 지내지 못한 아버지이지만 저승에서나 편히 쉬게 하는 것이
그의 도리라 생각하고 관을 메고 명당을 찾아 나섰다.
갓바위는 예부터 말 형국으로 명당이 있고 안장터가 있다는 얘기가 전해온다.
산을 헤매던 청년은 지금의 갓바위 곁에서 앞을 바라보니 시원하기가 그지없고
양지바르므로 이 곳에 묘를 쓰기로 마음을 먹었다.
관을 바닷가에 놓고 묘를 파던 청년은
그만 실수를 저질러 곁에 둔 관을 건드렸던지
관이 데굴데굴 굴러 바닷속으로 첨벙 빠지고 말았다.
넋을 잃은 청년은 행여 관이 떠오르지 않을까 기다렸으나 영영 떠오르지 않았다.
바다를 내려다보면서 엉엉 울던 청년은 하늘을 쳐다볼 수 없는 놈이라며
바다로 뛰어들어 자살하고 말았다.
이 일이 있은 뒤로 이 곳에 아버지바위와 아들바위가 솟아오르고,
아들은 죄진 몸이라 하늘을 대할 수 없어 삿갓을 쓰고 있었다.
이 삿갓은 넓이가 6 m가량이고 한쪽 깃이 2m가량이나 된다.
청년이 아버지를 모시기 위해 팠다는 바위의 윗부분은
바위가 널리 깔린 탓인지 풀이 자라지 않고 있지만 사람들은 청년이
파헤쳐 놓았기 때문이라고 말한다.

부근에는 이 바위를 중바위라 부르는 이도 있다.
아라한과 부처님이 영산강을 건너 이곳을 지날 때
쉬던 자리에 쓰고 있던 삿갓을 놓고 간 것이 갓바위가 되었다고도 주장한다.
지금 이곳은 이씨 집안의 선산이 되어 여러 개의 묘가 들어서 있다.