桑提亞哥是古巴的一個老漁夫，他年輕時非常出色，強健有力，他曾經和一個黑人比賽掰腕子，比了一天一夜，最後終于戰勝了對手。到了晚年，他的經歷和反應都不如從前，老婆死後，他一個人孤獨地住在海邊簡陋的小茅棚裏。
有一段時間，老漁夫獨自乘小船打魚，他接連打了84天，但一條魚也沒有捕到。本來一個叫曼諾林的男孩子總是跟他在一起，可是日子一久曼諾林的父母認為老頭悖運，吩咐孩子搭另一條船出海，果然第一個星期就捕到三條好魚。孩子每次見到老頭每天空船而歸，心裏非常難受，總要幫他拿拿東西。
桑提亞哥瘦削憔悴，後頸滿是皺紋，臉上長著疙瘩，但他的雙眼象海水一樣湛藍，毫無沮喪之色。他和孩子是忘年交。老頭教會孩子捕魚，因為孩子很愛他。村裏很多打魚的人都因為老頭捉不到魚拿他開玩笑，但是在曼諾林的眼裏，老頭是最好的漁夫。他們打漁不但是為了掙錢，而是把它看作共同愛好的事業。孩子為老頭準備飯菜，跟他一起評論壘球賽。老頭特別崇拜壘球好手狄馬吉奧。他是漁民的兒子，腳跟上雖長有骨剌，但打起球來生龍活虎。老頭認變自己已經年邁，體力不比壯年，但他懂得許多捕魚的訣竅，而且決心很大，因此他仍是個好漁夫。
老人和孩子相約第二天，也就是第85天一早一起出海。半夜醒後他踏著月光去叫醒孩子，兩人分乘兩條船，出港後各自駛向自己選擇的海面。
天還沒有亮，老頭已經放下魚餌。魚餌的肚子裏包著魚鉤的把子，魚鉤的突出部分都裹著新鮮的沙丁魚。魚餌香氣四溢，味道鮮美。
正當桑提亞哥目不轉睛地望著釣絲的時候，他看見露出水面的一根綠色竿子急遽地附入水中。他用右手的大拇指和食指輕輕捏著釣絲。接著釣絲又動了一下，拉力不猛。老頭明白，一百英尋之下的海水深處，一條馬林魚正在吃魚釣上的沙丁魚。他感覺到下面輕輕的扯動，非常高興。過了一會兒他覺得有一件硬梆梆、沉甸甸的東西，他斷定這是一條大魚。這激起他要向它挑戰的決心。
老人先松開釣絲，然後大喝一聲，用盡全身的力氣收攏釣絲，但魚並不肯輕易屈服，非但沒有上來一英寸，反而慢慢遊開去。老頭把釣絲背在脊梁上增加對抗馬林魚的拉力，可是作用不大，他眼睜睜地看著小船向西北方飄去。老頭想魚這樣用力過猛很快就會死的，但四個小時後，魚依然拖著小船向浩渺無邊的海面遊去，老頭也照舊毫不松勁地拉住背在脊梁上的釣絲。他們對抗著。
這時，老人回頭望去，陸地已從他的視線中消失。太陽西墜，繁星滿天。老人根據對星的觀察作出判斷：那條大魚整夜都沒有改變方向，夜裏天氣冷了，老頭的汗水幹了，他覺得渾身上冷冰凍的。他把一個麻袋墊在肩膀上的釣絲下面減少摩擦，再彎腰靠在船頭上，他就感到舒服多了。為了能堅持下去，他不斷的和魚、鳥、大海對話，不斷的回憶往事，並想到了曼諾林，他大聲地自言自語：“要是孩子在這兒多好啊，好讓他幫幫我，再瞧瞧這一切。”
破曉前天很冷，老頭抵著木頭取暖。他想魚能支持多久我也能支持多久。他用溫柔的語調大聲說：“魚啊，隻要我不死就要同你周旋到底。”太陽升起後，老頭發覺魚還沒有疲倦，隻是釣絲的斜度顯示魚可能要跳起來，這正是他求之不得的事。他說：“魚啊，我愛你，而且十分尊敬你。可是今天天黑以前我一定要把你弄死。”魚開始不安分了，它突然把小船扯得晃蕩了一下。老頭用右手去摸釣絲，發現那隻手正在流血。過了一會他的左手又抽起筋來，但他仍竭力堅持。他吃了幾片鮪魚肉好增加點力氣來對付那條大魚。