永初三年(四二二)七月，謝靈運出為永嘉太守。在從都城建康去永嘉上任的途中，他經過自己的莊園始寧墅(今浙江省上虞縣)，又游歷了富春渚和七里瀨等處。這首詩就是這期間寫的。

詩的開頭寫秋晨游眺之所見，面對著流逝的江水、陡峭的山崖，詩人充滿了羈旅之思。接著又通過對隱居垂釣生活的向往，表達了自己在政治上遭受打擊之后的憤懣情緒。

－－－－－－－－鄧魁英、韓兆琦等《漢魏南北朝詩選注》

開頭四句語言頗艱澀費解。第一句，“羈心”指一個被迫遠游為宦的人滿肚皮不情愿的心情。這句意思說在秋天的早晨自己郁積著一種不愉快的羈旅者的心情。接下來第二句說，既然一清早心情就不愉快，那么爽性盡情地眺覽沿途的景物吧。第三、四兩句似互文見義，實略有差別。“逝湍”指湍急而流逝的江水，則“孤客”當為舟行之客；而“徒旅”雖與“孤客”為對文，乃指徒步行走的人，則當為陸行之客，故下接“苦奔峭”三字。夫舟行于逝湍之中，自然提心吊膽；但其中也暗用“逝川”的典故。《論語·子罕》：“子在川上曰：‘逝者如斯夫，不舍晝夜！’”因知此句的“傷”字義含雙關，既傷江上行舟之艱險，又傷歲月流逝之匆遽，與下文“遭物悼遷斥”句正相呼應。第四句，江岸為水勢沖激，時有崩頹之處，徒步旅行的人走在這樣的路上自然感到很苦。不過從上下文觀之，這句畢竟是陪襯，重點還在“傷逝湍”的“孤客”，也就是作者本人。所以“孤客”、“徒旅”是以個別與一般相對舉，似泛指而并非全是泛指。

第二節的四句全是景語。這中間也有跳躍。開頭明寫秋晨，下文卻來寫“秋晚”，而用“日落山照曜”一句來代表。這種濃縮的手法是我國古典詩歌的特點之一，而謝靈運的詩在這方面顯得尤為突出。但是緩是急，仍須研究。漢武帝《瓠子歌》（見《史記·河渠書》引）：“河湯湯兮激潺諼。”可見當訓水流急貌。何況“石淺”則水勢自急，必非緩流可知。此四句“石淺”句寫水，寫動態，“日落”句寫山，寫靜態；水為近景，色澤清而淺；山為遠景，色澤明而麗。“荒林”句寫目之所見，“哀禽”句寫耳之所聞。全詩景語，僅此四句，起到承上啟下的作用，照理講它們并非主要內容。只是若把這四句刪掉，此詩即無詩味可言。可見情由景生，原是寫詩要訣。

第三節從寫景轉入抒情，卻兼有議論。“遷斥”有兩層意思，一是主觀上指自己被出為郡守，無異于受遷謫和貶斥，二是客觀上感到節序遷改推移，時不待人。這二者都是值得傷悼的。但只要存有希望，就可以領悟精微玄妙的道理，不致因外來的干擾影響自己的情緒了。然而這種悟道的境界，只有太古時代的圣君賢哲才能心領神會，處于衰亂末代的人是無法理解的。所以作者說，“我既已持有上古時代的圣賢的一顆心，哪里還在乎當今世人的譏誚呢！”從這里，看得出作者同劉宋王朝的統治階級是互相對立的，這是豪門世族與軍閥新貴之間必然存在的矛盾。最后矛盾激化，謝靈運終于以謀反罪被殺害。從歷史主義的觀點來分析，這是絲毫不足為怪的。

最后一節，作者借古人以明志。“嚴子”和“任公”這是兩種不同類型的古人。嚴光是避世的隱者，而任公則象征著具有經世大才的非凡之輩。作者意思說自己縱有經天緯地之才，由于不合時宜，寧可做個隱士。結尾兩句，作者明確表示：即使不同時代的人也可以志趣相投，步調一致。言外隱指：本人知音寥落，當世的人對自己并不了解。從而可以推斷，上文作者所傷悼的具體內容到底是什么了。