現在提到謝賢很多年輕人會很陌生，畢竟他是六七十年代的明星，而很多80後都沒看過他的作品，反而是對他兒子謝霆鋒非常了解，但要是說到他的感情世界，似乎又很熟悉，畢竟謝霆鋒找了年長王菲，他則找個相差近50歲COCO，上演了一段爺孫戀。
謝賢年輕的時候，可謂就是風流浪子，他在與狄波拉結婚前，就有過一段婚姻，而狄波拉也比他小15歲，當時他租住在狄波拉的房子，慢慢兩人就乾柴烈火了，因為謝賢與前妻在一起四年無兒無女，一直盛傳他不育，不過狄波拉還是嫁給他，並連著為他生下謝霆鋒與謝婷婷。
兩人的婚姻看似幸福，其實卻波濤洶湧，謝賢是風流浪子，狄波拉也不是省油的燈，婚後還曾與賭王何鴻燊傳出緋聞，反倒是謝賢忍了，不過就算事情過去了，兩個個性鮮明的人在一起還是不和的，最終在在1995年兩人離婚。
離婚後謝賢曾一度消沉，也沒有什麼花邊新聞，直到進入老年以後，反而不改風流本性，在酒吧結識了小他近50歲小女孩COCO，這無疑超出了老少戀的範疇，已經是標準的「爺孫戀」，不過兩人倒是十分相愛，已經在一起十多年了，感情依舊很穩定。
謝賢很疼小女友的，不管做什麼都帶著她，甚至包括家庭聚會，也讓謝霆鋒來認識這個未來的「小媽」，曾有人質疑謝賢的身體，謝賢也回答過：「稱沒有娛樂怎麼可能在一起這麼多年。」，而至於結婚，謝賢則表示不想連累她，畢竟年紀大了，不能百年之後還連累她。
不過兩人讓人最讓人不解的就是，COCO年輕靚麗，身材性感充滿活力，怎麼就會看上已經是爺爺輩的謝賢呢？很多人說她是為了錢，謝賢也卻是很富裕，但在香港算不上太富，有人說為了名？但謝賢早已過氣，不可能給她任何幫助，COCO到現在都沒有什麼作品。
當然不排除為了錢，其實最重要的還是謝賢本身，別看謝賢年紀大了，卻依舊風流瀟灑，所有年輕人喜歡的他都喜歡，還經常流連酒吧、夜店，而且打扮也很年輕，萬年不變的帶著墨鏡，看上去特別帥氣，想必與這也是有關係的。
然而謝賢為什麼要帶墨鏡呢？他在節目中曾說過：「年輕的時候，有老師說我眼睛裡有桃花，我戴墨鏡就是把艷遇遮起來，並不是眼睛有什麼眼疾，見不得人。」，不過等他摘下墨鏡，他隱藏多年的秘密暴露了，其實是為了遮擋皺紋，摘下墨鏡突然就老態盡顯。
不過謝賢年紀大了，脾氣卻依舊沒有改變，依舊是十分火爆，他曾在《四個小生去旅行》的新聞發布會上掌摑曾江，要知道這一年他79歲了，曾江比他還大一歲，由此可見謝賢的脾氣依舊沒變，不過還好有人檔著，不然後或不堪設想。
至於謝賢動手的原因是因為，曾江在節目紅一直稱自己有病行動不便，一直坐著輪椅錄製節目，謝賢則不信他有病，而是覺得他在偷懶，有一種被愚弄的感覺。其實在節目中他就警告過曾江，他在路過一個教堂時，曾進去祈禱讓曾江的腿快點好，曾江則沒什麼反應。
謝賢的性格多年來從未改變，就包括在兒媳婦的人選上也是一樣，謝霆鋒的媽媽狄波拉一直看不上張柏芝，而謝賢則不同，謝賢一直很疼張柏芝的，而且並不看好兒子現在的女友王菲，曾經的夫妻，現在依舊是針尖對麥芒。
由於謝賢對王菲的態度，讓兒子謝霆鋒很難做，曾經為了討好父親，謝霆鋒在父親節時送上價值8000萬的樓，十分希望謝賢可以認下王菲這個兒媳，不過謝賢對此並不領情，他曾對媒體說：「我當然很開心了，要說送現金就更好了。」
為什麼謝霆鋒花費8000萬，依舊未能改變謝賢的看法呢？主要是張柏芝對他太尊重，張柏芝與謝霆鋒是先斬後奏，先領證後通知家中，本來謝賢也很生氣，但兩人領完證回來後，張柏芝進門後，馬上跪地給公公敬茶，這讓他很感動就認可她了。
張柏芝還是表示，婚後一定會對公公和婆婆好，依舊讓謝賢很感動，因此謝賢是很疼張柏芝的。當然還有另一個重要的原因，就是為了兩個孫子，謝賢對家人以外的人，確實很不友好，但不論是對謝霆鋒還是謝婷婷，都十分不錯，更何況隔輩親的孫子，現在依舊會常去看孫子。
其實很多人不知道的是，謝霆鋒是謝賢一手帶大並捧紅的，就連進入英皇的合約，都是謝賢出面跟楊受成談的，因此在謝霆鋒心中還是很尊重父親的，只是不知道以後會如何選擇，是與王菲重溫舊夢，還是與張柏芝重歸於好給孩子一個完整的家。