劉遵義教授於史丹福大學取得物理學理學士學位(優異成績)，並先後於加州大學柏克萊分校取得經濟學文學碩士及哲學博士學位。他自1966年起任教於史丹福大學經濟系，1976年晉升為正教授，1992年出任該系李國鼎經濟發展講座教授。

劉教授於2006年自史丹福大學退休並出任李國鼎經濟發展榮休講座教授後，於2004年至2010年間擔任香港中文大學校長，2010年至2014年間擔任中投國際(香港)有限公司董事長，並自2007年至今兼任香港中文大學藍饒富暨藍凱麗經濟學講座教授。

劉教授現為計量經濟學會院士、台北中央研究院院士、中國社會科學院名譽高級研究員。劉教授現任香港外匯基金諮詢委員會轄下貨幣發行委員會委員、香港中文大學(深圳)高等金融研究院理事會理事長、團結香港基金副主席與臺北蔣經國國際學術交流基金會董事會成員。