二年级时，他被任命为曼哈顿男子高尔夫球队的队长，在接下来的三年里，他都没有放弃这个头衔。费舍尔以68杆的成绩创造了学校纪录，直到2009年才打破。在大一的时候，费舍尔打出了81杆，尽管在下雪的球场上打球，这帮助贾斯珀队在西点军校战胜了陆军队。1972-73赛季，费舍尔在对阵西顿霍尔的比赛中以81杆的成绩获得奖牌，同年晚些时候，他在对阵哥伦比亚大学、康奈尔大学和陆军的比赛中打出78杆。大四时，他在ECAC锦标赛上打出了最低的80分，在大都会高尔夫协会锦标赛上打出了最低的成绩。他连续第三年被评为曼哈顿高尔夫球队的“最杰出球员”。费舍尔还被评为美国优秀大学运动员三年，并在1972-1974年成为院长名单的成员。