Поступив в Кембриджский университет, он начал изучать право. Примерно в это же время отец Грея умер, а состояние матери было невелико, правда, сам Грей мало заботился об этом. Его увлекала наука. Он выдержал экзамен на ученую степень по юридическим наукам и остался при университете. Поселившись в Кембридже среди ученых мужей, он с наслаждением отдался изучению истории и литературы, архитектуры и археологии. Будучи гуманитарием по своему складу ума, Грей ненавидел математику и точные науки. Он часами просиживал в библиотеке Кембриджа, разыскивая древние рукописи, изучая исторические источники, знакомясь с литературой разных народов.

Уединенная жизнь, которая украшалась только поездками в Лондон, где поэт бродил по Британскому музею, а также пережитые в детстве разочарования по семейному поводу навсегда отложили отпечаток грусти и меланхолии на характер Грея. В коллегии Святого Петра, где жил Грей, он считался чопорным и холодным человеком, поэтому над ним часто подшучивали. Одна такая шутка по поводу пожара в доме Грея заставила его спуститься с третьего этажа по веревке. Грей очень расстроился и переехал в Пэмброкскую коллегию. Это произошло в 1756 году, а через девять лет в 1765 году Грей предпринял поездку в Шотландию, где наслаждался красотами северной природы. Вернувшись домой, он снова погрузился в ученые занятия.

Как поэт, Грей стал известен в 1741 году, когда издал оду "Итонская школа". Затем, четыре года спустя, появилась его знаменитая "Элегия, написанная на сельском кладбище", которая прославила его. Это произведение, как, впрочем, и предыдущее, было характерным произведением сентиментализма. "Элегия" содержала размышления о равенстве всех людей перед лицом смерти. В стихах Грея сочеталась меланхоличность, идеализация ушедшей жизни, столь характерные для сентиментализма, со вниманием к преданиям старины и мифологии, отличающим ранних романтиков.

Изданные в 1757 году "Пиндарические оды" большого успеха не имели. Но несмотря на это, Грей пользовался такой популярностью, что ему предложили почетную должность поэта-лауреата, от которой он отказался. Через некоторое время он занял место профессора новейшей истории, которое принесло ему 400 фунтов годового дохода, что по меркам того времени эта сумма было очень большой. Одно из его исторических произведений "Барды" (1757) оказало влияние на развитие английского романтизма, открыв дорогу таким поэтам, как У. Вордсворт, С.Т. Кольридж, Р. Саути, Т. Мур.

Последние пять лет жизни Грей страдал наследственными приступами подагры, от которой он и умер 30 июля 1771 года. По высказанному ранее желанию его похоронили возле могилы матери недалеко от Итона.