הרייס הצטרפו לליגה ב-1998 לאחר ששלוש שנים קודם לכן זכו בעלי הקבוצה בזכיינות. עד 2007 נקראה הקבוצה טמפה ביי דביל רייס בהתאם לכינוי הנפוץ לדג מנטה ריי, בטרם שמה קוצר לזה הנוכחי.
מאז הקמת הקבוצה ועד עונת 2008 לא זכו הרייס להצלחה גדולה, הקבוצה הייתה אחת מארבע הקבוצות הבודדות שמעולם לא העפילו לוורלד סיריס והיחידה שאפילו לא הצליחה להעפיל לפלייאוף. למעשה, מלבד שנת 2004 בכל שאר העונות הקבוצה סיימה במקום האחרון בבית שלה, בו היא מתחרה בשתיים מהקבוצות העשירות ביותר ב-MLB, הבוסטון רד סוקס והניו יורק יאנקיז. לאחר שסיימה את עונת 2007 עם המאזן הגרוע בליגה, הצליחה הקבוצה ב-2008 לזכות בראשות הבית ולהעפיל לראשונה בתולדותיה לפלייאוף ולוורלד סיריס. ב-2020 העפילה הקבוצה שוב לוורלד סיריס אך הפסידה 2–4 לקבוצת לוס אנג'לס דודג'רס.