בשנת 1995 חתם בקבוצת בית"ר ירושלים. בעונתו הראשונה בקבוצה סיימה בית"ר במקום השלישי בליגה הבכירה, ובעונה לאחר מכן זכתה בית"ר באליפות השלישית שלה, בעקבות הזכייה גילח אלי כהן את שפמו[1].
לקראת עונת 1997/1998 עבר כהן להפועל תל אביב. בעונתו הראשונה סיימה הקבוצה במקום השני, לאחר מאבק עיקש על תואר האליפות עם בית"ר ירושלים, אשר נודע בשל משחק השרוכים. בעונה העוקבת זכה כהן בגביע המדינה עם הפועל תל אביב, לאחר ניצחון בפנדלים על בית"ר ירושלים בגמר הגביע.
לקראת עונת 1999/2000 עבר למכבי חיפה. במהלך העונה נקלע לוויכוח עם כוכב הקבוצה, יוסי בניון, אשר סירב להתחלף במשחק גביע המדינה נגד הפועל חיפה, בניגוד להוראות המאמן. שבעה מחזורים לסיום העונה פוטר כהן מתפקידו.
לקראת עונת 2006/2007 מונה למאמן מכבי תל אביב במקומו של טון קאנן. כהן עזר להרכיב את הקבוצה מחדש משברי עונת "הגלאקטיקוס", שבה הקבוצה סיימה במקום השישי על אף החתמתם המתוקשרת של אבי נמני, אייל ברקוביץ' וג'ובאני רוסו. במהלך העונה רשמה הקבוצה משחקים רצופים ללא הפסד, סיימה את העונה במקום השלישי והעפילה לגביע אופ"א. בעונה העוקבת, לאחר שני הפסדים באירופה בשלושה משחקים, ונקודת ליגה בודדת בשני משחקים, נפרדו דרכיהם של כהן ומכבי תל אביב.
בדצמבר 2007 מונה כהן למאמן בני יהודה תל אביב, לאחר שמאמנה ניצן שירזי התפטר. כהן עצמו התפטר בהתחלת הסיבוב השלישי בגלל ההפסדים הרבים של הקבוצה.
ב-11 בדצמבר2008, לאחר המחזור ה-13 בליגת העל, מונה כהן למאמן עירוני קריית שמונה במקומו של מישל דיין שפוטר. כהן לא הצליח להוביל את הקבוצה לניצחונות וב-11 באפריל, לאחר הפסד להכח רמת גן שבעטיו ירדה הקבוצה למקום האחרון בליגה, הוא התפטר מתפקידו.
ב-13 בפברואר2012 חזר כהן לקדנציה שלישית בבית"ר ירושלים, במקומו של יובל נעים שהתפטר מתפקידו לאחר שהקבוצה התדרדרה לתחתית הטבלה. כהן הוביל את הקבוצה לרצף ניצחונות והשאיר את הקבוצה בליגה. ביוני 2013 סיים את תפקידו בקבוצה.
ב-3 בספטמבר2017 חזר כהן לקדנציה הרביעית בבית"ר ירושלים, אך הפעם בתור יועץ מקצועי[3]. לאחר עשרה ימים התפטר בעקבות ראיון שבו אמר שלא יביא שחקן ערבי לקבוצה[4][5].
ב-2 ביולי 2020 מונה למנג'ר של קבוצת עירוני מודיעין מליגה ב'[6].