ב-22 במאי2002 מונה כהן לראש מועצת רמת חובב כמינוי של שר הפניםאלי ישי[3]; תפקיד בו החזיק עד 2003. בספטמבר 2004 נבחר לראשות המועצה המקומית אלעד מטעם ש"ס, כשהוא גובר על ראש המועצה הקודם צוריאל קריספל. בנובמבר 2006 הוכרזה אלעד כעיר. לקראת הבחירות באלעד ב־2008 בחרה ש"ס להריץ את יצחק עידן לראשות העירייה במקום כהן.
בשנת 2013נבחר לכהן כחבר מועצת העיר ירושלים. במאי 2014, עם השעייתו של אליעזר שמחיוף (בשל הרשעה בפרשת הולילנד), מונה כהן במקומו כראש סיעת ש"ס בעיריית ירושלים כמו כן כהן הוא סגן ראש העירייה ומחזיק תיק מנח"ח (מינהל החינוך החרדי).[6] בבחירות 2018 לעיריית ירושלים הוצב כהן בראש רשימת ש"ס למועצת העיר.[7] לאחר הבחירות החל לשמש כסגן ומ"מ ראש העיר, מחזיק תיק הכספים ואחראי על המינהלים הקהילתיים החרדים. גם בבחירות 2023, שנדחו בהמשך ל-2024, הוצב בראשות רשימת ש"ס למועצה.