בשנת 2013נבחר לכהן כחבר מועצת העיר ירושלים. במאי 2014, עם השעייתו של אליעזר שמחיוף (בשל הרשעה בפרשת הולילנד), מונה כהן במקומו כראש סיעת ש"ס בעיריית ירושלים כמו כן כהן הוא סגן ראש העירייה ומחזיק תיק מנח"ח (מינהל החינוך החרדי).[5] בבחירות 2018 לעיריית ירושלים הוצב כהן בראש רשימת ש"ס למועצת העיר.[6] לאחר הבחירות החל לשמש כסגן ומ"מ ראש העיר, מחזיק תיק הכספים ואחראי על המינהלים הקהילתיים החרדים. גם בבחירות 2023, שנדחו בהמשך ל-2024, הוצב בראשות רשימת ש"ס למועצה.