יחד עם אחיו, קרל (שבעתיד יהיה ידוע כקרל הגדול), קרלומן נמשח למלך על ידי האפיפיור סטפנוס השני ב-754. אחרי מותו של פפין ב-768, קרלומן וקרל חילקו את הממלכה ביניהם, כאשר קרלומן מלך בחלק המזרחי, אוסטרזיה. בין האחים שרר מתח ניכר, וייתכן שזו הייתה הסיבה לכך, שאחרי מותו של קרלומן, אשתו גרברז' ברחה עם בניו לארמונו של דסידריוס, המלך האחרון של הממלכה הלומברדית. בגלל שחלק מהמקורות מציינים כי דסידריוס היה בכלל אביה של גרברז', קשה לשפוט את טיב המתח בין האחים. סיפורים אחרים טוענים כי קרל הגדול נדהם מבריחתה של גרברז' ולא הבין למה עשתה זאת. בעת מותו של קרלומן, ממלכתו סופחה לזו של אחיו, שחילק חלקים ממנה לבניו.
