ביטוי רגולרי

במדעי המחשב, ביטוי רגולרי (באנגלית: Regular Expression או בקיצור regex) הוא מחרוזת (רצף של תווים) המתארת שפה רגולרית: קבוצת מחרוזות המקיימת כללי תחביר מסוימים.

בתורת השפות הפורמליות, ביטוי רגולרי הוא ביטוי שמסוגל לתאר אוסף של מילים (שפה) באמצעות שימוש בשלוש פעולות בסיסיות. חשיבותם של הביטויים הרגולריים נובעת מהקשר שלהם לשפות הרגולריות: כל שפה רגולרית (כלומר, המתקבלת על ידי מכונת מצבים סופית) ניתנת להצגה באמצעות ביטוי רגולרי, וכל ביטוי רגולרי מייצג שפה רגולרית (כלומר, ישנה שקילות בין השפות הרגולריות והביטויים הרגולריים).

לביטויים רגולריים שימושים רבים בשפות תכנות (בעיקר שפות סקריפטים ומעטפות פקודה, כגון perl, bash וכיוצא בזה). שימוש נפוץ בביטויים רגולריים הוא לחיפוש והחלפה של טקסטים, ועיבוד נתונים טקסטואליים. הפופולריות של הביטויים הרגולריים גברה בעקבות הפונקציונליות שלהם בפקודות ה-UNIX הנפוצות: grep ו-sed, אך כיום הם משמשים למגוון משימות מבוססות טקסט, לרבות יישומי רשת (XML, HTML), מסדי-נתונים (שפת SQL), ועוד.

הגדרה פורמלית

בהינתן אלפבית סופי $\ \Sigma$, ביטוי רגולרי מעל האלפבית מוגדר בצורה הרקורסיבית הבאה:

• $\ \emptyset$ (הקבוצה הריקה) היא ביטוי רגולרי, שמתאר את השפה $\ \emptyset$ (השפה הריקה).
• $\ \varepsilon$ (המילה הריקה) היא ביטוי רגולרי שמתאר את השפה $\ \left\{\varepsilon\right\}$ (השפה שמכילה רק את המילה הריקה).
• $\ a$, לכל $\ a\isin\Sigma$, הוא ביטוי רגולרי שמתאר את השפה $\ \left\{a\right\}$.

כמו כן, אם $\ R,S$ הם ביטויים רגולריים ו-$\ L\left[R\right],L\left[S\right]$ השפות המתאימות להם, אז:

• $\ \left(R+S\right)$ הוא ביטוי רגולרי המייצג את השפה $\ L\left[R\right]\cup L\left[S\right]$.
• $\ \left(R\cdot S\right)$ הוא ביטוי רגולרי המייצג את השפה $\ L\left[R\right]\cdot L\left[S\right]$. (כלומר, השפה שכל מילה בה מורכבת משני חלקים, שהראשון שבהם שייך ל-$\ L\left[R\right]$ והשני ל-$\ L\left[S\right]$).
• $\ \left(R^*\right)$ הוא ביטוי רגולרי המייצג את השפה $\ L\left[R\right]^*$ (כלומר, השפה שבה כל מילה מורכבת ממספר כלשהו - כולל 0 - של חלקים, וכל חלק שייך לשפה $\ L\left[R\right]$).

כדי לקצר את הכתיבה ולהמעיט ככל הניתן בשימוש בסוגריים, נהוגים כללי קדימויות. סדר הקדימויות מזכיר למדי את זה שנהוג באריתמטיקה:

1. סוגריים: $\ \left(,\right)$ - הפעולות שבתוך הסוגריים תמיד יתבצעו לפני הפעולות שמחוץ להן.
2. איטרציה: $\ r^*$. אופרטור הכוכב נקרא גם סגור קלין.
3. כפל: $\ r\cdot s$. כאשר אין חשש לבלבול משמיטים את סימן הכפל לחלוטין: $\ rs$.
4. חיבור: $\ r+s$.

דוגמאות

1. הביטוי הרגולרי $\ R=1^*0^*$ מסמל את השפה שבה יש מספר כלשהו של 1-ים ואחריו מספר כלשהו של 0-ים: $\ L\left[R\right]=\left\{1^m0^n|m,n\ge0\right\}$.
2. הביטוי הרגולרי $\ R=1\left(0+2\right)^*\left(1+\varepsilon\right)\left(0+2\right)^*$ מסמל את השפה שכל מילה בה מתחילה ב-1 ואחר כך כוללת רצף כלשהו של 0 ו-2, כאשר 1 יכול להופיע פעם אחת נוספת במילה.

הוכחת השקילות בין ביטויים רגולריים ושפות רגולריות

כאמור לעיל, כל ביטוי רגולרי מתאר שפה רגולרית, ולכל שפה רגולרית קיים ביטוי רגולרי המתאר אותה.

ביטוי רגולרי יוצר שפה רגולרית

ההוכחה היא באינדוקציה פשוטה. קל להראות שהשפה הריקה וכל שפה שמכילה מילה אחת היא רגולרית, וכן שהשפות הרגולריות סגורות תחת איחוד, שרשור ואיטרציה (סגור קלין). מכיוון שהשפה שיוצר כל ביטוי רגולרי מתקבלת על ידי ביצוע פעולות של איחוד, שרשור ואיטרציה על אבני בניין בסיסיות שהן השפה הריקה ושפות שמכילות רק מילה אחת, הטענה נובעת מיד.

לכל שפה רגולרית קיים ביטוי רגולרי

טענה זו מסובכת יותר להוכחה. בהינתן שפה רגולרית $\ L$ על פי ההגדרה קיים אוטומט סופי דטרמיניסטי $\ A$ המקבל אותה. הביטוי הרגולרי נבנה בהתבסס על האוטומט. לצורך נוחות מסמנים את קבוצת המצבים שלו במספרים הטבעיים: $\ Q=\left\{q_1,\dots,q_n\right\}$, כאשר $\ q_1$ הוא המצב ההתחלתי.

לצורך ההוכחה מוגדרות שפות עזר: $\ L_{ij}^k$ מוגדרת כשפת כל המילים שמעבירות את האוטומט מהמצב $\ q_i$ למצב $\ q_j$ מבלי שהמסלול ייכנס וייצא ממצב שמספרו גדול מ-$\ k$. ברור כי $\ L(A)=\bigcup_{j:q_j\isin F} L_{1j}^n$ - השפה שמקבל האוטומט היא אוסף כל המילים שמעבירות את האוטומט מהמצב הראשון למצב מקבל כלשהו, כאשר אין הגבלה על המצבים שמותר למסלול לעבור בדרך.

בשל כך מספיק להראות כיצד ניתן לקבל ביטוי רגולרי עבור השפה $\ L_{ij}^k$. הביטוי נבנה באופן רקורסיבי בהתבסס על ערכו של $\ k$. כאשר $\ k=0$ השפה $\ L_{ij}^0$ היא אוסף כל המילים שמעבירות את האוטומט מהמצב $\ q_i$ למצב $\ q_j$ מבלי לעבור שום מצב ביניים בדרך (שכן מספרו של כל אחד מהמצבים גדול מ-0). כלומר, מילים אלו הן אותיות או המילה הריקה. לכן לשפה $\ L_{ij}^0$ קיים ביטוי רגולרי פשוט.

עבור $\ k>0$ מתבססים על האבחנה הבאה: אם מילה שייכת ל-$\ L_{ij}^k$, או שהיא מעבירה את האוטומט מ-$\ q_i$ אל $\ q_j$ מבלי לעבור במצב $\ q_k$ - ואז היא שייכת גם ל-$\ L_{ij}^{k-1}$, או שהאוטומט בריצתו על המילה כן עובר במצב $\ q_k$ מספר כלשהו של פעמים.

אם האוטומט עובר ב-$\ q_k$ ניתן לחלק את ריצתו לשלושה חלקים: הריצה עד שהוא מגיע אל $\ q_k$ לראשונה; המשך הריצה עד שהוא מגיע ל-$\ q_k$ בפעם האחרונה; והמשך הריצה עד ההגעה אל $\ q_j$

הרישא של המילה, שמעבירה את האוטומט מ-$\ q_i$ אל $\ q_k$ שייכת לשפה $\ L_{ik}^{k-1}$, ובצורה דומה גם הסיפא של המילה, שמעבירה את האוטומט מ-$\ q_k$ אל $\ q_j$ שייכת ל-$\ L_{kj}^{k-1}$. החלק הפנימי של המילה, שגורם לאוטומט לצאת מ-$\ q_k$ ולחזור אל $\ q_k$ מספר כלשהו של פעמים שייך ל-$\ \left(L_{kk}^{k-1}\right)^*$.

מכאן נובע שאם $\ r_{ij}^k$ הוא הביטוי הרגולרי המתאים לשפה $\ L_{ij}^k$, הרי שמתקיים:

$\ r_{ij}^k=r_{ik}^{k-1}\left(r_{kk}^{k-1}\right)^*r_{kj}^{k-1}+r_{ij}^{k-1}$. בצורה זו ניתן לבנות ביטוי רגולרי לכל אחת מהשפות $\ L_{ij}^k$ תוך התבססות על הביטויים שכבר נבנו עבור ערכים קטנים יותר של $\ k$.

שימושים בתכנות

לביטויים רגולריים שימוש נרחב ביישומי תכנות למיניהם. מכיוון שכל ביטוי מזוהה עם מכונה אוטומטית סופית, קל לתרגם ביטוי רגולרי לתוכנה המזהה את קבוצת המילים המוגדרות על ידי אותו ביטוי. לדוגמה, מספר טלפון בישראל ניתן לזיהוי על ידי ביטוי רגולרי מהצורה $R=(0(\Gamma+\epsilon)\Gamma-\Gamma^7))$, כאשר האלפבית הינו כלל הספרות ומקף, ו$\Gamma=(0+1+2+3+4+5+6+7+8+9)$. לכל שפת תכנות דרך שונה לייצג ביטוי רגולרי, אך כלל הייצוגים שקולים אלו לאלו, ולהגדרה הפורמלית המוצגת לעיל. למשל, בסטנדרט הנהוג ב-UNIX, ייכתב הביטוי לעיל בצורה $0[0-9][0-9]?-[0-9]\{7\}$.

דוגמה נוספת, הביטוי ab[2-5]de מתאים למילים ab2de,ab3de,ab4de ו-ab5de כיון שפירושו הוא: כל המחרוזות בהם מופיעה האות a, לאחריה b, לאחריה מספר בין 2 ל-5 ואחר כך d ו-e. באופן דומה, הביטוי a.b פירושו האות a ו-b וביניהן כל תו, והביטוי ab*c פירושו האותיות a ו-c וביניהן האות b בכמות כלשהי (ac,abc,abbc,abbbbbbbc וכו').

• ב-VI, מעבד התמלילים הנפוץ במערכות UNIX הפקודה הבאה:

%s/gr[ea]y/white/

תחליף כל הופעה של המילה grey או gray במילה white. (% מפעיל את הפקודה על כל השורות ו-s פירושו החלפה, substitute).

• התוכנה grep התפתחה מפקודה שהייתה נפוצה בעורך הטקסט הישן, ed, ופירוש שמה הוא:

search globally for lines matching the regular expression, and print them כלומר, אם למשל נרצה להדפיס את כל השורות בקובץ בשם input.txt המתחילות בספרה 2,3,4 או 5 נעשה זאת כך:

grep "^[2-5]" input.txt

• בתוכנת sed, נוכל למשל למחוק כל שורה ריקה או שיש בה רק רווחים (* פירושו 0 או יותר מופעים, $ פירושו סוף השורה):

sed -e '/^ *$/d' in.txt

• בשפת perl השימוש בביטויים רגולריים נמצא בשורשה של השפה וקיימת תמיכה ברמה הגבוהה ביותר בכל סוגי הביטויים. רמה זאת הפכה לסטנדרט אליו מושווה רמת התמיכה בשפות ותוכנות אחרות. הפקודה הבאה תחליף כל מקום בו מופיעה המילה grey ב-blue אך רק כאשר לאחריה (סימן שאלה והסימן שווה פירושו "הצץ קדימה") מופיעה המילה sky.

$line=~s/grey(?= sky)/blue/g

• בסביבת הדוט נט ישנה מחלקה מיוחדת לטיפול בביטויים רגולריים (System.Text.RegularExpressions) שאמצעותה ניתן לאתר, להחליף תת-מחרוזות, ולקבל רשימה של התאמות במחרוזת לפי ביטויים רגולריים.

• תוכנת Oracle מאפשרת לשלב ביטויים רגולריים בשאילתות SQL החל מגרסה 10. השאילתה הבאה תציג את כל הרשומות שבהן יש במיקוד (השדה zip) סימנים כלשהם שאינם ספרות:

SELECT zip FROM zipcode WHERE REGEXP_LIKE(zip, '[^[:digit:] ]')

כיום ניתן למצוא תמיכה בביטויים רגולריים כמעט בכל שפת תכנות נפוצה. במנועי חיפוש כמעט ולא מוצאים אופציות לשימוש בביטויים רגולריים אך דוגמה חיובית לכך היא מנוע החיפוש של גוגל לקטעי קוד. פירוט לגבי כל סוגי התווים המשמשים בביטויים רגולריים אפשר למצוא בקישורים בתחתית ערך זה.

לקריאה נוספת

• שמואל זקס ונסים פרנסיז, אוטומטים ושפות פורמליות, האוניברסיטה הפתוחה, 2000.
• Jeffrey Friedl, Mastering Regular Expressions. O'Reilly Media 2006
• מנוע החיפוש של גוגל לקטעי קוד

קישורים חיצוניים

• אתר לבניית ובדיקת ביטויים רגולריים
• מדריך בסיסי לשימוש בביטויים רגולריים וכן מדריך לימוד מלא, באתר regular-expressions
• קובץ שימושי לכותבים, אתר addedbytes
• ביטויים רגולריים בספריית התבניות התקנית של שפת ++C
• ביטויים רגולריים בפייתון
• ביטויים רגולרים בשפת פרל, אתר אית"ן

מיזמי קרן ויקימדיה
ספר לימוד בוויקיספר: אוטומטים ושפות פורמליות