מערכת מומחה
מערכת מומחה (באנגלית: Expert System) היא מערכת מידע ממוחשבת המתפקדת כמומחה אנושי, או מסייעת למומחה אנושי, בתחום ידע מסוים. זוהי תוכנית מחשב אשר מייצגת ידע, מסיקה ממנו מסקנות ומסוגלת להסביר את האופן בו קיבלה את מסקנותיה. המטרה הסופית היא לבצע תהליכים של פתרון בעיות בדומה לאלה המבוצעים על ידי מומחה אנושי. אחת הדרישות ממערכת מומחה היא שתיתן הסברים למסקנותיה - מתן ההסבר נחוץ כדי לשכנע באמיתות המסקנה. מערכות המומחה הראשונות פותחו בשנות השבעים, אך הן הפכו לפופולריות בשנות השמונים.[1] לאחר נסיגה בהצלחה בשנות התשעים, יש הטוענים כי הן חזרו להיות נפוצות בסוף שנות התשעים והאלפיים בשמות אחרים.[2] מערכות מומחה הן חלק מתחום העיסוק של מדע הבינה המלאכותית במדעי המחשב. ביסוד הבינה המלאכותית עומד הניסיון לפתח תוכניות מחשב המסוגלות להתמודד עם מיומנות אנושית הכוללת את ההיבטים ההכרתיים – חשיבתיים.
מערכת מומחה היא חלק ממשפחת מערכות מבוססות ידע, מערכות אלו מבוססות על ידע תחומי הלקוח מהחיים כדוגמת רפואה, ביולוגיה ואסטרונומיה.
ההיסטוריה של מערכות מומחה
[עריכת קוד מקור | עריכה]מאז הגדיר אלן טיורינג את "מבחן טיורינג" ב-1950, נעשו ניסיונות רבים לבנות תוכניות מחשב שיצליחו לעבור את המבחן, ולהיות ראויות לתואר בינה מלאכותית. למרות מספר הצלחות ראשוניות, בעיקר באקדמיה,[3][4][5] ההערכה הכללית היתה, לקראת סוף שנות ה-60, כי הטכנולוגיה לא הוכיחה את עצמה בעולם המעשי.[5]
ואז, בתחילת שנות ה-70, התחיל לעלות ענף אחד של הבינה המלאכותית, שהצליח לפרוץ מהאקדמיה אל עולם הארגוני והעסקי: מערכות מומחה.
שנות ה-70: עלייתן של מערכות המומחה
[עריכת קוד מקור | עריכה]בעוד שהניסיונות המוקדמים בבינה מלאכותית היו בשיטות אלגוריתמיות, היה תחום אחד בו החלו להתפתח שיטות שכונו "היוריסטיות", שמתמקדות בהתקרבות לפתרון, על ידי "כללי אצבע" לקיצור חיפושים גדולים מאד במרחב הפתרונות האפשריים: תחום המשחקים. הכנסת כללי אצבע כאלו לתוך אלגוריתמים מדויקים, הובילה להכרה בחשיבות המומחיות והידע בהגעה לביצועים המתקרבים ליכולות האדם במשחקים, כמו דמקה ושחמט. חוקרים החלו להאמין כי הכנסת כללים או חוקים, הבנויים על המומחיות של האדם, היא הכיוון ו"הדבר הבא" בבינה מלאכותית.[6]
המערכת הראשונה בה הוכנסו "חוקים" כחלק מרכזי ממערכת מומחה, אם כי עדיין לא בארכיטקטורה המלאה של מסד ידע, הייתה DENDRAL, שפותחה באוניברסיטת סטנפורד,[7] לסיוע לביוכימאים בזיהוי מולקולות. הפיתוח התחיל בשלהי שנות ה-60 והסתיים בתחילת שנות ה-70.
אולם, מערכת המומחה הראשונה המבוססת כולה על חוקים כמסד ידע, עם מנגנון הסקה מיוחד, הייתה Mycin, שנבנתה בשנות ה-70,[8] אף היא בסטנפורד, במעבדת הבינה המלאכותית (SAIL). המערכת נועדה לסייע לרופאים באבחון מחלות דם, והיא הראשונה בה הוגדר הידע בחוקים במבנה קבוע של "אם - אז" (IF - THEN), ובהגדרת החוקים שולבו "מומחים" בתחום.
פריצת הדרך של MYCIN הביאה ל"מבול" של פיתוחי מערכות מומחה במבנה החדש, רובן ככולן בעולם האקדמי. היו שכינו את התחום "מערכות מבוססות ידע" (Knowledge-Based Systems), והתחושה הכללית שזה "הדבר הבא" בבינה מלאכותית.[9] במקביל, קוצצו תקציבי המחקר בתחומים האחרים של הבינה המלאכותית, שנראה ככושלים לעומת הטכנולוגיה החדשה של מערכות המומחה.[10]
שנות ה-80: מערכות מומחה מגיעות לתעשייה
[עריכת קוד מקור | עריכה]פריצת הדרך של מערכות המומחה לשימוש תעשייתי ועסקי חלה עם הכרזת מערכת XCON בשנת 1980, בשיתוף פעולה בין אוניברסיטת קרנגי-מלון בשיתוף פעולה עם חברת המחשבים DEC.[11] המערכת, שהמשיכה להתפתח במהלך שנות ה-80, סייעה למהנדסי חברת המחשבים דיגיטל לקבוע תצורות למחשבים הנמכרים ללקוחותיה. המערכת הגיעה לכ-2,000 חוקים בבסיס הידע שלה, והחברה דיווחה על עלייה דרמטית ביעילות ובאיכות כתוצאה מהשימוש בה.[12]
גופים עסקיים רבים נכנסו בהתלהבות ליישום מערכות מומחה בתחום עיסוקם, וראו בכך יתרון תחרותי הכרחי, עם הצלחות מרשימות. אמריקן אקספרס, לדוגמה, דיווח על חסכון של עשרות מיליוני דולר בשנה כתוצאה מהכנסה לשימוש שוטף של מערכת מומחה לאישור אשראי.[13] גם בישראל נכנסו מערכות מומחה לשימוש שוטף בחיל האוויר (הראשון לפיתוח וקליטה לשימוש מבצעי).[14]
לאור ההצלחה הגדולה של פיתוחי מערכות מומחה, החלו להתפתח מוצרים שנועדו לאפשר פיתוח מהיר של מערכות מומחה, מעטפות (Expert System Shell) שנועדו ל"מהנדסי ידע" (Knowledge Engineers), וחברות חדשות נוסדו סביב מוצרים אלו. אחדות פיתחו מחשבים ייעודיים לצורך כלי הפיתוח (למשל: Symbolics)[15], אך עם התפתחות מיני-מחשבים ואחריהם מיקרו-מחשבים לשימוש כללי, התפתחו הכלים הפופולריים על מחשבים אלו. חברות מובילות בשוק היו בעיקר בארצות הברית (למשל: Neuron Data, Teknowledge), בצרפת (למשל: ILOG), וביפן (פרויקט "הדור החמישי").[16]
כמות הפעילות, דיווחי ההצלחה, גיוסי הכספים וההנפקות בבורסה של חברות מובילות, גרמו ליחס של "בועה" למערכות המומחה של שנות ה-80.[17][18]
שנות ה-90: מערכות המומחה נשארות מאחור
[עריכת קוד מקור | עריכה]הסימנים הראשונים לאכזבה ממערכות המומחה נראו כבר לקראת סוף שנות ה-80, כאשר החלו להתגלות חולשות ומגבלות, בעיקר בשלבים של מעבר מאב טיפוס מוצלח למערכת תפעולית כושלת.[19] האכזבות היו כואבות במיוחד לאור הציפיות הגבוהות של הארגונים ושל משקיעי הון סיכון, מהטכנולוגיה שתפתור את כל הבעיות.[20]
גם ביפן, שם נחשבו מערכות המומחה להצלחה גדולה בשנות ה-80 מבחינה טכנולוגית, וחברות הענק (כמו NEC, Toshiba, Hitachi, Fujitsu ואחרות) דיווחו על השקעות כבדות בנושא, המחקרים הראו כי קצב הגידול המצופה לא ענה על קריטריונים עסקיים.[21]
במקביל לאכזבה הכללית, היו גם הצלחות מרשימות, שהלכו נגד הזרם הכללי, ודיווחו על הצלחה של יישומים ושביעות רצון יוצאת דופן.[22] מספר חברות גדול כמו בואינג, IBM, לוסנט טכנולוגיות, זירוקס, ונאס"א נמנו על המצליחות בתחום בארצות הברית, ובישראל נמנו בנקים, משרדי ממשלה, קופות חולים, צה"ל, חברות ממשלתיות ותעשייתיות, על סיפורי הצלחה של מערכות מומחה משמעותיות.[23]
אולם, את התחושה הכללית הובילו קרנות הון סיכון וקרנות ממשלתיות שהשקיעו בתחום ולמעשה החליטו לעצור השקעות נוספות.[24] במקביל התחילו פרסומים על כישלונות[25] וידיעות על ירידה משמעותית בכמות המחקרים האקדמיים והדוקטורטים בנושא מערכות מומחה.[26]
את המגמה העצימה העובדה שהגיע שחקן חדש ונוצץ לעיר: האינטרנט. בשנות ה-90, התחילה ה"בועה" החדשה של האינטרנט, והיא גברה על ה"בועה" הקודמת של מערכות המומחה, באופן ברור ואף קיצוני.[27]
שנות ה-2000 (עד 2010): תחייה בשם אחר
[עריכת קוד מקור | עריכה]לאחר שהוכרזו כטכנולוגיה "מתה" בשנות ה-90, חל מהפך נוסף בהיסטוריה של מערכות המומחה: הן חזרו לתפוס מקום חשוב בשוק, אך בשם אחר. הטכנולוגיה הבסיסית שלהן חזרה להיות פופולרית, אך כעת בשם "מערכות מבוססות חוקים" (Rule Based Systems).[28] המגמה הייתה משמעותית כל כך, שחברת ניתוחי השוק הגדולה, גארטנר, הכריזה על "תחייה מחדש" של התחום, תוך שימוש בשם מערכות מבוססות חוקים, במקום הסיקור הקודם שהיה בשם מערכות מומחה.[29] נושא "החוקים" של הארגון הפך להיות שגור על מנהלים ואנשי המקצוע הבכירים של קהיליית מנתחי המערכות ואנשי התוכנה, כטכנולוגיה וכארכיטקטורה זהה לזו של מערכות המומחה של שנות ה-80, אך כעת גם בשילוב תשתיות האינטרנט שהיו נחלת הכלל.[30]
ההתייחסות לחוקים במקום ל"מומחה", יוצרת פחות ציפיות: לא עוד חיקוי המומחה, אלא ארגון ועיבוד נוח ויעיל של הידע הארגוני שמאפשר שימוש רחב בו, עם כל היתרונות המעשיים. ואכן, בניתוח לאחור של מספר הכשלונות של מימוש מערכות מומחה מול הכשלונות במימוש מערכות תוכנה רגילות, הממצאים מראים על שוויון מובהק; ההבדל הגדול היה ברמת הציפיות הגבוהה במיוחד ממערכות המומחה.[31]
סיפורי ההצלחה של מערכות מבוססות חוקים היו נחלת כל האנליסטים המרכזיים: ב"ריבוע הקסם" (Magic Quadrant) של חברת הייעוץ המובילה גארטנר לשנת 2005,[32] מופיעות הספקיות המובילות בעולם בעלות מנועי הסקה, כשלכולן סיפורי הצלחה ולקוחות מרשימים, ביניהן הישראלית ESI.[23] נוצרה קהיליה בינלאומית סביב הטכנולוגיה והגישה האסטרטגית של "חוקים עסקיים" והיא פעילה עד היום בעיתון ובכנסים מקצועיים.[33][34]
סוגי מערכות מומחה
[עריכת קוד מקור | עריכה]- מערכת המתמחה בזיהוי – מערכת הבודקת פרט אקראי ומזהה אותו, למשל זיהוי צורות.
- מערכת המתמחה באבחון – מערכת המאתרת את הגורמים לבעיה, כגון מערכת לאבחון רפואי.
- מערכת המתמחה בתיקון – מערכת המציעה פתרונות לבעיות שאותרו, כגון מערכת שתענה על השאלה: "מהן הפעולות אותן יש לנקוט במקרה והמחשב חדל לעבוד?".
- מערכת המתמחה בניבוי – מערכת המציגה את התוצאות האפשריות לאחר היווצרותו של מצב מסוים, למשל ניבוי מזג אוויר.
- מערכת הדרכה נבונה – מערכת המדריכה את המשתמש בבצוע פעולות, כגון הדרכת טכנאי בהרכבת חלק ופתרון בעיות בהרכבה.
- מערכת המתמחה בתכנון – מערכת הקובעת אילו פעולות יש לבצע כדי לקדם פרויקט ובאיזה שלבים, למשל פרויקט בנייה.
- משחקים – מערכת המדמה חשיבה של שחקן מומחה במשחק מסוים.
- מערכות לקבלת החלטות - כגון מתן הלוואות[35] (בנקים), חיתום ביטוח (חברות ביטוח), רכש ומלאי (גופים עם לוגיסטיקה מורכבת).
מבנה מערכת מומחה
[עריכת קוד מקור | עריכה]
|
 מהווים את המעטפת
|
מרכיבי המערכת
[עריכת קוד מקור | עריכה]בסיס ידע
[עריכת קוד מקור | עריכה]בסיס הידע מתייחס לעולם התוכן המומחי של המערכת. הוא מתאר את המרכיבים של תחום הידע, ואת הקשרים הקיימים בין המרכיבים השונים. בדרך כלל מתואר בסיס הידע באמצעות נתוני יסוד – עובדות וכללים המתארים את הקשרים ביניהם. העובדות מתארות את תחום הידע, ויכולות להשתנות בהתאם למצב או הפרט שנבדק. החוקים מתארים את היחסים בין פרטים או מצבים בתחום הידע, בדרך כלל במבנה "אם [עובדה] אז [מסקנה]". הם כוללים את הידע המומחי בתחום, כלומר מה מומחה יכול להסיק מהעובדות.
בסיס הידע כולל את "המחשבה האנושית" הקיימת בתחום הידע המסוים: "מחשבה" זו באה לידי ביטוי בחוקים שתוארו לעיל. בסיס הידע מהווה חלק הכרחי עבור תוכנית מחשב האמורה להתנהג באופן אינטליגנטי.
מערכת היסק
[עריכת קוד מקור | עריכה]מערכת ההיסק מורכבת ממנגנון המסוגל להסיק מסקנות בהסתמך על בסיס הידע: העובדות והחוקים מתארים את הידע, בעוד שמנגנון ההיסק קובע כיצד לנתח את הידע המתקבל. מערכת ההיסק מתייחסת לבסיס הידע כאוסף של טענות הכוללות עובדות והחוקים בתחום הידע. מנגנון ההיסק מקשר בין בסיס הידע כדי להגיע למסקנה, יש להדגיש שמערכת ההיסק אינה תלויה בבסיס הידע עצמו ולכן היא מהווה גם חלק מהמעטפת הכללית. הכלליות של מערכת ההיסק נשמר בדרך כלל בכל מרכיביה.
לעיתים יש להכניס בה שינויים במעבר לתחום ידע חדש, שינויים אלו נשמרים בתחומי ידע שהמבנה הכללי שלהם דומה. חלק זה של המערכת המומחה הוא החשוב ביותר משום שהוא זה שמחקה את אופן המחשבה האנושית. במקרים רבים קיימים מסלולי פתרון רבים וכדי שהתשובה תהיה בזמן ריצה סביר חלק מהחוקים הם היוריסטיים כדי להגביל את החיפוש במרחב הפתרונות. הציפייה היא שמערכת מומחה תדע לנצל את הידע העומד ברשותה בצורה "מומחית" ויעילה.
מבנה מנגנון ההיסק תלוי בשני גורמים עיקריים. המבנה הטבעי של תחום הידע, והדרך בה הידע מאורגן ומיוצג במערכת המומחה. קיימות שפות תכנות המקלות על המתכנת בכך שיש בהן מערכת היסק בנויה כמו למשל בשפת פרולוג. שפות אחרות דורשות לתכנן וליישם מנגנון היסק. לכל אחת מן השיטות יש יתרונות וחסרונות משלה. שפה בה קיים מנגנון היסק דורשת פחות מאמץ בבנייתו. המגבלה היא בכך שמנגנון ההיסק הבנוי לא תמיד מתאים לדרך בה מתקבלות ההחלטות בתחום הידע. למתכנן יש מעט אפשרויות לשלוט על הדרך בה מאורגן הידע ולתכנן את תהליך הסקת המסקנות. שפות בהן אין מנגנון היסק בנוי מחייבות תכנון ויישום של מנגנון היסק, אך מאפשרות לו יותר שליטה והתערבות. מערכות מורכבות מעמידות מנגנון היסק בנוי אך מאפשרות גם להתערב כדי להתאימו לתחום הידע.
מערכת הסבר
[עריכת קוד מקור | עריכה]מערכת ההסבר מאפשרת למשתמש מעקב אחר תהליך הפתרון והסקת המסקנות של מערכת ההיסק.
המשתמש מצפה לדעת על פי אילו נתונים ועל פי אילו כללים התקבלה תשובת מערכת המומחה. המערכות נבדלות זו מזו במידת היכולת שלהן לפרט את המעקב אחר מערכת ההיסק. לפעמים אין צורך בחלקים מסוימים בהסבר, ותפקידה של המערכת הוא לנפות את אותם חלקים ולהציג למשתמש את החלקים המהותיים ביותר.
חשוב ביותר שהמערכת תהיה ידידותית, גמישה ושההסברים יהיו כרוכים ומובנים למשתמש. במערכות המתקדמות ניתנת יכולת ראיית החוקים עצמם בשפה טבעית, וראיית כל מסלול ההסקה לגבי כל החלטה או חישוב של המערכת[36].
חלק זה מקשר בין המערכת המומחה למשתמש.
המערכות נבדלות זו מזו במידה הידידות שלהן בקשר עם המשתמש ובאפשרויות השונות שהן מעמידות לרשות המשתמש לשם צפייה בחלקים השונים של המערכת. מרכיב בסיסי בממשק מאפשר למשתמש להציג שאלה למערכת בדרך נוחה, ולקבל את תשובת המערכת. בניגוד למערות תוכנה אחרות, הדרישה ממערכת מומחה היא שהמשתמש יקבל הסבר על החלטות המערכת, רצוי תוך ראיית החוקים שהביאו להחלטה. חלק חשוב נוסף שלא קיים בכל המערכות הוא ממשק המשרת את בונה בסיס הידע.
מעטפת
[עריכת קוד מקור | עריכה]המעטפת (Expert System Shell) כוללת את מנגנון ההיסק, מנגנון ההסבר וממשק המשתמש. ביכולתה להסיק מסקנות על פי בסיס הידע ולהסביר אותו למשתמש. המעטפת אינה תלויה בבסיס הידע ויכולה לפעול באותו אופן על בסיסי ידע שונים. מרכיבי המעטפת כלליים ואינם משתנים על פי תחום המומחיות, שכן שינוי בתחום התמחות יבוא לידי ביטוי רק בבסיס הידע. מעטפת טובה נותנת שירותים למתכנת המערכת וגם למשתמש בה, היא תכיל ממשק לבניית בסיס הידע היכול להיות מבוסס על שיטות ייצוג שונות.
במערכות מומחה ייעודיות המטפלות בתחום ידע מסוים לא מתייחסים למעטפת. מערכת כזו תכיל גם היא את כל המרכיבים שצוינו, אלא שתחום הידע בא לידי ביטוי, בנוסף לבסיס הידע, גם ביתר המרכיבים של המערכת.
מערכת מומחה הבנויה כמעטפת דורשת מאמץ ניכר יותר בפיתוחה אך משרתת אחר כך תחומי ידע שונים. מערכת מומחה ייעודית לא ניתן להפעיל על תחום ידע שונה, מאחר שהידע משולב בכל מרכיביה ולא ניתן להפרדה בקלות.
אתגרים בהנחות היסוד
[עריכת קוד מקור | עריכה]הנחת היסוד של מערכות המומחה היא שאדם שיסתמך על הידע המתועד של המומחה - יפעל ברמת המומחה, או קרוב אליה. לכאורה, יש בהנחה זו הגיון רב. אולם פילוסופים של המדע, במאות השנים האחרונות, מטילים בכך ספק רב. האם הציפייה שמה ש"עבד" פעם, יעבוד גם בעתיד היא נכונה? הפילוסוף הנודע דייוויד יום (David Hume) קבע[37] כבר במאה ה-18, כי הסקת מסקנות לגבי העתיד, על סמך ניסיון העבר, אינה אמינה.
האם המומחה עצמו מקבל את ההחלטות על סמך החוקים שמסר למערכת המומחה? מסתבר שהמומחה בדרך כלל אינו מודע לחוקים על פיהם הוא פועל, חלק מהידע שלו אינו "אלגוריתמי" (Tacit Knowledge), ואינו ניתן לניסוח על-ידי חוקים[38].
קבוצה נוספת של בעיות נוצרת מכך שבסיס הידע אינו מעודכן למצבים הדינמיים של החיים[39], החוקים אינם מכסים את כל המצבים ונדרשת מיומנות מיוחדת על מנת להגיע לדרגה של "מומחה" אמיתי: היכולת להתאים עצמנו למצבים חדשים ("Adaptive Expertise")[40]. יכולת זו אינה אלגוריתמית ולכן אינה חלק מהידע במערכת המומחה.
ראו גם
[עריכת קוד מקור | עריכה]לקריאה נוספת
[עריכת קוד מקור | עריכה]- ג'יימס איגניזיו, "Introduction to Expert Systems" (1991), ISBN 0-07-909785-5
- ג'וזף גיארטנו, "Expert Systems, Principles and Programming" (2005), ISBN 0-534-38447-1
- פיטר ג'קסון, "Introduction to Expert Systems" (1998), ISBN 0-201-87686-8
- Hubert L. Dreyfus, What Computers Still Can't Do, Second Edition, London, England: The MIT Press, 1992 (1979), ISBN 0-262-04134-0 ; 0-262-54067-3. (באנגלית)
קישורים חיצוניים
[עריכת קוד מקור | עריכה]
- בינה מלאכותית ב"המדריך הפתוח"
- מערכת מומחה, באתר אנציקלופדיה בריטניקה (באנגלית)
מערכות ממחה (מדעי המחשב), דף שער בספרייה הלאומית
הערות שוליים
[עריכת קוד מקור | עריכה]- ^ Leondes, Cornelius T. (2002). Expert systems: the technology of knowledge management and decision making for the 21st century. pp. 1–22. ISBN 978-0-12-443880-4.
- ^ Yoram Romem, The Social Construction of Expert Systems, Human Systems Management 26, IOS Press, 2007, עמ' 291-309
- ^ Albert E. Murray, Frank Rosenblatt, and Marshall C. Yovitz, MARK I perceptron, MARK I perceptron press conference records, Cornell Aeronautical Laboratory Inc., 1960
- ^ David Hawkins, The Spirit of Play – A memoir for Stan Ulam, Los Alamos Science, Special issue, 1987
- ^ 1 2 Joseph Weizenbaum, W. H. Freeman at al, Computer Power and Human Reason, San Francisco, 1976, עמ' 3, 203
- ^ Computers, Artificial Intelligence, and Expert Systems in Biomedical Research, Joshua Lederberg - Profiles in Science, 2019-03-12 (באנגלית)
- ^ Joshua Lederberg, How DENDRAL Was Conceived and Born, ACM Symposium on the History of Medical Informatics, 1987, עמ' 5-19
- ^ "Notes on "Epistemology of a Rule-based Expert System, Clancey,W.J, Artificial Intelligence, Artificial Intelligence in Perspective 59, 1993, עמ' 191-204
- ^ .Goldstein, I. and Papert, S, Artificial Intelligence, Language and the Study of Knowledge, Cognitive Science, 1 Vol 1, 1977
- ^ Stottler Henke, Smarter Software Solutions (early 70s-1974)
- ^ Virginia E. Barker, Expert systems for configuration at Digital: XCON and beyond, Communications of the ACM, 3 Volume 32, 1989, עמ' 298-318
- ^ Walter Reitman, Artificial Intelligence Applications for Business, Ablex Pub, 1984, עמ' 150, 152
- ^ Harvey P. Newquist, The Brain Makers: Genius, Ego and Greed in the Quest for Machines that Think, Indianapolis, Indiana: Sams Publishing, 1994, עמ' 403
- ^ יורם רומם, חיל האוויר - יחידה 180, אני לוקח, ישראל: כנרת, זמורה, דביר, 2021, עמ' 212-221, 229-230
- ^ Symbolics Lisp Machine Museum
- ^ Edward Feigenbaum and Pamela McCorduck, The fifth Generation, Addison Wesley Publishing Company, 1983
- ^ Hans Moravec, The Great 1980s AI Bubble: A Review of The Brain Makers, AI Magazine, 3 15, עמ' 86
- ^ Howard Rheingold, 13, Tools for Thought, The MIT Press, 1985 edition
- ^ Thomas H. Devenport, Davenport, Thomas H. 1995. Management Agenda: Epitaph for Expert Systems?, InformationWeek, June 5, 1995, עמ' 116
- ^ David Millett and Philip Powell, Critical Success Factors in Expert System Development: A Case Study, London: PriceWaterhouseCoopers & University of London, 1999
- ^ Edward Feigenbaum, Knowledge-Based Systems in Japan (7), Knowledge-Based Systems in Japan, Baltimore, MD: Japanese Technology Evaluation Center, 1993
- ^ Gill T. Grandon, Early expert systems: Where are they now?, MIS Quarterly, 1 19, 1995, עמ' 51
- ^ 1 2 יורם רומם, 14. מנכ"ל אי.אס.איי, אני לוקח, כנרת, זמורה, דביר, 2021, עמ' 283-285
- ^ Bulkeley, W. M., Technology: Bright Outlook for Artificial Intelligence Yields to Slow Growth and Big Cutbacks, Wall Street Journal יולי 5, 1990, עמ' 1
- ^ Richard G. Vedder, An Expert System that was, Center for Quality and Productivity, University of North Texas, 1997
- ^ National Research Council, 9, Funding a Revolution: Government Support for Computing Research, Washington D.C.: National Academy Press, 1999, עמ' שרטוט 9.3
- ^ Harvey P. Newquist, The Brain Makers: Genius, Ego and Greed in the Quest for Machines that Think, Indianapolis, Indiana: Sams Publishing, 1994, עמ' 437
- ^ Michael P. Voelker, Business Makes the Rules, Intelligent Enterprise November 1, 2005
- ^ Jim Sinur, The Business Rules Market Resurrection Continues, Business Rules Journal, 9 4, 2003
- ^ Rounding Business Rules Up, Sue Hildreth, Computerworld, May 23, 2005, עמ' 24
- ^ William M. Ulrich, Knowledge Mining: Business Rule Extraction & Reuse, Tactical Strategy Group, Inc, 2001
- ^ Jim Sinur, Vendor Map ("Magic Quadrant") for Business Rule Engines, Gartner Research January 2005
- ^ Business Rules Journal
- ^ Kristen Seer, The 2005 Business Rules Awareness Survey, Business Rules Journal, No. 8 Vol 6, 2005
- ^ Newquist, Harvey P. 1994. The Brain Makers: Genius, Ego and Greed in the Quest for Machines that Think, P.403. Indianapolis, Indiana: Sams Publishing.
- ^ Yoram Romem, 2008. Expert Systems: the Promise, the Disappointment, the Comeback, P. 27. Bar-Ilan Univ. Israel, (Ph.D. dissertation)
- ^ David Hume, Enquiries Concerning Human Understanding and Concerning the Principles of Morals, Oxford: Oxford University Press, 1975. Original: 1748
- ^ Michael Polanyi, Personal Knowledge: Towards a Post-Critical Philosophy, The University of Chicago Press, 1958, עמ' 49
- ^ Diana Forthyte, Engineering Knowledge: The Construction of Knowledge in Artificial Intelligence, Social Studies in Science, 3 23, 1993, עמ' 445-77
- ^ Fisher, Frank and Peterson, Penelope, A Tool to Measure Adaptive Expertise in Biomedical Engineering Students, Proceedings of the American Society for Engineering Education Annual Conference, 2001, עמ' 2793
