ב"ה

על כשלון הוועדה האוניברסיטאית
לחקר תוצאות הניסוי של גאנז-ענבל בספר בראשית

מאת דורון ויצטום

חלק א: הניסויים

א. ניסוי של הרולד גאנז בספר בראשית לגבי מפגשי מד"שים של שמות גדולי ישראל עם שמות הקהילות בהם נולדו ו/או נפטרו, הצביע על מובהקות סטטיסטית גבוהה של המפגשים. איסוף הנתונים לניסוי נעשה באמצעות אלגוריתם מדויק, אשר הפעלתו, באופן מכני, קובעת את הנתונים.
לקריאת הפירסום המדעי של מאמרם של גאנז, ענבל ובומבך (2006 למניינם) הקש כאן.
רקע כללי על עבודה זו ראה כאן.
תיאור נרחב של העבודה בעברית נמצא בנספח "מדגם הקהילות".

ב. בעקבות טענות ביקורת על האלגוריתם ועל יישומו, הוקמה וועדה אוניברסיטאית על מנת לבדוק את התוצאות שדווחו על ידי גאנז. בראשות הוועדה עמד פרופסור ישראל אומן, והשתתפו בה פרופסור הלל פירסטנברג ופרופסור יצחק לפידס, וכן נציג מצדדי הניסוי (פרופסור אליהו ריפס) ונציג שוללי הניסוי (פרופסור דרור בר-נתן). השניים האחרונים לא השתתפו בשלבים האחרונים של דיוני הוועדה.
הוועדה החלה לבדוק את תקינות האלגוריתם ואת התאמת הנתונים למתחייב ממנו. אבל, לאחר מספר ישיבות בהם דנה בנושאים אלה, זנחה הוועדה את מטרתה המקורית, והתמקדה בנושא אחר: תיכנון וביצוע ניסוי חדש – ניסוי האמור לבדוק בספר בראשית מפגשי ELS של שמות גדולי ישראל עם נתונים חדשים. למעשה, תוכננו שני ניסויים נפרדים.
לשם כך הוכן פרוטוקול הקובע מראש את כל המהלכים הנדרשים להכנת הנתונים ולחישוב התוצאות עבור נתונים אלה. הפרוטוקול נכתב ונחתם בתום דיוני הוועדה ביום 6 באוגוסט 1998 (למניינם), על ידי אומן, פירסטנברג ולפידס.
לקריאת דיוני הוועדה – נא לפנות למרכז לחקר הרציונליות באוניברסיטה העברית, בניין פלדמן בגבעת רם, בירושלים. הוועדה התחייבה להעמיד את החומר (שתועד על ידי גוף מקצועי) – לעיון הציבור.

ג. כאשר הוכנו רשימות הנתונים, העביר אותן נציג הוועדה לפרופסור אליהו ריפס לצורך ביצוע החישובים. ממבט ראשון בנתונים היה ניכר כי ישנן טעויות. [למשל, בעמוד הראשון של רשימת נתונים אחת התנוסס השם "וינוציא" (תחת ויניציא), ובעמוד הראשון של נתוני הרשימה השניה נרשם שם העיר הספרדית "טולידו" כווריאנט של … שם עיר ספרדית אחרת - "טודילה"!] הפנינו מיד את תשומת לבם של נציג הוועדה ויו"ר הוועדה לכך, שישנן טעויות טריוויאליות בנתונים והודענו, כי לא ניגש לניסויים ולא נערוך שום חישובים, אלא נתמקד קודם כל באימות הנתונים ובבדיקה האם מצוי בידינו חומר הראוי לעריכת ניסוי מדעי.
בדיקה מקיפה ויסודית העלתה כי, למרבה הצער, נתהוו ליקויים פאטאליים בניסויים המוצעים, הן בגלל חריגות מהותיות מן הפרוטוקול והן בגלל שגיאות חמורות בהכנת הנתונים. הגענו למסקנה, כי אין כל ערך מדעי לביצוע הניסויים על סמך הנתונים שנתקבלו.
לקריאת תקציר ביקורת עבודת הוועדה הקש כאן.

ד. את עמדתנו זו הצגנו לפני יו"ר הוועדה. אולם, יו"ר הוועדה עמד על ביצוע הניסויים. אומנם, אף הוא היה ער לעובדה, כי קיימים פגמים חמורים בחומר הנועד לניסוי, אך טען, כי יש להשלים את העבודה כפי שנקבע מראש בפרוטוקול, אליו הוא חש עצמו מחוייב. לתמיהתנו, מה ערכו של ניסוי מדעי המבוסס על חומר כה פגום, השיב יו"ר הוועדה כי אכן יתכן שצריך להתחיל הכל מחדש. עמדנו על דעתנו, כי אין כל ערך לניסוי שייערך על סמך החומר הקיים. אך יו"ר הוועדה הודיע כי יפרסם את דו"ח הוועדה בכל מקרה, בהסתמכו על תוצאות החישובים של פרופסור בר-נתן. יו"ר הוועדה הציע, שאם נבצע את הניסוי ונגיש לו את תוצאות החישובים שלנו, נקבל אפשרות להביע את דעתנו על טיב הניסוי. הסכמנו לכך, ובכך קנינו את הזכות להציג בפני הציבור (במסגרת פרסומי הוועדה) את העובדה הפשוטה, כי הניסויים שנעשו הינם חסרי ערך מדעי.
מלבד עמדתנו התקיפה כי אין לערוך ניסוי שגוי ולהציגו בציבור כניסוי מדעי, אנו תמהים על ההסתמכות על "היצמדות לפרוטוקול" כנימוק מרכזי לקיים את הניסוי ולהציג את תוצאות החישוב. וזאת, משום שבתהליך איסוף הנתונים לא קוימה היצמדות לפרוטוקול, והיו חריגות מהותיות ממנו.

ה. בעקבות ההסכם הנ"ל, ביצענו את החישובים הנדרשים עבור שתי רשימות הנתונים. בשני המקרים לא נתגלתה מובהקות עבור המפגשים.
בוועדה נתגלעה מחלוקת באשר למשמעות ניסוי המבוסס על נתונים שגויים:
הפרופסורים אומן ופירסטנברג, חתמו על תוצאות הניסויים, בעוד פרופסור לפידס, בדעת מיעוט, סרב לחתום על תוצאות ניסויים המבוססים על נתונים שגויים.
דו"ח הוועדה פורסם במסגרת המרכז לרציונליות, ב- Discussion Paper #364 (אפשר לקוראו בקובץ (DP364.pdf .
דעת המיעוט – עמדתו של פרופסור לפידס – פורסמה אף היא במסגרת המרכז לרציונליות, ב- Discussion Paper #365 (אפשר לקוראו בקובץ (DP365.pdf . שם מוצגת גם זווית הראיה של פרופסור אומן וזו של פרופסור פירסטנברג.
הביקורת שלנו פורסמה אף היא במסגרת המרכז לרציונליות, ב- Discussion Paper #365 (אפשר לקוראו בקובץ המקורי של (.DP365.pdf

מצב הדברים מבחינתנו:

תוצאות הניסויים משקפות אך ורק את כישלון הכנת הנתונים, ולא את כישלון הניסיון להוכיח קיומה של תופעה זו או אחרת.
אדרבא, לפי התיזה שלנו רק ניסוי המבוסס על נתונים נכונים צריך להצליח, ולא זה המבוסס על נתונים שגויים.

הכרת תודה: אנו מודים לחברי הוועדה, פרופסור ישראל אומן, פרופסור הלל פירסטנברג ופרופסור לפידס, על הטרחה המרובה והזמן היקר שהשקיעו לאורך שנים בעבודת הוועדה. אנו בטוחים כי היה זה ניסיון כן מצדם לברר את הטענות שהועלו כנגד עבודתו של גאנז. מה צר הדבר, שבמסיבות שנוצרו, ההשקעה המרובה לא הביאה למסקנות מדעיות כלשהן.

חלק ב: משמעות תוצאות הניסויים

כאן נברר מה משמעות תוצאות עבודת הוועדה וכיצד הציגו זאת מתנגדי המחקר:

א. מה משמעות ניסויי הוועדה?
ב. מה משמעות תוצאות הניסויים?
ג. התעמולה של מתנגדי המחקר.

א. מה משמעות ניסויי הוועדה?

בניסוי של המקורי של גאנז (נסמן אותו ב- [G]) היו שני מרכיבים:

התיזה - הכוללת את ההגדרה המדויקת של הנושא.
איסוף הנתונים.

כפי שהזכרנו בחלק א', מלכתחילה הוועדה בחרה לבדוק את מרכיב 2, שהוא טכני, אך לא המשיכה בבדיקה. תחת זאת, בחרה הוועדה לעשות שני ניסויים בעצמה.

ניסוי אחד - [F] - אינו תואם כלל את מרכיב 1 (התיזה) - ולכן אין לו קשר ל [G].
הניסוי השני - [R] - תואם את מרכיב 1 (התיזה), ולכן אמור הוא להיות רפליקציה ל[G]. החלק החדש שבו הוא מרכיב 2 (איסוף הנתונים).

בחלק E של דו"ח הוועדה מסבירים חברי הוועדה מה ההגיון מאחורי ניסוי [R]:

"…if there is indeed a phenomenon of codes, then one would expect it to follow certain general rules or practices. Some idea of these rules were gained from the WRR experiment on dates, and from other previous experience (on matters unrelated to the localities in question), and it would be legitimate to incorporate these ideas in testing the localities. This is the logic behind the Replicative test."

מה אפשר ללמוד מתוצאות ניסוי [R]?
לדעתנו, לניסוי [R] היו שלוש תוצאות אפשריות:
(א)   אם הנתונים היו דומים מאד לאלו של [G] -
אזי המסקנה היא, שאין מרחב תימרון באיסוף הנתונים.
(ב)   אם חלק ניכר מן הנתונים אינו דומה, אך הניסוי מצליח -
אזי המסקנה היא, שאומנם יש מרחב תימרון באיסוף הנתונים, אך ההצלחה אינה נובעת ממנו (כלומר, ההצלחה אינה תלויה דווקא בווריאנט מסויים של שם המקום, או דווקא באיות מסויים שלו).
(ג)   אם חלק ניכר מן הנתונים אינו דומה, ואין הצלחה בניסוי -
אזי המסקנה היא, שיש מרחב תימרון באיסוף הנתונים, וכי ההצלחה תלויה דווקא בנתונים מסויימים.

בחלק E של דו"ח הוועדה מחווים חברי הוועדה את דעתם, לפני ביצוע החישובים, בנוגע לאפשרות שיימצא פער גדול בין תוצאות [R] ל [G]:

"The result G of Gans's experiment was adduced in Part D above for comparison with the result R of the replicative test. A great disparity between R and G may raise eyebrows. But it should be noted that if indeed there is a code phenomenon, then G might a priori be considerably smaller, or larger, than R. For example, this could happen if the expert had used spelling conventions that are systematically different from those used by the putative encoder."

כאן הם מצביעים על האבחנה הפשוטה, שהתופעה לה טוענים היא הצפנת מלים וביטויים, ולכן יש חשיבות קריטית ללשון ולכתיב. אם אכן קיימת הצפנה, סביר שהיא נעשתה לפי נוהגי לשון וכללי כתיב מסויימים. נתונים שלא יצייתו לנוהגי הלשון ולכללי הכתיב הללו, נועדו מראש לכשלון.

לפי אבחנה זו, אפילו תוצאה (ג) של הניסוי (או תוצאה (ב) שבה הצלחה מתונה ביחס ל[G]), אין בה כדי ללמד על תקיפות הניסוי המקורי של גאנז, כל שכן שאין בה כדי ללמד על הצפנה או אי הצפנה של נושאים אחרים!

ב. מה משמעות תוצאות הניסויים?

כידוע, תוצאה (ג) היא שנתקבלה בניסוי (ראה (ג) בסעיף הקודם).
אם לפני הניסוי הגיעו חברי הוועדה לתובנה שאין בידם להסיק דבר על תקיפות הניסוי המקורי של גאנז, כפי שכתבו בעצמם (ראה בסוף הסעיף הקודם) - ואפילו בהנחה שהנתונים נכונים - המצב עתה הוא הרבה יותר מסובך: איסוף הנתונים עבור הניסוי היה לקוי ביותר, ונתונים רבים (לעשרות) חסרים ו/או שגויים.
ביד הוועדה אין שום דרך לדעת האם ההבדל בנתונים נובע ממרחב תימרון או משגיאות והשמטות.
לכן, הוועדה לא הצליחה לברר אפילו את השאלה הטכנית הבאה: האם קיים מרחב תימרון גם כאשר איסוף הנתונים נעשה כהלכה!

ג. התעמולה של מתנגדי המחקר

מתנגדי המחקר מסלפים ביודעין את משמעות תוצאות עבודת הוועדה.
הנה כיצד מציג זאת נציג מתנגדי המחקר בוועדה, פרופסור דרור בר-נתן [הורדנו זאת מן האתר שלו ביום כ"ט ניסן התש"ע (13 באפריל 2010 למניינם). לפי הכיתוב באתר, החומר הוצב שם לראשונה ב-4 בספטמבר 2002 (למניינם) ועודכן ב-14 למאי 2003 (למניינם). כלומר, הוא הזדרז ופרסם זאת לפני פרסום דו"ח הוועדה שהיה ביוני 2004 (למניינם)]:

Anyway, here are the results of the analysis:

The Replicative Experiment	The Fresh Experiment
1,000,000 / 578,075	1,000,000 / 463,406

Some of the readers of this page may not be sufficiently immersed in this subject to understand what these numbers mean. Ok, here's the meaning, plain and short:

A Complete Failure of the "Codes"

הנה הוא מכריז בצבע אדום רעשני על "כשלון מוחלט של 'הקודים'".
לדעתו, זו משמעות תוצאות ניסויי הוועדה.

האם פרופסור דרור בר-נתן אינו מודע לתובנות הפשוטות שפורטו בסעיפים הקודמים?
יתר על כן, האם פרופסור דרור בר-נתן אינו מודע לכך שבאיסוף הנתונים היו ליקויים פאטאליים, וכי אין שום ערך לתוצאות המתקבלות עבור נתונים שגויים?

הבה נבדוק את עמדתו של פרופסור בר-נתן לפני ביצוע החישובים.
מן הפרוטוקולים של הוועדה ומדו"ח הוועדה, מתברר כי:
1.   פרופסור בר-נתן התנגד נחרצות לקביעת סף להצלחה בניסויים. הוא לא היה מוכן לחתום שהניסוי הצליח אפילו אם המובהקות טובה מאחד למיליון.
2.   פרופסור בר-נתן היה מעוניין אך ורק ברשימות הנתונים עצמן, כדי שכל אחד ינתח אותם לפי הבנתו.
3.   פרופסור בר-נתן דרש שרשימות הנתונים יפורסמו בציבור כדי שיהיה אפשר להעמידם בביקורת קפדנית:

"…my only remaining interest in the "Gans Committee" is that the data it had collected will be made available to the public for scrutiny."

(מתוך דו"ח הוועדה, נספח 5).
4. פרופסור בר-נתן הביע ביוזמתו את דעתו, כי אין משמעות לתוצאה שלילית שהתקבלה כתוצאה מנתונים שגויים.

עמדות 1, 2 ו-4 הובעו בישיבות הוועדה. הנה ציטוט מתוך הפרוטוקולים של הוועדה לבדיקת עבודתו של גאנז, מיום 29 ביוני 1998 (למניינם):

"ישראל אומן: אני מבין אותך נכון שהסף הוא אחד לעשרת אלפים?
דרור בר-נתן: זה לא סף לשום דבר. ואם יצא תוצאה של אחד למיליון אני עוד יותר אתרשם, מה אני אגיד. אבל שוב, ברור לגמרי, לגבי הכיוון השני, נגיד שהתוצאה תצא שלילית לחלוטין, וזה בגלל שהמומחה שלנו במעבד תמלילים שלו, בכל מקום שהיה צריך לכתוב ד' הוא כתב ז', כי זה אותיות שנראות די דומה.
לא יודע למה העליתי את זה. מסקנות חדות לא נוכל להוציא מכאן, אין טעם לנסות להוציא מכאן. אז בואו נסתפק במה שיש לנו להוציא, מה שיש לנו סיכוי להוציא זה רשימות שיצאו בתנאים מבוקרים ואחרי זה אפשר טו אנלייז כל אחד כהבנתו..."

לגבי עמדה 1, יש להעיר, כי מבחינה לוגית, אם מובהקות חזקה אין בה כדי להצביע על הצפנה, קל וחומר שחוסר מובהקות אין בו כדי להצביע על חוסר הצפנה!
לכן, לפי עמדת פרופסור בר-נתן לפני הניסוי, חוסר המובהקות שנתקבל אינו מצביע על "כשלון מוחלט של 'הקודים'" – אפילו הנתונים היו תקינים!

לגבי עמדה 2, יש להעיר, כי אנחנו אכן ניתחנו את הנתונים. הקוראים מופנים לתקציר ביקורת עבודת הוועדה, ובפרט לסעיף ו' שם (הקש כאן).
אולם פרופסור בר-נתן לא ניתח שום דבר, אלא הסתפק בתוצאות המספריות בלבד – היפך עמדתו המוצהרת שלפני הניסוי.

לגבי עמדה 3, יש להעיר, כי אנחנו אכן העמדנו את מהלך איסוף הנתונים בביקורת קפדנית. הקוראים מופנים לתקציר ביקורת עבודת הוועדה (הקש כאן).
אולם פרופסור בר-נתן לא ביקר שום דבר. הוא אף אינו מדווח לקורא כי קיימת ביקורת על הנתונים, למרות שהיא היתה קיימת עוד לפני חישוב התוצאות. בעוד הוא מספק קישור ל- Discussion Paper #364, הוא אינו מפנה לביקורת שהתפרסמה ב- Discussion Paper #365 של המרכז לחקר הרציונליות, ואף אינו מדווח על קיומו של Discussion Paper #365. כך גם נמנע מקוראיו לדעת, כי חברי הוועדה מודים בקיום שגיאות בנתונים, וכי אחד משלושת חברי הוועדה סרב לחתום על תוצאות הניסויים, אשר לדעתו הם חסרי ערך מדעי.

לגבי עמדה 4, יש להעיר, כי אנחנו הבאנו ראיות מוצקות לכך שנפלו שגיאות והשמטות מרובות בנתונים, וכי נוצרו ליקויים פאטאליים בניסויים המוצעים. הקוראים מופנים לתקציר ביקורת עבודת הוועדה (הקש כאן).
אולם פרופסור בר-נתן התעלם מכל זה – היפך עמדתו המוצהרת שלפני הניסוי.

מהלך מפתיע

ביקורתנו על עבודת הוועדה, שפורסמה ב- Discussion Paper #365 לפי ההסכם עם יו"ר הוועדה (ראה לעיל, חלק א' סעיף ד'), הכילה תקציר (אל מקורו העברי הפנינו לעיל), ונספח גדול בן 157 עמודים המפרט את כל השגיאות והמחדלים. טרחנו וצילמנו עשרות צילומים מתוך מקורות עליהם הסתמך המומחה המרכזי לגבי ניסוי [R], ופעם אחר פעם מתברר כי המקור עליו הסתמך אומר אחרת (או הפוך!) מדבריו.
לאדם מן הצד, שלא בדק זאת בעצמו, קשה להאמין כי זה מצב העניינים, לכן התיעוד המצולם חשוב ביותר.

ביקורתנו על עבודת הוועדה, שפורסמה ב- Discussion Paper #365 הועלתה לאתר המרכז לחקר הרציונליות כקובץ DP365.pdf ביולי 2004 (למניינם). בשנת 2005 (למניינם) התמנתה פרופסור מיה בר-הלל, חברתו הנמרצת של פרופסור בר-נתן למלחמה במחקר הצפנים בתורה, לעמוד בראש המרכז לחקר הרציונליות. היא הטילה וטו על הכללת הנספח המקיף שלנו בקובץ DP365.pdf . פרופסור ישראל אומן, יו"ר הוועדה מחה על כך. היא הביאה את הנושא להצבעה בוועדה המבצעת
(Executive Committee) של המרכז לרציונליות, וקבלה תמיכה לכך משאר חבריה, פרט לפרופסור אומן.

כך נמחק הנספח מקובץ DP365.pdf , מבלי שכלל ידענו על כך. יתר על כן, נעשו שינויים בתקציר שלנו, מבלי להודיע לנו דבר על כך, שינויים המשבשים את הבנת הנקרא.

עובדת המחיקה נודעה לנו אחרי חודשים רבים באקראי, כאשר פרופסור רוברט האראליק, שנכנס לאתר של המרכז לחקר הרציונליות, השתומם למצוא שהקובץ הנ"ל עבר דייאטה חריפה והצטמק מ- 178 עמודים ל-21 בלבד. בירור נוסף העלה את הממצאים המצערים דלעיל.

אין ספק, שהתרגיל המפתיע של פרופסור בר-הלל
יש בו כדי למנוע מן הציבור לדעת,
כי המצג של פרופסור בר-נתן: