ב"ה י"ח תמוז התשס"ה
נספח ב
על מדגם העמים:
מדידה מדויקת
בנספח זה נדון בטענות המבקרים לגבי המדידה שערכנו לגבי "מדגם העמים". המבקרים מתחו ביקורת על יישום שיטת הראנדומיזציה המקורית לגבי "מדגם העמים" וטענו, כי התוצאות חסרות משמעות, בגלל כמה גורמים המיוחדים למדגם זה.
הטענה לגבי המדידה, היא טענה טכנית-מתמטית. נוכיח, כי הטענה, שהתוצאות חסרות משמעות – אינה נכונה. אומנם מתברר, כי ביישום שיטת הראנדומיזציה מבית מדרשו של דיאקוניס לגבי "מדגם העמים", נוצרים אי-דיוקים מסוימים, בגלל גורם זה או אחר, המיוחד לנתוני מדגם זה. אולם, כאשר משתמשים בשיטת ראנדומיזציה אחרת, שגורמים אלו אינם רלוונטיים לה, מקבלים תוצאות מדויקות. כך מתברר, כי התוצאות המדויקות אף טובות מאלו שפרסמנו!
א. טענות המבקרים
המבקרים השקיעו מאמץ רב ומשאבים גדולים במדידות שערכו. לדבריהם, הם הפעילו 50 תחנות עבודה בו-זמנית כדי להתמודד עם המספר העצום של החישובים. זוהי עוצמת חישוב דמיונית בהשוואה ליכולתו של המחשב הביתי הצנוע, ששימש אותי כמה שנים קודם לכן, בעבודה המקורית. למעשה, זו עוצמת חישוב אדירה גם ביחס למחשב הביתי, ששימש אותי כדי לבדוק את טענותיהם. על כן, נאלצתי לסמוך על הנתונים שלהם, כפי שנראה להלן.
בעניין שיטת המדידה מספקים המבקרים נתונים וגם השערות. אינני מתכוון להתווכח כאן עם ההשערות, שהעלו המבקרים כדי לפסול את שיטת הראנדומיזציה המקורית. וזאת, בעיקר משום שהם עצמם מודים, שאין להם הסברים אמיתיים. הנקודה היחידה בדבריהם, שאפשר להתייחס אליה ברצינות, היא טענתם שערכו מדידות מסוימות ושתוצאותיהן הצביעו על אנומליה מסוימת בהתפלגות הדירוגים במבחן הראנדומיזציה המקורי [1], ואף זאת בתנאי שהחישובים אכן נכונים.
1. נתוני המבקרים לגבי מבחן הראנדומיזציה המקורי:
המבקרים מדווחים, כי ערכו את מבחן הראנדומיזציה עבור הזוגות מסוג (גמר, עם גמר) במדגם, וכן עשו לגבי שאר "הקידומות": "ארץ", "שפת" ו"כתב". דהיינו, הם ערכו מבחן לגבי הזוגות מסוג (גמר, עם גמר) בפני עצמם, מבחן עבור הזוגות מסוג (גמר, ארץ גמר) בפני עצמם, מבחן עבור הזוגות מסוג (גמר, שפת גמר) בפני עצמם, ועוד מבחן עבור הזוגות מסוג (גמר, כתב גמר). נוסף לבדיקת 4 קידומות אלה – עם, ארץ, שפת וכתב – הם המשיכו ועשו מבחנים כאלו עבור עוד 132 קידומות לפי בחירתם (רשימת הקידומות נמצאת בנספח ה). סך הכל הם מדווחים על 136 מבחני ראנדומיזציה. כולם נערכו עבור "המידה הכוללת לקירבה" השניה – P2. בכל אחד מ-136 המבחנים הם קבלו מספר, המבטא את הדירוג של P2 מתוך 1,000,000 מתחרים.
הם חקרו את ההתפלגות של 136 הדירוגים, כאשר הניסויים מבוצעים בספר בראשית. את 136 המספרים הם חילקו ל- 10 תאים כך, שבתא j ישנם הדירוגים שבין 100000j+1 לבין 100000 מתוך מיליון. לדבריהם, הם הבחינו שקיימת התפלגות לא-אחידה עם הצטברות מסוימת בקצוות: הן בערכים הנמוכים והן בגבוהים. כדי לחקור האם חוסר האחידות וההצטברות בקצוות הם הנורמה עבור מבחן הראנדומיזציה, הם הריצו אותה סדרה של 136 ניסויים, על 10 טקסטים דומים, לשם ביקורת. לדבריהם, הם יצרו כל טקסט על ידי ערבוב אקראי של סדר המלים בתוך כל פסוק בספר בראשית, חוץ מן הפסוקים שבפרק י'. את פרק י', בו מנויים כל שמות העמים בסדר מסוים, הם השאירו ללא שינוי כדי לעשות את ההשוואה עם ספר בראשית "יותר בעלת משמעות". המד"שים המוכלים בתוך פרק י' לא נלקחו בחישובים, כדי "שהתוצאות בטקסטים השונים תהיינה בלתי תלויות". התוצאות רשומות בטבלה שלפנינו. טקסט G הוא ספר בראשית. עשרת השורות הראשונות מדגימות את איכלוס 10 התאים הנ"ל, ושלוש השורות האחרונות מדגימות את הדירוג המינימלי, הממוצע והמקסימלי (מתוך מיליון).
Text 9 |
Text 8 |
Text 7 |
Text 6 |
Text 5 |
Text 4 |
Text 3 |
Text 2 |
Text 1 |
Text 0 |
G |
Bin |
19 |
19 |
13 |
14 |
17 |
18 |
23 |
22 |
19 |
15 |
23 |
0 |
18 |
13 |
18 |
13 |
6 |
12 |
15 |
8 |
13 |
13 |
17 |
1 |
13 |
11 |
15 |
13 |
18 |
8 |
15 |
16 |
13 |
17 |
9 |
2 |
11 |
12 |
10 |
18 |
16 |
7 |
9 |
7 |
14 |
13 |
13 |
3 |
7 |
7 |
13 |
9 |
12 |
10 |
7 |
13 |
7 |
9 |
11 |
4 |
8 |
10 |
8 |
12 |
5 |
16 |
12 |
13 |
11 |
16 |
12 |
5 |
10 |
18 |
13 |
8 |
10 |
22 |
22 |
9 |
7 |
10 |
10 |
6 |
10 |
16 |
15 |
11 |
13 |
9 |
10 |
20 |
13 |
9 |
14 |
7 |
13 |
11 |
13 |
15 |
23 |
14 |
14 |
15 |
15 |
13 |
16 |
8 |
27 |
19 |
18 |
22 |
16 |
20 |
9 |
13 |
24 |
21 |
11 |
9 |
2481 |
6247 |
6184 |
180 |
4979 |
874 |
608 |
1584 |
3991 |
5314 |
493 |
min |
514246 |
512851 |
505910 |
522828 |
519963 |
534142 |
458654 |
496493 |
517197 |
504905 |
463125 |
mean |
998778 |
991129 |
997025 |
999229 |
999849 |
999864 |
997583 |
999141 |
999923 |
999807 |
990921 |
max |
מסכמים המבקרים [2]:
הדבר האופייני ביותר להתפלגויות אלו הוא חוסר העקביות שלהן. כמה מהן קרובות להתפלגות אחידה, אבל אחרות מוטות בצורה ניכרת בכיוון החיובי או השלילי. גם הערכים המינימליים וגם המכסימליים נראים מוגזמים.כמה דברים צריכים להיות ברורים מתוצאות אלו. ראשית, ההנחה של ויצטום וחבריו כי הדרוגים מתפלגים באופן אחיד היא בלתי מבוססת, משום שהרבה מן הטקסטים נותנים התפלגויות לא-אחידות באופן ניכר. ויותר חשוב, חוסר האחידות עלול להיות ניכר יותר בקצות ההתפלגות, מקום בו ויצטום וחבריו מודדים את "רמות המובהקות".
2. הערה על הנתונים הנ"ל:
המבקרים יודעים היטב כי כאשר חוזרים על ניסוי "מדגם העמים" בטקסט V (שנוצר מספר בראשית על ידי עירוב אקראי של הפסוקים), או בטקסט W (שנוצר מספר בראשית על ידי עירוב אקראי של המלים), או בטקסט U (שנוצר מספר בראשית על ידי עירוב אקראי של המלים בתוך כל פסוק) [3]– מקבלים כשלון חרוץ תחת הצלחה אדירה. לכן, צריך היה להיות ברור להם, כי אין בכח האנומליה - עליה הצביעו – ליצור את הצלחת מדגם העמים בבחינת "יש מאין".
3. הנתונים המתקבלים בשיטת RPWL:
שיטת RPWL היא שיטת ראנדומיזציה עדיפה, המתוארת בסעיף הבא. כדי לערוך ניסוי דומה לזה של המבקרים, והפעם בשיטת RPWL , יצרנו 10 טקסטים באופן המתואר על ידי המבקרים.
כדי לחסוך זמן (שיטה זו דורשת הרבה יותר חישובים), בדקנו בשלב זה את אזורי הקצוות: תא 0 מזה, ותא 9 מזה [4]. מצאנו גם את המינימום והמקסימום עבור כל טקסט. אנחנו ערכנו את המבחנים עבור שתי המידות הכוללות לקירבה – P1 ו- P2. הנה התוצאות עבור דירוגי P1:
Text 9 |
Text 8 |
Text 7 |
Text 6 |
Text 5 |
Text 4 |
Text 3 |
Text 2 |
Text 1 |
Text 0 |
Bin |
9 |
14 |
14 |
15 |
12 |
13 |
5 |
8 |
14 |
13 |
0 |
13 |
16 |
11 |
12 |
13 |
11 |
8 |
20 |
16 |
10 |
9 |
13605 |
7771 |
2984 |
5334 |
2867 |
14822 |
34204 |
3064 |
16145 |
2177 |
min |
994129 |
997363 |
980781 |
997474 |
996302 |
998763 |
977197 |
992263 |
998915 |
985212 |
max |
והנה התוצאות עבור דירוגי P2 :
Text 9 |
Text 8 |
Text 7 |
Text 6 |
Text 5 |
Text 4 |
Text 3 |
Text 2 |
Text 1 |
Text 0 |
Bin |
11 |
10 |
10 |
12 |
15 |
12 |
9 |
14 |
17 |
14 |
0 |
15 |
13 |
12 |
13 |
13 |
14 |
7 |
15 |
24 |
12 |
9 |
10626 |
10225 |
1659 |
1076 |
6775 |
11176 |
21471 |
7705 |
17038 |
5112 |
min |
998581 |
995961 |
989584 |
995230 |
997275 |
999204 |
999790 |
998372 |
996099 |
984823 |
max |
מטבלאות אלה ברור לגמרי, שבשיטת RPWL אין הצטברויות חריגות בקצוות, ואין ערכי מינימום ומקסימום חריגים בטקסטים שנועדו לביקורת.
ב. שיטת המדידה RPWL
1. תזכורת:
ראשית, נזכיר היכן הוגדרו כמה מושגים בסיסיים:
- מידת הקירבה המכוילת ('c(w,w: ההגדרה המדויקת של "מידת הקירבה המכויילת" ('c(w,w למקרה שלפנינו (מפגשים בין ביטויים בדילוג אותיות לבין ביטויים הנמצאים בטקסט כרצף של אותיות), נמצאת ב"צופן בראשית" כרך א', נספח 3, סעיף ג'. ראה כאן.
- מידות "הנטייה הכוללת לקירבה" P1 ו- P2 : הגדרת שתי הסטטיסטיקות נמצאת ב"צופן בראשית" בכרך א', נספח 5. ראה כאן.
- הראנדומיזציה המקורית: תיאור הראנדומיזציה המקורית, מבית מדרשו של פרופסור פרסי דיאקוניס, נמצא ב"צופן בראשית" בכרך א', בפרק י"ג ובנספח 9 שם. ראה כאן.
2. שיטת RPWL:
שיטת Randomization by Permutations of Words’ Letters)
RPWL) היא שיטת ראנדומיזציה חדשה יחסית, שפותחה לראשונה עבור "מדגמי כותרת" [5] (מדגמים אסימטריים מטיפוס S). אחר כך יושמה גם עבור מדגמים סימטריים מטיפוס P: שיטת RPWL יושמה לראשונה לגבי המדגם הגדול השני של גדולי חכמי התורה [6]. השיטה מוסברת במקורות המצוינים בהערות.
לשם המחשה, נתאר כאן את יישום השיטה לגבי החלק "הרגולרי" של מדגם העמים, כפי שהוגדר בנספח ג:
1. לוקחים אחד מזוגות המדגם: (X, קידומת X). עורכים לביטוי "קידומת " 1000 פרמוטציות (כולל סדור האותיות המקורי). במקרה שמספר הפרמוטציות האפשריות n קטן מ-1000, מבצעים n פרמוטציות. הפרמוטציות נעשות בשיטה קבועה.
לדוגמא: הזוג הראשון הוא (גמר, עם גמר). נציג כאן כמה מן הזוגות הנוצרים על ידי הפרמוטציות הנ"ל (כסדרן, החל מן הראשונה ועד האחרונה משמאל לימין):
גמר
ממרגע |
גמר
ממעגר |
••• |
גמר
געממר |
גמר
געמרמ |
גמר
גערממ |
גמר
עמגמר |
2. מחשבים את ערכי ('c(w,w של המפגשים של כל אחת מ- 1000 (או n) הפרמוטציות של "קידומת X" המופיעות בדילוג אותיות לבין "X" הנמצא בבראשית כרצף אותיות. למשל, לגבי הדוגמא דלעיל, אנו מקבלים שורה של תאים. בכל תא יש ערך c של הזוג המסויים:
34/125 |
21/125 |
••• |
98/125 |
95/125 |
34/125 |
92/125 |
במקרה שפרמוטציה מסויימת של הביטוי "קידומת X" אינה מופיעה בדילוגים שווים, התא המתאים יהיה ריק.
3. שלבים 1, ו- 2 בוצעו לגבי כל הזוגות במדגם. כך קיבלנו שורות של תאים, בכל שורה 1000 (או n) תאים. בכל תא שאינו ריק נמצא ערך ('c(w,w של המפגש (X, פרמוטציה של קידומת X).
4. מגרילים אחד מן התאים בשורה הראשונה, אחד מן התאים בשורה השניה, וכן הלאה. מקבלים קבוצה של ערכי ('c(w,w ומחשבים את ערכי Pi עבורם.
5. חוזרים על התהליך 999,999,999 פעמים, ע"י הגרלות אקראיות שנוצרו באופן דומה לזה המתואר ב"צופן בראשית" כרך א', נספח 9. ראה גם כאן.
מקורות והערות
1. על מבחן הראנדומיזציה ראה ב"צופן בראשית" פרק י"ג, נספח 9 ונספח 11. ראה כאן וכאן.
(חזור)
2. במקור:
a "The most obvious characteristic of these distributions is their inconsistency. A few are near-uniform, but others are skewed markedly in the positive or negative direction. Both the minima and maxima appear exaggerated. Several things should be clear from these results. Firstly, WRR’s assumption of uniformity in the rank orders is unfounded, as many of the texts give profoundly non-uniform distributions. More importantly, the non-uniformity may be more pronounced at the extremes of the distribution where WRR measure their ‘significance levels’."a
(חזור)
3. פרטים מלאים על טקסטים אלה ראה ב"צופן בראשית" בפרק י"ד ובסוף נספח 9. ראה כאן, בסוף. טקסטים אלה היו בידם של המבקרים.
(חזור)
4. הם חושבו לפי ה"קידומות" הקיצוניות, 30 מהן בכל קצה.
(חזור)
5. ראה על כך ב"צופן בראשית" כרך א', בתחילת פרק י"ט, ובנספח 11 שם. ראה כאן וכאן.
(חזור)
6. ד. ויצטום וי. ברמז (התשנ"ח). על מדידה חדשה של מדגם גדולי חכמי התורה.
תוכן המאמר והתוצאות החישוביות שבו נכללו אחר כך בתוך:
ד. ויצטום (התשנ"ח). על הרמז בדילוג השווה: מדידה חדשה של מדגם גדולי חכמי התורה. בד"ד - כתב עת לענייני תורה ומדע - 7, עמ' 49-76, הוצאת אוניברסיטת בר-אילן, רמת-גן.
(חזור)
חזור לראש הדף