CROSSTABS: Handle case where all cases in a crosstabulation are missing.
[pspp] / src / language / stats / sign.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2009 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18 #include "sign.h"
19
20 #include <data/variable.h>
21 #include <libpspp/str.h>
22 #include <output/tab.h>
23 #include <gsl/gsl_cdf.h>
24 #include <gsl/gsl_randist.h>
25 #include "npar.h"
26 #include <data/procedure.h>
27 #include <data/missing-values.h>
28 #include <data/dictionary.h>
29 #include <data/casereader.h>
30 #include <data/format.h>
31
32 #include "minmax.h"
33 #include "xalloc.h"
34
35 #include "gettext.h"
36 #define _(msgid) gettext (msgid)
37
38 struct sign_test_params
39 {
40   double pos;
41   double ties;
42   double neg;
43
44   double one_tailed_sig;
45   double point_prob;
46 };
47
48
49 static void
50 output_frequency_table (const struct two_sample_test *t2s,
51                         const struct sign_test_params *param,
52                         const struct dictionary *dict)
53 {
54   int i;
55   struct tab_table *table = tab_create (3, 1 + 4 * t2s->n_pairs);
56
57   const struct variable *wv = dict_get_weight (dict);
58   const struct fmt_spec *wfmt = wv ? var_get_print_format (wv) : & F_8_0;
59
60   tab_title (table, _("Frequencies"));
61
62   tab_headers (table, 2, 0, 1, 0);
63
64   /* Vertical lines inside the box */
65   tab_box (table, 0, 0, -1, TAL_1,
66            1, 0, tab_nc (table) - 1, tab_nr (table) - 1 );
67
68   /* Box around entire table */
69   tab_box (table, TAL_2, TAL_2, -1, -1,
70            0, 0, tab_nc (table) - 1, tab_nr (table) - 1 );
71
72   tab_text (table,  2, 0,  TAB_CENTER, _("N"));
73
74   for (i = 0 ; i < t2s->n_pairs; ++i)
75     {
76       variable_pair *vp = &t2s->pairs[i];
77
78       struct string pair_name;
79       ds_init_cstr (&pair_name, var_to_string ((*vp)[0]));
80       ds_put_cstr (&pair_name, " - ");
81       ds_put_cstr (&pair_name, var_to_string ((*vp)[1]));
82
83
84       tab_text (table, 0, 1 + i * 4, TAB_LEFT, ds_cstr (&pair_name));
85
86       ds_destroy (&pair_name);
87
88       tab_hline (table, TAL_1, 0, tab_nc (table) - 1, 1 + i * 4);
89
90       tab_text (table,  1, 1 + i * 4,  TAB_LEFT, _("Negative Differences"));
91       tab_text (table,  1, 2 + i * 4,  TAB_LEFT, _("Positive Differences"));
92       tab_text (table,  1, 3 + i * 4,  TAB_LEFT, _("Ties"));
93       tab_text (table,  1, 4 + i * 4,  TAB_LEFT, _("Total"));
94
95       tab_double (table, 2, 1 + i * 4, TAB_RIGHT, param[i].neg, wfmt);
96       tab_double (table, 2, 2 + i * 4, TAB_RIGHT, param[i].pos, wfmt);
97       tab_double (table, 2, 3 + i * 4, TAB_RIGHT, param[i].ties, wfmt);
98       tab_double (table, 2, 4 + i * 4, TAB_RIGHT,
99                  param[i].ties + param[i].neg + param[i].pos, wfmt);
100     }
101
102   tab_submit (table);
103 }
104
105 static void
106 output_statistics_table (const struct two_sample_test *t2s,
107                          const struct sign_test_params *param)
108 {
109   int i;
110   struct tab_table *table = tab_create (1 + t2s->n_pairs, 4);
111
112   tab_title (table, _("Test Statistics"));
113
114   tab_headers (table, 0, 1,  0, 1);
115
116   tab_hline (table, TAL_2, 0, tab_nc (table) - 1, 1);
117   tab_vline (table, TAL_2, 1, 0, tab_nr (table) - 1);
118
119
120   /* Vertical lines inside the box */
121   tab_box (table, -1, -1, -1, TAL_1,
122            0, 0,
123            tab_nc (table) - 1, tab_nr (table) - 1);
124
125   /* Box around entire table */
126   tab_box (table, TAL_2, TAL_2, -1, -1,
127            0, 0, tab_nc (table) - 1,
128            tab_nr (table) - 1);
129
130   tab_text (table,  0, 1, TAT_TITLE | TAB_LEFT,
131             _("Exact Sig. (2-tailed)"));
132
133   tab_text (table,  0, 2, TAT_TITLE | TAB_LEFT,
134             _("Exact Sig. (1-tailed)"));
135
136   tab_text (table,  0, 3, TAT_TITLE | TAB_LEFT,
137             _("Point Probability"));
138
139   for (i = 0 ; i < t2s->n_pairs; ++i)
140     {
141       variable_pair *vp = &t2s->pairs[i];
142
143       struct string pair_name;
144       ds_init_cstr (&pair_name, var_to_string ((*vp)[0]));
145       ds_put_cstr (&pair_name, " - ");
146       ds_put_cstr (&pair_name, var_to_string ((*vp)[1]));
147
148       tab_text (table,  1 + i, 0, TAB_LEFT, ds_cstr (&pair_name));
149       ds_destroy (&pair_name);
150
151       tab_double (table, 1 + i, 1, TAB_RIGHT,
152                   param[i].one_tailed_sig * 2, NULL);
153
154       tab_double (table, 1 + i, 2, TAB_RIGHT, param[i].one_tailed_sig, NULL);
155       tab_double (table, 1 + i, 3, TAB_RIGHT, param[i].point_prob, NULL);
156     }
157
158   tab_submit (table);
159 }
160
161 void
162 sign_execute (const struct dataset *ds,
163                   struct casereader *input,
164                   enum mv_class exclude,
165                   const struct npar_test *test,
166                   bool exact UNUSED,
167                   double timer UNUSED)
168 {
169   int i;
170   bool warn = true;
171   const struct dictionary *dict = dataset_dict (ds);
172   const struct two_sample_test *t2s = UP_CAST (test, const struct two_sample_test, parent);
173   struct ccase *c;
174
175   struct sign_test_params *stp = xcalloc (sizeof *stp, t2s->n_pairs);
176
177   struct casereader *r = input;
178
179   for (; (c = casereader_read (r)) != NULL; case_unref (c))
180     {
181       const double weight = dict_get_case_weight (dict, c, &warn);
182
183       for (i = 0 ; i < t2s->n_pairs; ++i )
184         {
185           variable_pair *vp = &t2s->pairs[i];
186           const union value *value0 = case_data (c, (*vp)[0]);
187           const union value *value1 = case_data (c, (*vp)[1]);
188           const double diff = value0->f - value1->f;
189
190           if (var_is_value_missing ((*vp)[0], value0, exclude))
191             continue;
192
193           if (var_is_value_missing ((*vp)[1], value1, exclude))
194             continue;
195
196           if ( diff > 0)
197             stp[i].pos += weight;
198           else if (diff < 0)
199             stp[i].neg += weight;
200           else
201             stp[i].ties += weight;
202         }
203     }
204
205   casereader_destroy (r);
206
207   for (i = 0 ; i < t2s->n_pairs; ++i )
208     {
209       int r = MIN (stp[i].pos, stp[i].neg);
210       stp[i].one_tailed_sig = gsl_cdf_binomial_P (r,
211                                                   0.5,
212                                                   stp[i].pos + stp[i].neg);
213
214       stp[i].point_prob = gsl_ran_binomial_pdf (r, 0.5,
215                                                 stp[i].pos + stp[i].neg);
216     }
217
218   output_frequency_table (t2s, stp, dict);
219
220   output_statistics_table (t2s, stp);
221
222   free (stp);
223 }