QUICK CLUSTER: Implement pairwise missing option
[pspp] / src / language / stats / binomial.c
1 /* PSPP - a program for statistical analysis.
2    Copyright (C) 2006, 2009, 2010, 2011 Free Software Foundation, Inc.
3
4    This program is free software: you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation, either version 3 of the License, or
7    (at your option) any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
16
17 #include <config.h>
18
19 #include "language/stats/binomial.h"
20
21 #include <gsl/gsl_cdf.h>
22 #include <gsl/gsl_randist.h>
23
24 #include "data/case.h"
25 #include "data/casereader.h"
26 #include "data/dataset.h"
27 #include "data/dictionary.h"
28 #include "data/format.h"
29 #include "data/value-labels.h"
30 #include "data/value.h"
31 #include "data/variable.h"
32 #include "language/stats/freq.h"
33 #include "libpspp/assertion.h"
34 #include "libpspp/compiler.h"
35 #include "libpspp/message.h"
36 #include "libpspp/misc.h"
37 #include "output/tab.h"
38
39 #include "gl/xalloc.h"
40 #include "gl/minmax.h"
41
42 #include "gettext.h"
43 #define _(msgid) gettext (msgid)
44
45 static double calculate_binomial_internal (double n1, double n2,
46                                            double p);
47
48
49 static void
50 swap (double *i1, double *i2)
51 {
52   double temp = *i1;
53   *i1 = *i2;
54   *i2 = temp;
55 }
56
57 static double
58 calculate_binomial (double n1, double n2, double p)
59 {
60   const double n = n1 + n2;
61   const bool test_reversed = (n1 / n > p ) ;
62   if ( test_reversed )
63     {
64       p = 1 - p ;
65       swap (&n1, &n2);
66     }
67
68   return calculate_binomial_internal (n1, n2, p);
69 }
70
71 static double
72 calculate_binomial_internal (double n1, double n2, double p)
73 {
74   /* SPSS Statistical Algorithms has completely different and WRONG
75      advice here. */
76
77   double sig1tailed = gsl_cdf_binomial_P (n1, p, n1 + n2);
78
79   if ( p == 0.5 )
80     return sig1tailed > 0.5 ? 1.0 :sig1tailed * 2.0;
81
82   return sig1tailed ;
83 }
84
85 static bool
86 do_binomial (const struct dictionary *dict,
87              struct casereader *input,
88              const struct one_sample_test *ost,
89              struct freq *cat1,
90              struct freq *cat2,
91              enum mv_class exclude
92              )
93 {
94   const struct binomial_test *bst = UP_CAST (ost, const struct binomial_test, parent);
95   bool warn = true;
96
97   struct ccase *c;
98
99   for (; (c = casereader_read (input)) != NULL; case_unref (c))
100     {
101       int v;
102       double w = dict_get_case_weight (dict, c, &warn);
103
104       for (v = 0 ; v < ost->n_vars ; ++v )
105         {
106           const struct variable *var = ost->vars[v];
107           double value = case_num (c, var);
108
109           if (var_is_num_missing (var, value, exclude))
110             continue;
111
112           if (bst->cutpoint != SYSMIS)
113             {
114               if ( cat1[v].value.f >= value )
115                   cat1[v].count  += w;
116               else
117                   cat2[v].count += w;
118             }
119           else
120             {
121               if ( SYSMIS == cat1[v].value.f )
122                 {
123                   cat1[v].value.f = value;
124                   cat1[v].count = w;
125                 }
126               else if ( cat1[v].value.f == value )
127                 cat1[v].count += w;
128               else if ( SYSMIS == cat2[v].value.f )
129                 {
130                   cat2[v].value.f = value;
131                   cat2[v].count = w;
132                 }
133               else if ( cat2[v].value.f == value )
134                 cat2[v].count += w;
135               else if ( bst->category1 == SYSMIS)
136                 msg (ME, _("Variable %s is not dichotomous"), var_get_name (var));
137             }
138         }
139     }
140   return casereader_destroy (input);
141 }
142
143
144
145 void
146 binomial_execute (const struct dataset *ds,
147                   struct casereader *input,
148                   enum mv_class exclude,
149                   const struct npar_test *test,
150                   bool exact UNUSED,
151                   double timer UNUSED)
152 {
153   int v;
154   const struct dictionary *dict = dataset_dict (ds);
155   const struct one_sample_test *ost = UP_CAST (test, const struct one_sample_test, parent);
156   const struct binomial_test *bst = UP_CAST (ost, const struct binomial_test, parent);
157
158   struct freq *cat[2];
159   int i;
160
161   assert ((bst->category1 == SYSMIS) == (bst->category2 == SYSMIS) || bst->cutpoint != SYSMIS);
162
163   for (i = 0; i < 2; i++)
164     {
165       double value;
166       if (i == 0)
167         value = bst->cutpoint != SYSMIS ? bst->cutpoint : bst->category1;
168       else
169         value = bst->category2;
170
171       cat[i] = xnmalloc (ost->n_vars, sizeof *cat[i]);
172       for (v = 0; v < ost->n_vars; v++)
173         {
174           cat[i][v].value.f = value;
175           cat[i][v].count = 0;
176         }
177     }
178
179   if (do_binomial (dataset_dict (ds), input, ost, cat[0], cat[1], exclude))
180     {
181       const struct variable *wvar = dict_get_weight (dict);
182       const struct fmt_spec *wfmt = wvar ?
183         var_get_print_format (wvar) : & F_8_0;
184
185       struct tab_table *table = tab_create (7, ost->n_vars * 3 + 1);
186
187       tab_title (table, _("Binomial Test"));
188
189       tab_headers (table, 2, 0, 1, 0);
190
191       tab_box (table, TAL_1, TAL_1, -1, TAL_1,
192                0, 0, tab_nc (table) - 1, tab_nr(table) - 1 );
193
194       for (v = 0 ; v < ost->n_vars; ++v)
195         {
196           double n_total, sig;
197           struct string catstr[2];
198           const struct variable *var = ost->vars[v];
199
200           ds_init_empty (&catstr[0]);
201           ds_init_empty (&catstr[1]);
202
203           if ( bst->cutpoint != SYSMIS)
204             {
205               ds_put_format (&catstr[0], "<= %g", bst->cutpoint);
206             }
207           else
208             {
209               var_append_value_name (var, &cat[0][v].value, &catstr[0]);
210               var_append_value_name (var, &cat[1][v].value, &catstr[1]);
211             }
212
213           tab_hline (table, TAL_1, 0, tab_nc (table) -1, 1 + v * 3);
214
215           /* Titles */
216           tab_text (table, 0, 1 + v * 3, TAB_LEFT, var_to_string (var));
217           tab_text (table, 1, 1 + v * 3, TAB_LEFT, _("Group1"));
218           tab_text (table, 1, 2 + v * 3, TAB_LEFT, _("Group2"));
219           tab_text (table, 1, 3 + v * 3, TAB_LEFT, _("Total"));
220
221           /* Test Prop */
222           tab_double (table, 5, 1 + v * 3, TAB_NONE, bst->p, NULL);
223
224           /* Category labels */
225           tab_text (table, 2, 1 + v * 3, TAB_NONE, ds_cstr (&catstr[0]));
226           tab_text (table, 2, 2 + v * 3, TAB_NONE, ds_cstr (&catstr[1]));
227
228           /* Observed N */
229           tab_double (table, 3, 1 + v * 3, TAB_NONE, cat[0][v].count, wfmt);
230           tab_double (table, 3, 2 + v * 3, TAB_NONE, cat[1][v].count, wfmt);
231
232           n_total = cat[0][v].count + cat[1][v].count;
233           tab_double (table, 3, 3 + v * 3, TAB_NONE, n_total, wfmt);
234
235           /* Observed Proportions */
236           tab_double (table, 4, 1 + v * 3, TAB_NONE,
237                      cat[0][v].count / n_total, NULL);
238           tab_double (table, 4, 2 + v * 3, TAB_NONE,
239                      cat[1][v].count / n_total, NULL);
240
241           tab_double (table, 4, 3 + v * 3, TAB_NONE,
242                      (cat[0][v].count + cat[1][v].count) / n_total, NULL);
243
244           /* Significance */
245           sig = calculate_binomial (cat[0][v].count, cat[1][v].count, bst->p);
246           tab_double (table, 6, 1 + v * 3, TAB_NONE, sig, NULL);
247
248           ds_destroy (&catstr[0]);
249           ds_destroy (&catstr[1]);
250         }
251
252       tab_text (table,  2, 0,  TAB_CENTER, _("Category"));
253       tab_text (table,  3, 0,  TAB_CENTER, _("N"));
254       tab_text (table,  4, 0,  TAB_CENTER, _("Observed Prop."));
255       tab_text (table,  5, 0,  TAB_CENTER, _("Test Prop."));
256
257       tab_text_format (table,  6, 0,  TAB_CENTER,
258                        _("Exact Sig. (%d-tailed)"),
259                        bst->p == 0.5 ? 2 : 1);
260
261       tab_vline (table, TAL_2, 2, 0, tab_nr (table) -1);
262       tab_submit (table);
263     }
264
265   for (i = 0; i < 2; i++)
266     free (cat[i]);
267 }