7e5ac8b466d546accfec1ae9bf592d4cfa2b7f0c
[pspp] / src / factor_stats.c
1 /* PSPP - A program for statistical analysis . -*-c-*-
2
3 Copyright (C) 2004 Free Software Foundation, Inc.
4 Author: John Darrington 2004
5
6 This program is free software; you can redistribute it and/or
7 modify it under the terms of the GNU General Public License as
8 published by the Free Software Foundation; either version 2 of the
9 License, or (at your option) any later version.
10
11 This program is distributed in the hope that it will be useful, but
12 WITHOUT ANY WARRANTY; without even the implied warranty of
13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 General Public License for more details.
15
16 You should have received a copy of the GNU General Public License
17 along with this program; if not, write to the Free Software
18 Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
19 02111-1307, USA. */
20
21 #include "factor_stats.h"
22 #include "config.h"
23 #include "val.h"
24 #include "hash.h"
25 #include "algorithm.h"
26 #include "alloc.h"
27 #include "moments.h"
28 #include "percentiles.h"
29
30 #include <stdlib.h>
31 #include <math.h>
32 #include <float.h>
33 #include <assert.h>
34 #include <chart.h>
35
36
37 void
38 metrics_precalc(struct metrics *m)
39 {
40   assert (m) ;
41
42   m->n_missing = 0;
43
44   m->min = DBL_MAX;
45   m->max = -DBL_MAX;
46
47
48   m->moments = moments1_create(MOMENT_KURTOSIS);
49
50   m->ordered_data = hsh_create(20,
51                                 (hsh_compare_func *) compare_values,
52                                 (hsh_hash_func *) hash_value,
53                                 (hsh_free_func *) weighted_value_free,
54                                 (void *) 0);
55 }
56
57
58 /* Include val in the calculation for the metrics.
59    If val is null, then treat it as MISSING
60 */
61 void
62 metrics_calc(struct metrics *fs, const union value *val, 
63              double weight, int case_no)
64 {
65   struct weighted_value **wv;
66   double x;
67   
68   if ( ! val ) 
69     {
70       fs->n_missing += weight;
71       return ;
72     }
73
74   x = val->f;
75
76   moments1_add(fs->moments, x, weight);
77
78
79   if ( x < fs->min) fs->min = x;
80   if ( x > fs->max) fs->max = x;
81
82
83   wv = (struct weighted_value **) hsh_probe (fs->ordered_data,(void *) val );
84
85   if ( *wv  ) 
86     {
87       /* If this value has already been seen, then simply 
88          increase its weight  and push a new case number */
89
90       struct case_node *cn;
91
92       assert( (*wv)->v.f == val->f );
93       (*wv)->w += weight;      
94
95       cn = xmalloc( sizeof (struct case_node) ) ;
96       cn->next = (*wv)->case_nos ;
97       cn->num = case_no;
98
99       (*wv)->case_nos = cn;
100     }
101   else
102     {
103       struct case_node *cn;
104
105       *wv = weighted_value_create();
106       (*wv)->v = *val;
107       (*wv)->w = weight;
108       
109       cn = xmalloc( sizeof (struct case_node) ) ;
110       cn->next=0;
111       cn->num = case_no;
112       (*wv)->case_nos  = cn;
113
114     }
115
116 }
117
118 void
119 metrics_postcalc(struct metrics *m)
120 {
121   double cc = 0.0;
122   double tc ;
123   int k1, k2 ;
124   int i;
125   int j = 1;  
126
127
128   moments1_calculate (m->moments, &m->n, &m->mean, &m->var, 
129                       &m->skewness, &m->kurtosis);
130
131   moments1_destroy (m->moments);
132
133
134   m->stddev = sqrt(m->var);
135
136   /* FIXME: Check this is correct ???
137      Shouldn't we use the sample variance ??? */
138   m->se_mean = sqrt (m->var / m->n) ;
139
140
141
142   m->wvp = (struct weighted_value **) hsh_sort(m->ordered_data);
143   m->n_data = hsh_count(m->ordered_data);
144
145   m->histogram = histogram_create(10, m->min, m->max);
146
147   for ( i = 0 ; i < m->n_data ; ++i ) 
148     {
149       struct weighted_value **wv = (m->wvp) ;
150       gsl_histogram_accumulate(m->histogram, wv[i]->v.f, wv[i]->w);
151     }
152
153   /* Trimmed mean calculation */
154   if ( m->n_data <= 1 ) 
155     {
156       m->trimmed_mean = m->mean;
157       return;
158     }
159
160   tc = m->n * 0.05 ;
161   k1 = -1;
162   k2 = -1;
163
164   for ( i = 0 ; i < m->n_data ; ++i ) 
165     {
166       cc += m->wvp[i]->w;
167       m->wvp[i]->cc = cc;
168
169       m->wvp[i]->rank = j + (m->wvp[i]->w - 1) / 2.0 ;
170       
171       j += m->wvp[i]->w;
172       
173       if ( cc < tc ) 
174         k1 = i;
175     }
176
177   
178
179   k2 = m->n_data;
180   for ( i = m->n_data -1  ; i >= 0; --i ) 
181     {
182       if ( tc > m->n - m->wvp[i]->cc) 
183         k2 = i;
184     }
185
186
187   /* Calculate the percentiles */
188   ptiles(m->ptile_hash, m->wvp, m->n_data, m->n, m->ptile_alg);
189
190   tukey_hinges(m->wvp, m->n_data, m->n, m->hinges);
191
192   /* Special case here */
193   if ( k1 + 1 == k2 ) 
194     {
195       m->trimmed_mean = m->wvp[k2]->v.f;
196       return;
197     }
198
199   m->trimmed_mean = 0;
200   for ( i = k1 + 2 ; i <= k2 - 1 ; ++i ) 
201     {
202       m->trimmed_mean += m->wvp[i]->v.f * m->wvp[i]->w;
203     }
204
205
206   m->trimmed_mean += (m->n - m->wvp[k2 - 1]->cc - tc) * m->wvp[k2]->v.f ;
207   m->trimmed_mean += (m->wvp[k1 + 1]->cc - tc) * m->wvp[k1 + 1]->v.f ;
208   m->trimmed_mean /= 0.9 * m->n ;
209
210 }
211
212
213 struct weighted_value *
214 weighted_value_create(void)
215 {
216   struct weighted_value *wv;
217   wv = xmalloc (sizeof (struct weighted_value ));
218
219   wv->cc = 0;
220   wv->case_nos = 0;
221
222   return wv;
223 }
224
225 void 
226 weighted_value_free(struct weighted_value *wv)
227 {
228   struct case_node *cn = wv->case_nos;
229
230   while(cn)
231     {
232       struct case_node *next = cn->next;
233       
234       free(cn);
235       cn = next;
236     }
237
238   free(wv);
239
240 }
241
242
243
244
245
246 /* Create a factor statistics object with for N dependent vars
247    and ID as the value of the independent variable */
248 struct factor_statistics * 
249 create_factor_statistics (int n, union value *id0, union value *id1)
250 {
251   struct factor_statistics *f;
252
253   f =  xmalloc( sizeof  ( struct factor_statistics ));
254
255   f->id[0] = *id0;
256   f->id[1] = *id1;
257   f->m = xmalloc( sizeof ( struct metrics ) * n ) ;
258
259   return f;
260 }
261
262
263 void
264 factor_statistics_free(struct factor_statistics *f)
265 {
266   hsh_destroy(f->m->ordered_data);
267   gsl_histogram_free(f->m->histogram);
268   free(f->m) ; 
269   free(f);
270 }
271
272
273
274
275 int 
276 factor_statistics_compare(const struct factor_statistics *f0,
277                           const struct factor_statistics *f1, int width)
278 {
279
280   int cmp0;
281
282   assert(f0);
283   assert(f1);
284
285   cmp0 = compare_values(&f0->id[0], &f1->id[0], width);
286
287   if ( cmp0 != 0 ) 
288     return cmp0;
289
290
291   if ( ( f0->id[1].f == SYSMIS )  && (f1->id[1].f != SYSMIS) ) 
292     return 1;
293
294   if ( ( f0->id[1].f != SYSMIS )  && (f1->id[1].f == SYSMIS) ) 
295     return -1;
296
297   return compare_values(&f0->id[1], &f1->id[1], width);
298   
299 }
300
301 unsigned int 
302 factor_statistics_hash(const struct factor_statistics *f, int width)
303 {
304   
305   unsigned int h;
306
307   h = hash_value(&f->id[0], width);
308   
309   if ( f->id[1].f != SYSMIS )
310     h += hash_value(&f->id[1], width);
311
312
313   return h;
314
315 }
316