src/factor_stats.c

   1 /* PSPP - A program for statistical analysis . -*-c-*-
   2
   3 Copyright (C) 2004 Free Software Foundation, Inc.
   4 Author: John Darrington 2004
   5
   6 This program is free software; you can redistribute it and/or
   7 modify it under the terms of the GNU General Public License as
   8 published by the Free Software Foundation; either version 2 of the
   9 License, or (at your option) any later version.
  10
  11 This program is distributed in the hope that it will be useful, but
  12 WITHOUT ANY WARRANTY; without even the implied warranty of
  13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 General Public License for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with this program; if not, write to the Free Software
  18 Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
  19 02111-1307, USA. */
  20
  21 #include "factor_stats.h"
  22 #include "config.h"
  23 #include "val.h"
  24 #include "hash.h"
  25 #include "algorithm.h"
  26 #include "alloc.h"
  27
  28 #include <stdlib.h>
  29 #include <math.h>
  30 #include <float.h>
  31 #include <assert.h>
  32
  33
  34
  35 void
  36 metrics_precalc(struct metrics *fs)
  37 {
  38   assert (fs) ;
  39
  40   fs->n = 0;
  41   fs->n_missing = 0;
  42   fs->ssq = 0;
  43   fs->sum = 0;
  44   fs->min = DBL_MAX;
  45   fs->max = -DBL_MAX;
  46
  47   fs->ordered_data = hsh_create(20,
  48                                 (hsh_compare_func *) compare_values,
  49                                 (hsh_hash_func *) hash_value,
  50                                 (hsh_free_func *) weighted_value_free,
  51                                 (void *) 0);
  52
  53 }
  54
  55
  56 /* Include val in the calculation for the metrics.
  57    If val is null, then treat it as MISSING
  58 */
  59 void
  60 metrics_calc(struct metrics *fs, const union value *val,
  61              double weight, int case_no)
  62 {
  63   struct weighted_value **wv;
  64   double x;
  65
  66   if ( ! val )
  67     {
  68       fs->n_missing += weight;
  69       return ;
  70     }
  71
  72   x = val->f;
  73   fs->n    += weight;
  74   fs->ssq  += x * x * weight;
  75   fs->sum  += x * weight;
  76
  77   if ( x < fs->min) fs->min = x;
  78   if ( x > fs->max) fs->max = x;
  79
  80
  81   wv = (struct weighted_value **) hsh_probe (fs->ordered_data,(void *) val );
  82
  83   if ( *wv  )
  84     {
  85       /* If this value has already been seen, then simply
  86          increase its weight  and push a new case number */
  87
  88       struct case_node *cn;
  89
  90       assert( (*wv)->v.f == val->f );
  91       (*wv)->w += weight;
  92
  93       cn = xmalloc( sizeof (struct case_node) ) ;
  94       cn->next = (*wv)->case_nos ;
  95       cn->num = case_no;
  96
  97       (*wv)->case_nos = cn;
  98     }
  99   else
 100     {
 101       struct case_node *cn;
 102
 103       *wv = weighted_value_create();
 104       (*wv)->v = *val;
 105       (*wv)->w = weight;
 106
 107       cn = xmalloc( sizeof (struct case_node) ) ;
 108       cn->next=0;
 109       cn->num = case_no;
 110       (*wv)->case_nos  = cn;
 111
 112     }
 113
 114 }
 115
 116 void
 117 metrics_postcalc(struct metrics *m)
 118 {
 119   double sample_var;
 120   double cc = 0.0;
 121   double tc ;
 122   int k1, k2 ;
 123   int i;
 124   int j = 1;
 125
 126   m->mean = m->sum / m->n;
 127
 128   sample_var = ( m->ssq / m->n  - m->mean * m->mean );
 129
 130   m->var  = m->n * sample_var / ( m->n - 1) ;
 131   m->stddev = sqrt(m->var);
 132
 133
 134   /* FIXME: Check this is correct ???
 135      Shouldn't we use the sample variance ??? */
 136   m->stderr = sqrt (m->var / m->n) ;
 137
 138   m->wvp = (struct weighted_value **) hsh_sort(m->ordered_data);
 139   m->n_data = hsh_count(m->ordered_data);
 140
 141   if ( m->n_data == 0 )
 142     {
 143       m->trimmed_mean = m->mean;
 144       return;
 145     }
 146
 147
 148   /* Trimmed mean calculation */
 149
 150   tc = m->n * 0.05 ;
 151   k1 = -1;
 152   k2 = -1;
 153
 154
 155   for ( i = 0 ; i < m->n_data ; ++i )
 156     {
 157       cc += m->wvp[i]->w;
 158       m->wvp[i]->cc = cc;
 159
 160       m->wvp[i]->rank = j + (m->wvp[i]->w - 1) / 2.0 ;
 161
 162       j += m->wvp[i]->w;
 163
 164       if ( cc < tc )
 165         k1 = i;
 166
 167     }
 168
 169   k2 = m->n_data;
 170   for ( i = m->n_data -1  ; i >= 0; --i )
 171     {
 172       if ( tc > m->n - m->wvp[i]->cc)
 173         k2 = i;
 174     }
 175
 176
 177   m->trimmed_mean = 0;
 178   for ( i = k1 + 2 ; i <= k2 - 1 ; ++i )
 179     {
 180       m->trimmed_mean += m->wvp[i]->v.f * m->wvp[i]->w;
 181     }
 182
 183
 184   m->trimmed_mean += (m->n - m->wvp[k2 - 1]->cc - tc) * m->wvp[k2]->v.f ;
 185   m->trimmed_mean += (m->wvp[k1 + 1]->cc - tc) * m->wvp[k1 + 1]->v.f ;
 186   m->trimmed_mean /= 0.9 * m->n ;
 187
 188 }
 189
 190
 191 struct weighted_value *
 192 weighted_value_create(void)
 193 {
 194   struct weighted_value *wv;
 195   wv = xmalloc (sizeof (struct weighted_value ));
 196
 197   wv->cc = 0;
 198   wv->case_nos = 0;
 199
 200   return wv;
 201 }
 202
 203 void
 204 weighted_value_free(struct weighted_value *wv)
 205 {
 206   struct case_node *cn = wv->case_nos;
 207
 208   while(cn)
 209     {
 210       struct case_node *next = cn->next;
 211
 212       free(cn);
 213       cn = next;
 214     }
 215
 216   free(wv);
 217
 218 }
 219
 220
 221
 222
 223
 224 /* Create a factor statistics object with for N dependent vars
 225    and ID as the value of the independent variable */
 226 struct factor_statistics *
 227 create_factor_statistics (int n, union value *id0, union value *id1)
 228 {
 229   struct factor_statistics *f;
 230
 231   f =  xmalloc( sizeof  ( struct factor_statistics ));
 232
 233   f->id[0] = *id0;
 234   f->id[1] = *id1;
 235   f->m = xmalloc( sizeof ( struct metrics ) * n ) ;
 236
 237   return f;
 238 }
 239
 240
 241 void
 242 factor_statistics_free(struct factor_statistics *f)
 243 {
 244   hsh_destroy(f->m->ordered_data);
 245   free(f->m) ;
 246   free(f);
 247 }
 248
 249
 250
 251
 252 int
 253 factor_statistics_compare(const struct factor_statistics *f0,
 254                           const struct factor_statistics *f1, void *aux)
 255 {
 256
 257   int cmp0;
 258
 259   assert(f0);
 260   assert(f1);
 261
 262   cmp0 = compare_values(&f0->id[0], &f1->id[0], aux);
 263
 264   if ( cmp0 != 0 )
 265     return cmp0;
 266
 267
 268   if ( ( f0->id[1].f == SYSMIS )  && (f1->id[1].f != SYSMIS) )
 269     return 1;
 270
 271   if ( ( f0->id[1].f != SYSMIS )  && (f1->id[1].f == SYSMIS) )
 272     return -1;
 273
 274   return compare_values(&f0->id[1], &f1->id[1], aux);
 275
 276 }
 277
 278 unsigned int
 279 factor_statistics_hash(const struct factor_statistics *f, void *aux)
 280 {
 281
 282   unsigned int h;
 283
 284   h = hash_value(&f->id[0], aux);
 285
 286   if ( f->id[1].f != SYSMIS )
 287     h += hash_value(&f->id[1], aux);
 288
 289
 290   return h;
 291
 292 }
 293