src/factor_stats.c

   1 /* PSPP - A program for statistical analysis . -*-c-*-
   2
   3 Copyright (C) 2004 Free Software Foundation, Inc.
   4 Author: John Darrington 2004
   5
   6 This program is free software; you can redistribute it and/or
   7 modify it under the terms of the GNU General Public License as
   8 published by the Free Software Foundation; either version 2 of the
   9 License, or (at your option) any later version.
  10
  11 This program is distributed in the hope that it will be useful, but
  12 WITHOUT ANY WARRANTY; without even the implied warranty of
  13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 General Public License for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with this program; if not, write to the Free Software
  18 Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
  19 02111-1307, USA. */
  20
  21 #include "factor_stats.h"
  22 #include "config.h"
  23 #include "val.h"
  24 #include "hash.h"
  25 #include "algorithm.h"
  26 #include "alloc.h"
  27 #include "moments.h"
  28
  29 #include <stdlib.h>
  30 #include <math.h>
  31 #include <float.h>
  32 #include <assert.h>
  33 #include <chart.h>
  34
  35
  36 void
  37 metrics_precalc(struct metrics *m)
  38 {
  39   assert (m) ;
  40
  41   m->n_missing = 0;
  42
  43   m->min = DBL_MAX;
  44   m->max = -DBL_MAX;
  45
  46
  47   m->moments = moments1_create(MOMENT_KURTOSIS);
  48
  49   m->ordered_data = hsh_create(20,
  50                                 (hsh_compare_func *) compare_values,
  51                                 (hsh_hash_func *) hash_value,
  52                                 (hsh_free_func *) weighted_value_free,
  53                                 (void *) 0);
  54
  55
  56
  57 }
  58
  59
  60 /* Include val in the calculation for the metrics.
  61    If val is null, then treat it as MISSING
  62 */
  63 void
  64 metrics_calc(struct metrics *fs, const union value *val,
  65              double weight, int case_no)
  66 {
  67   struct weighted_value **wv;
  68   double x;
  69
  70   if ( ! val )
  71     {
  72       fs->n_missing += weight;
  73       return ;
  74     }
  75
  76   x = val->f;
  77
  78   moments1_add(fs->moments, x, weight);
  79
  80
  81   if ( x < fs->min) fs->min = x;
  82   if ( x > fs->max) fs->max = x;
  83
  84
  85   wv = (struct weighted_value **) hsh_probe (fs->ordered_data,(void *) val );
  86
  87   if ( *wv  )
  88     {
  89       /* If this value has already been seen, then simply
  90          increase its weight  and push a new case number */
  91
  92       struct case_node *cn;
  93
  94       assert( (*wv)->v.f == val->f );
  95       (*wv)->w += weight;
  96
  97       cn = xmalloc( sizeof (struct case_node) ) ;
  98       cn->next = (*wv)->case_nos ;
  99       cn->num = case_no;
 100
 101       (*wv)->case_nos = cn;
 102     }
 103   else
 104     {
 105       struct case_node *cn;
 106
 107       *wv = weighted_value_create();
 108       (*wv)->v = *val;
 109       (*wv)->w = weight;
 110
 111       cn = xmalloc( sizeof (struct case_node) ) ;
 112       cn->next=0;
 113       cn->num = case_no;
 114       (*wv)->case_nos  = cn;
 115
 116     }
 117
 118 }
 119
 120 void
 121 metrics_postcalc(struct metrics *m)
 122 {
 123   double cc = 0.0;
 124   double tc ;
 125   int k1, k2 ;
 126   int i;
 127   int j = 1;
 128
 129
 130   moments1_calculate (m->moments, &m->n, &m->mean, &m->var,
 131                       &m->skewness, &m->kurtosis);
 132
 133   moments1_destroy (m->moments);
 134
 135
 136   m->stddev = sqrt(m->var);
 137
 138   /* FIXME: Check this is correct ???
 139      Shouldn't we use the sample variance ??? */
 140   m->se_mean = sqrt (m->var / m->n) ;
 141
 142
 143
 144   m->wvp = (struct weighted_value **) hsh_sort(m->ordered_data);
 145   m->n_data = hsh_count(m->ordered_data);
 146
 147   m->histogram = histogram_create(10, m->min, m->max);
 148
 149   for ( i = 0 ; i < m->n_data ; ++i )
 150     {
 151       struct weighted_value **wv = (m->wvp) ;
 152       gsl_histogram_accumulate(m->histogram, wv[i]->v.f, wv[i]->w);
 153     }
 154
 155
 156   /* Trimmed mean calculation */
 157   if ( m->n_data <= 1 )
 158     {
 159       m->trimmed_mean = m->mean;
 160       return;
 161     }
 162
 163   tc = m->n * 0.05 ;
 164   k1 = -1;
 165   k2 = -1;
 166
 167   for ( i = 0 ; i < m->n_data ; ++i )
 168     {
 169       cc += m->wvp[i]->w;
 170       m->wvp[i]->cc = cc;
 171
 172       m->wvp[i]->rank = j + (m->wvp[i]->w - 1) / 2.0 ;
 173
 174       j += m->wvp[i]->w;
 175
 176       if ( cc < tc )
 177         k1 = i;
 178
 179     }
 180
 181   k2 = m->n_data;
 182   for ( i = m->n_data -1  ; i >= 0; --i )
 183     {
 184       if ( tc > m->n - m->wvp[i]->cc)
 185         k2 = i;
 186     }
 187
 188   /* Special case here */
 189   if ( k1 + 1 == k2 )
 190     {
 191       m->trimmed_mean = m->wvp[k2]->v.f;
 192       return;
 193     }
 194
 195   m->trimmed_mean = 0;
 196   for ( i = k1 + 2 ; i <= k2 - 1 ; ++i )
 197     {
 198       m->trimmed_mean += m->wvp[i]->v.f * m->wvp[i]->w;
 199     }
 200
 201
 202   m->trimmed_mean += (m->n - m->wvp[k2 - 1]->cc - tc) * m->wvp[k2]->v.f ;
 203   m->trimmed_mean += (m->wvp[k1 + 1]->cc - tc) * m->wvp[k1 + 1]->v.f ;
 204   m->trimmed_mean /= 0.9 * m->n ;
 205
 206 }
 207
 208
 209 struct weighted_value *
 210 weighted_value_create(void)
 211 {
 212   struct weighted_value *wv;
 213   wv = xmalloc (sizeof (struct weighted_value ));
 214
 215   wv->cc = 0;
 216   wv->case_nos = 0;
 217
 218   return wv;
 219 }
 220
 221 void
 222 weighted_value_free(struct weighted_value *wv)
 223 {
 224   struct case_node *cn = wv->case_nos;
 225
 226   while(cn)
 227     {
 228       struct case_node *next = cn->next;
 229
 230       free(cn);
 231       cn = next;
 232     }
 233
 234   free(wv);
 235
 236 }
 237
 238
 239
 240
 241
 242 /* Create a factor statistics object with for N dependent vars
 243    and ID as the value of the independent variable */
 244 struct factor_statistics *
 245 create_factor_statistics (int n, union value *id0, union value *id1)
 246 {
 247   struct factor_statistics *f;
 248
 249   f =  xmalloc( sizeof  ( struct factor_statistics ));
 250
 251   f->id[0] = *id0;
 252   f->id[1] = *id1;
 253   f->m = xmalloc( sizeof ( struct metrics ) * n ) ;
 254
 255   return f;
 256 }
 257
 258
 259 void
 260 factor_statistics_free(struct factor_statistics *f)
 261 {
 262   hsh_destroy(f->m->ordered_data);
 263   gsl_histogram_free(f->m->histogram);
 264   free(f->m) ;
 265   free(f);
 266 }
 267
 268
 269
 270
 271 int
 272 factor_statistics_compare(const struct factor_statistics *f0,
 273                           const struct factor_statistics *f1, int width)
 274 {
 275
 276   int cmp0;
 277
 278   assert(f0);
 279   assert(f1);
 280
 281   cmp0 = compare_values(&f0->id[0], &f1->id[0], width);
 282
 283   if ( cmp0 != 0 )
 284     return cmp0;
 285
 286
 287   if ( ( f0->id[1].f == SYSMIS )  && (f1->id[1].f != SYSMIS) )
 288     return 1;
 289
 290   if ( ( f0->id[1].f != SYSMIS )  && (f1->id[1].f == SYSMIS) )
 291     return -1;
 292
 293   return compare_values(&f0->id[1], &f1->id[1], width);
 294
 295 }
 296
 297 unsigned int
 298 factor_statistics_hash(const struct factor_statistics *f, int width)
 299 {
 300
 301   unsigned int h;
 302
 303   h = hash_value(&f->id[0], width);
 304
 305   if ( f->id[1].f != SYSMIS )
 306     h += hash_value(&f->id[1], width);
 307
 308
 309   return h;
 310
 311 }
 312