src/math/categoricals.c

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2009, 2010, 2011 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include "math/categoricals.h"
  20 #include "math/interaction.h"
  21
  22 #include <stdio.h>
  23
  24 #include "data/case.h"
  25 #include "data/value.h"
  26 #include "data/variable.h"
  27 #include "libpspp/array.h"
  28 #include "libpspp/hmap.h"
  29 #include "libpspp/pool.h"
  30 #include "libpspp/str.h"
  31 #include "libpspp/hash-functions.h"
  32
  33 #include "gl/xalloc.h"
  34
  35 struct value_node
  36 {
  37   struct hmap_node node;      /* Node in hash map. */
  38
  39   union value val;            /* The value */
  40
  41   int index;                  /* A zero based unique index for this value */
  42 };
  43
  44 struct interaction_value
  45 {
  46   struct hmap_node node;        /* Node in hash map. */
  47
  48   struct ccase *ccase;          /* A case (probably the first in the dataset) which matches this value */
  49
  50   /* Total of the weights of cases matching this interaction */
  51   double cc;
  52
  53   void *user_data;            /* A pointer to data which the caller can store stuff */
  54 };
  55
  56 static struct value_node *
  57 lookup_value (const struct hmap *map, const union value *val, unsigned int hash, int width)
  58 {
  59   struct value_node *vn = NULL;
  60   HMAP_FOR_EACH_WITH_HASH (vn, struct value_node, node, hash, map)
  61     {
  62       if (value_equal (&vn->val, val, width))
  63         break;
  64     }
  65
  66   return vn;
  67 }
  68
  69 struct variable_node
  70 {
  71   struct hmap_node node;      /* Node in hash map. */
  72   const struct variable *var; /* The variable */
  73
  74   struct hmap valmap;         /* A map of value nodes */
  75   int n_vals;                 /* Number of values for this variable */
  76 };
  77
  78 #if 0
  79 static void
  80 dump_interaction (const struct interaction *iact)
  81 {
  82   struct string str = DS_EMPTY_INITIALIZER;
  83   interaction_to_string (iact, &str);
  84   printf ("Interaction: %s\n", ds_cstr (&str));
  85   ds_destroy (&str);
  86 }
  87 #endif
  88
  89
  90 static struct variable_node *
  91 lookup_variable (const struct hmap *map, const struct variable *var, unsigned int hash)
  92 {
  93   struct variable_node *vn = NULL;
  94   HMAP_FOR_EACH_WITH_HASH (vn, struct variable_node, node, hash, map)
  95     {
  96       if (vn->var == var)
  97         break;
  98
  99       fprintf (stderr, "Warning: Hash table collision\n");
 100     }
 101
 102   return vn;
 103 }
 104
 105
 106 struct interact_params
 107 {
 108   /* A map indexed by a interaction_value */
 109   struct hmap ivmap;
 110
 111   const struct interaction *iact;
 112
 113   int base_subscript_short;
 114   int base_subscript_long;
 115
 116   /* The number of distinct values of this interaction */
 117   int n_cats;
 118
 119   /* An array of integers df_n * df_{n-1} * df_{n-2} ...
 120      These are the products of the degrees of freedom for the current
 121      variable and all preceeding variables */
 122   int *df_prod;
 123
 124   /* A map of interaction_values indexed by subscript */
 125   struct interaction_value **reverse_interaction_value_map;
 126
 127   double cc;
 128 };
 129
 130
 131 /* Comparison function to sort the reverse_value_map in ascending order */
 132 static int
 133 compare_interaction_value_3way (const void *vn1_, const void *vn2_, const void *aux)
 134 {
 135   const struct interaction_value *const *vn1p = vn1_;
 136   const struct interaction_value *const *vn2p = vn2_;
 137
 138   const struct interact_params *iap = aux;
 139
 140   return interaction_case_cmp_3way (iap->iact, (*vn1p)->ccase, (*vn2p)->ccase);
 141 }
 142
 143 struct categoricals
 144 {
 145   /* The weight variable */
 146   const struct variable *wv;
 147
 148   /* An array of interact_params */
 149   struct interact_params *iap;
 150
 151   /* Map whose members are the union of the variables which comprise IAP */
 152   struct hmap varmap;
 153
 154   /* The size of IAP. (ie, the number of interactions involved.) */
 155   size_t n_iap;
 156
 157   /* The number of categorical variables which contain entries.
 158      In the absence of missing values, this will be equal to N_IAP */
 159   size_t n_vars;
 160
 161   size_t df_sum;
 162
 163   /* A map to enable the lookup of variables indexed by subscript.
 164      This map considers only the N - 1 of the N variables.
 165    */
 166   int *reverse_variable_map_short;
 167
 168   /* Like the above, but uses all N variables */
 169   int *reverse_variable_map_long;
 170
 171   size_t n_cats_total;
 172
 173   struct pool *pool;
 174
 175   /* Missing values to be excluded */
 176   enum mv_class exclude;
 177
 178   /* Function to be called on each update */
 179   update_func *update;
 180
 181   /* Function specified by the caller to create user_data */
 182   user_data_create_func *user_data_create;
 183
 184   /* Auxilliary data to be passed to update and user_data_create_func*/
 185   void *aux1;
 186   void *aux2;
 187 };
 188
 189 #if 0
 190 static void
 191 categoricals_dump (const struct categoricals *cat)
 192 {
 193   int i;
 194
 195   printf ("Reverse Variable Map (short):\n");
 196   for (i = 0; i < cat->df_sum; ++i)
 197     {
 198       printf (" %d", cat->reverse_variable_map_short[i]);
 199     }
 200   printf ("\n");
 201
 202   printf ("Reverse Variable Map (long):\n");
 203   for (i = 0; i < cat->n_cats_total; ++i)
 204     {
 205       printf (" %d", cat->reverse_variable_map_long[i]);
 206     }
 207   printf ("\n");
 208
 209
 210   printf ("Number of interactions %d\n", cat->n_iap);
 211   for (i = 0 ; i < cat->n_iap; ++i)
 212     {
 213       int v;
 214       struct string str;
 215       const struct interact_params *iap = &cat->iap[i];
 216       const struct interaction *iact = iap->iact;
 217
 218       ds_init_empty (&str);
 219       interaction_to_string (iact, &str);
 220
 221       printf ("\nInteraction: %s (n: %d; df: %d ); ", ds_cstr (&str), iap->n_cats, iap->df);
 222       ds_destroy (&str);
 223       printf ("Base subscript: %d\n", iap->base_subscript_short);
 224
 225       printf ("\t(");
 226       for (v = 0; v < hmap_count (&iap->ivmap); ++v)
 227         {
 228           int vv;
 229           const struct interaction_value *iv = iap->reverse_interaction_value_map[v];
 230
 231           if (v > 0)  printf ("   ");
 232           printf ("{");
 233           for (vv = 0; vv < iact->n_vars; ++vv)
 234             {
 235               const struct variable *var = iact->vars[vv];
 236               const union value *val = case_data (iv->ccase, var);
 237
 238               printf ("%g", val->f);
 239               if (vv < iact->n_vars - 1)
 240                 printf (", ");
 241             }
 242           printf ("}");
 243         }
 244       printf (")\n");
 245     }
 246 }
 247 #endif
 248
 249 void
 250 categoricals_destroy (struct categoricals *cat)
 251 {
 252   struct variable_node *vn = NULL;
 253   int i;
 254   if (NULL == cat)
 255     return;
 256   for (i = 0; i < cat->n_iap; ++i)
 257     {
 258       struct interaction_value *iv = NULL;
 259       /* Interate over each interaction value, and unref any cases that we reffed */
 260       HMAP_FOR_EACH (iv, struct interaction_value, node, &cat->iap[i].ivmap)
 261         {
 262           case_unref (iv->ccase);
 263         }
 264       hmap_destroy (&cat->iap[i].ivmap);
 265     }
 266
 267   /* Interate over each variable and delete its value map */
 268   HMAP_FOR_EACH (vn, struct variable_node, node, &cat->varmap)
 269     {
 270       hmap_destroy (&vn->valmap);
 271     }
 272
 273   hmap_destroy (&cat->varmap);
 274
 275   pool_destroy (cat->pool);
 276
 277   free (cat);
 278 }
 279
 280
 281
 282 static struct interaction_value *
 283 lookup_case (const struct hmap *map, const struct interaction *iact, const struct ccase *c)
 284 {
 285   struct interaction_value *iv = NULL;
 286   size_t hash = interaction_case_hash (iact, c, 0);
 287
 288   HMAP_FOR_EACH_WITH_HASH (iv, struct interaction_value, node, hash, map)
 289     {
 290       if (interaction_case_equal (iact, c, iv->ccase))
 291         break;
 292
 293       fprintf (stderr, "Warning: Hash table collision\n");
 294     }
 295
 296   return iv;
 297 }
 298
 299
 300 struct categoricals *
 301 categoricals_create (struct interaction *const*inter, size_t n_inter,
 302                      const struct variable *wv, enum mv_class exclude,
 303                      user_data_create_func *udf,
 304                      update_func *update, void *aux1, void *aux2
 305                      )
 306 {
 307   size_t i;
 308   struct categoricals *cat = xmalloc (sizeof *cat);
 309
 310   cat->n_iap = n_inter;
 311   cat->wv = wv;
 312   cat->n_cats_total = 0;
 313   cat->n_vars = 0;
 314   cat->reverse_variable_map_short = NULL;
 315   cat->reverse_variable_map_long = NULL;
 316   cat->pool = pool_create ();
 317   cat->exclude = exclude;
 318   cat->update = update;
 319   cat->user_data_create = udf;
 320
 321   cat->aux1 = aux1;
 322   cat->aux2 = aux2;
 323
 324   cat->iap = pool_calloc (cat->pool, cat->n_iap, sizeof *cat->iap);
 325
 326   hmap_init (&cat->varmap);
 327   for (i = 0 ; i < cat->n_iap; ++i)
 328     {
 329       int v;
 330       hmap_init (&cat->iap[i].ivmap);
 331       cat->iap[i].iact = inter[i];
 332       cat->iap[i].cc = 0.0;
 333       for (v = 0; v < inter[i]->n_vars; ++v)
 334         {
 335           const struct variable *var = inter[i]->vars[v];
 336           unsigned int hash = hash_pointer (var, 0);
 337           struct variable_node *vn = lookup_variable (&cat->varmap, var, hash);
 338           if (vn == NULL)
 339             {
 340               vn = pool_malloc (cat->pool, sizeof *vn);
 341               vn->var = var;
 342               vn->n_vals = 0;
 343               hmap_init (&vn->valmap);
 344
 345               hmap_insert (&cat->varmap, &vn->node,  hash);
 346             }
 347         }
 348     }
 349
 350   return cat;
 351 }
 352
 353
 354
 355 void
 356 categoricals_update (struct categoricals *cat, const struct ccase *c)
 357 {
 358   int i;
 359   struct variable_node *vn = NULL;
 360   const double weight = cat->wv ? case_data (c, cat->wv)->f : 1.0;
 361
 362   assert (NULL == cat->reverse_variable_map_short);
 363   assert (NULL == cat->reverse_variable_map_long);
 364
 365   /* Interate over each variable, and add the value of that variable
 366      to the appropriate map, if it's not already present. */
 367   HMAP_FOR_EACH (vn, struct variable_node, node, &cat->varmap)
 368     {
 369       const int width = var_get_width (vn->var);
 370       const union value *val = case_data (c, vn->var);
 371       unsigned int hash = value_hash (val, width, 0);
 372
 373       struct value_node *valn = lookup_value (&vn->valmap, val, hash, width);
 374       if (valn == NULL)
 375         {
 376           valn = pool_malloc (cat->pool, sizeof *valn);
 377           valn->index = vn->n_vals++;
 378           value_init (&valn->val, width);
 379           value_copy (&valn->val, val, width);
 380           hmap_insert (&vn->valmap, &valn->node, hash);
 381         }
 382     }
 383
 384   for (i = 0 ; i < cat->n_iap; ++i)
 385     {
 386       const struct interaction *iact = cat->iap[i].iact;
 387
 388       //      if ( interaction_case_is_missing (iact, c, cat->exclude))
 389       //         continue;
 390
 391       size_t hash = interaction_case_hash (iact, c, 0);
 392       struct interaction_value *node = lookup_case (&cat->iap[i].ivmap, iact, c);
 393
 394       if ( NULL == node)
 395         {
 396           node = pool_malloc (cat->pool, sizeof *node);
 397
 398           node->ccase = case_ref (c);
 399           node->cc = weight;
 400
 401           hmap_insert (&cat->iap[i].ivmap, &node->node, hash);
 402
 403           if (cat->user_data_create)
 404             node->user_data = cat->user_data_create (cat->aux1, cat->aux2);
 405         }
 406       else
 407         {
 408           node->cc += weight;
 409         }
 410       cat->iap[i].cc += weight;
 411
 412       if (cat->update)
 413         cat->update (node->user_data, cat->exclude, cat->wv, NULL, c, cat->aux1, cat->aux2);
 414     }
 415 }
 416
 417 /* Return the number of categories (distinct values) for interction N */
 418 size_t
 419 categoricals_n_count (const struct categoricals *cat, size_t n)
 420 {
 421   return hmap_count (&cat->iap[n].ivmap);
 422 }
 423
 424
 425 size_t
 426 categoricals_df (const struct categoricals *cat, size_t n)
 427 {
 428   const struct interact_params *iap = &cat->iap[n];
 429   return iap->df_prod[iap->iact->n_vars - 1];
 430 }
 431
 432
 433 /* Return the total number of categories */
 434 size_t
 435 categoricals_n_total (const struct categoricals *cat)
 436 {
 437   assert (cat->reverse_variable_map_long);
 438
 439   return cat->n_cats_total;
 440 }
 441
 442 size_t
 443 categoricals_df_total (const struct categoricals *cat)
 444 {
 445   return cat->df_sum;
 446 }
 447
 448 /* This function must be called *before* any call to categoricals_get_*_by subscript and
 449  *after* all calls to categoricals_update */
 450 void
 451 categoricals_done (const struct categoricals *cat_)
 452 {
 453   /* Implementation Note: Whilst this function is O(n) in cat->n_cats_total, in most
 454      uses it will be more efficient that using a tree based structure, since it
 455      is called only once, and means that subsequent lookups will be O(1).
 456
 457      1 call of O(n) + 10^9 calls of O(1) is better than 10^9 calls of O(log n).
 458   */
 459   struct categoricals *cat = CONST_CAST (struct categoricals *, cat_);
 460   int v;
 461   int i;
 462   int idx_short = 0;
 463   int idx_long = 0;
 464   cat->df_sum = 0;
 465   cat->n_cats_total = 0;
 466
 467   /* Calculate the degrees of freedom, and the number of categories */
 468   for (i = 0 ; i < cat->n_iap; ++i)
 469     {
 470       int df = 1;
 471       const struct interaction *iact = cat->iap[i].iact;
 472
 473       cat->iap[i].df_prod = xcalloc (iact->n_vars, sizeof (int));
 474
 475       cat->iap[i].n_cats = 1;
 476
 477       for (v = 0 ; v < iact->n_vars; ++v)
 478         {
 479           const struct variable *var = iact->vars[v];
 480
 481           struct variable_node *vn = lookup_variable (&cat->varmap, var, hash_pointer (var, 0));
 482
 483           cat->iap[i].df_prod[v] = df * (hmap_count (&vn->valmap) - 1);
 484           df = cat->iap[i].df_prod[v];
 485
 486           cat->iap[i].n_cats *= hmap_count (&vn->valmap);
 487         }
 488
 489       cat->df_sum += cat->iap[i].df_prod [v - 1];
 490       cat->n_cats_total += cat->iap[i].n_cats;
 491     }
 492
 493
 494   cat->reverse_variable_map_short = pool_calloc (cat->pool,
 495                                                  cat->df_sum,
 496                                                  sizeof *cat->reverse_variable_map_short);
 497
 498   cat->reverse_variable_map_long = pool_calloc (cat->pool,
 499                                                 cat->n_cats_total,
 500                                                 sizeof *cat->reverse_variable_map_long);
 501
 502   for (i = 0 ; i < cat->n_iap; ++i)
 503     {
 504       struct interaction_value *ivn = NULL;
 505       int x = 0;
 506       int ii;
 507       struct interact_params *iap = &cat->iap[i];
 508
 509       iap->base_subscript_short = idx_short;
 510       iap->base_subscript_long = idx_long;
 511
 512       iap->reverse_interaction_value_map = pool_calloc (cat->pool, iap->n_cats,
 513                                                         sizeof *iap->reverse_interaction_value_map);
 514
 515       HMAP_FOR_EACH (ivn, struct interaction_value, node, &iap->ivmap)
 516         {
 517           iap->reverse_interaction_value_map[x++] = ivn;
 518         }
 519
 520       assert (x <= iap->n_cats);
 521
 522       /* For some purposes (eg CONTRASTS in ONEWAY) the values need to be sorted */
 523       sort (iap->reverse_interaction_value_map, x, sizeof (*iap->reverse_interaction_value_map),
 524             compare_interaction_value_3way, iap);
 525
 526       /* Fill the remaining values with null */
 527       for (ii = x ; ii < iap->n_cats; ++ii)
 528         iap->reverse_interaction_value_map[ii] = NULL;
 529
 530       /* Populate the reverse variable maps. */
 531       for (ii = 0; ii < iap->df_prod [iap->iact->n_vars - 1]; ++ii)
 532         cat->reverse_variable_map_short[idx_short++] = i;
 533
 534       for (ii = 0; ii < iap->n_cats; ++ii)
 535         cat->reverse_variable_map_long[idx_long++] = i;
 536     }
 537
 538   assert (cat->n_vars <= cat->n_iap);
 539
 540   //  categoricals_dump (cat);
 541 }
 542
 543
 544 static int
 545 reverse_variable_lookup_short (const struct categoricals *cat, int subscript)
 546 {
 547   assert (cat->reverse_variable_map_short);
 548   assert (subscript >= 0);
 549   assert (subscript < cat->df_sum);
 550
 551   return cat->reverse_variable_map_short[subscript];
 552 }
 553
 554 static int
 555 reverse_variable_lookup_long (const struct categoricals *cat, int subscript)
 556 {
 557   assert (cat->reverse_variable_map_long);
 558   assert (subscript >= 0);
 559   assert (subscript < cat->n_cats_total);
 560
 561   return cat->reverse_variable_map_long[subscript];
 562 }
 563
 564
 565 /* Return the interaction corresponding to SUBSCRIPT */
 566 const struct interaction *
 567 categoricals_get_interaction_by_subscript (const struct categoricals *cat, int subscript)
 568 {
 569   int index = reverse_variable_lookup_short (cat, subscript);
 570
 571   return cat->iap[index].iact;
 572 }
 573
 574 /* Return the case corresponding to SUBSCRIPT */
 575 static const struct ccase *
 576 categoricals_get_case_by_subscript (const struct categoricals *cat, int subscript)
 577 {
 578   int vindex = reverse_variable_lookup_short (cat, subscript);
 579   const struct interact_params *vp = &cat->iap[vindex];
 580   const struct interaction_value *vn = vp->reverse_interaction_value_map [subscript - vp->base_subscript_short];
 581
 582   if ( vn == NULL)
 583     return NULL;
 584
 585   return vn->ccase;
 586 }
 587
 588
 589 double
 590 categoricals_get_weight_by_subscript (const struct categoricals *cat, int subscript)
 591 {
 592   int vindex = reverse_variable_lookup_short (cat, subscript);
 593   const struct interact_params *vp = &cat->iap[vindex];
 594
 595   return vp->cc;
 596 }
 597
 598 double
 599 categoricals_get_sum_by_subscript (const struct categoricals *cat, int subscript)
 600 {
 601   int vindex = reverse_variable_lookup_short (cat, subscript);
 602   const struct interact_params *vp = &cat->iap[vindex];
 603
 604   const struct interaction_value *iv = vp->reverse_interaction_value_map [subscript - vp->base_subscript_short];
 605
 606   if (iv == NULL)
 607     return 0;
 608
 609   return iv->cc;
 610 }
 611
 612 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 613    for that subscript */
 614 double
 615 categoricals_get_binary_by_subscript (const struct categoricals *cat,
 616                                       int subscript,
 617                                       const struct ccase *c)
 618 {
 619   const struct interaction *iact = categoricals_get_interaction_by_subscript (cat, subscript);
 620
 621   const int i = reverse_variable_lookup_short (cat, subscript);
 622
 623   const int base_index = cat->iap[i].base_subscript_short;
 624
 625   int v;
 626   double result = 1.0;
 627
 628   for (v = 0; v < iact->n_vars; ++v)
 629   {
 630     const struct variable *var = iact->vars[v];
 631
 632     const union value *val = case_data (c, var);
 633     const int width = var_get_width (var);
 634     const struct variable_node *vn = lookup_variable (&cat->varmap, var, hash_pointer (var, 0));
 635
 636     const unsigned int hash = value_hash (val, width, 0);
 637     const struct value_node *valn = lookup_value (&vn->valmap, val, hash, width);
 638
 639     double bin = 1.0;
 640
 641     /* Translate the subscript into an index for the individual variable */
 642     int index = (subscript - base_index) % cat->iap[i].df_prod[v];
 643     if ( v > 0)
 644       index /= cat->iap[i].df_prod[v - 1];
 645
 646 #if EFFECTS_CODING
 647     if ( valn->index == 0)
 648       bin = -1.0;
 649     else
 650 #endif
 651     if ( valn->index  != index )
 652       bin = 0;
 653
 654     result *= bin;
 655   }
 656
 657   return result;
 658 }
 659
 660
 661 size_t
 662 categoricals_get_n_variables (const struct categoricals *cat)
 663 {
 664   printf ("%s\n", __FUNCTION__);
 665   return cat->n_vars;
 666 }
 667
 668 /* Return a case containing the set of values corresponding to SUBSCRIPT */
 669 const struct ccase *
 670 categoricals_get_case_by_category (const struct categoricals *cat, int subscript)
 671 {
 672   int vindex = reverse_variable_lookup_long (cat, subscript);
 673   const struct interact_params *vp = &cat->iap[vindex];
 674   const struct interaction_value *vn = vp->reverse_interaction_value_map [subscript - vp->base_subscript_long];
 675
 676   return vn->ccase;
 677 }
 678
 679 void *
 680 categoricals_get_user_data_by_category (const struct categoricals *cat, int subscript)
 681 {
 682   int vindex = reverse_variable_lookup_long (cat, subscript);
 683   const struct interact_params *vp = &cat->iap[vindex];
 684
 685   const struct interaction_value *iv = vp->reverse_interaction_value_map [subscript - vp->base_subscript_long];
 686   return iv->user_data;
 687 }