pintos-os.org Git - pspp/blob - src/math/categoricals.c

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2009, 2010, 2011, 2012, 2014 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include "math/categoricals.h"
  20 #include "math/interaction.h"
  21
  22 #include <float.h>
  23 #include <stdio.h>
  24
  25 #include "data/case.h"
  26 #include "data/value.h"
  27 #include "data/variable.h"
  28 #include "libpspp/array.h"
  29 #include "libpspp/hmap.h"
  30 #include "libpspp/pool.h"
  31 #include "libpspp/str.h"
  32 #include "libpspp/hash-functions.h"
  33
  34 #include "gl/xalloc.h"
  35
  36 #define CATEGORICALS_DEBUG 0
  37
  38 struct value_node
  39 {
  40   struct hmap_node node;      /* Node in hash map. */
  41
  42   union value val;            /* The value */
  43
  44   int index;                  /* A zero based unique index for this value */
  45 };
  46
  47
  48 struct interaction_value
  49 {
  50   struct hmap_node node;      /* Node in hash map */
  51
  52   struct ccase *ccase;        /* A case (probably the first in the dataset) which matches
  53                                  this value */
  54
  55   double cc;                  /* Total of the weights of cases matching this interaction */
  56
  57   void *user_data;            /* A pointer to data which the caller can store stuff */
  58 };
  59
  60 static struct value_node *
  61 lookup_value (const struct hmap *map, const union value *val, unsigned int hash, int width)
  62 {
  63   struct value_node *vn = NULL;
  64   HMAP_FOR_EACH_WITH_HASH (vn, struct value_node, node, hash, map)
  65     {
  66       if (value_equal (&vn->val, val, width))
  67         break;
  68     }
  69
  70   return vn;
  71 }
  72
  73 struct variable_node
  74 {
  75   struct hmap_node node;      /* Node in hash map. */
  76   const struct variable *var; /* The variable */
  77
  78   struct hmap valmap;         /* A map of value nodes */
  79   int n_vals;                 /* Number of values for this variable */
  80 };
  81
  82
  83 /* Comparison function to sort value_nodes in ascending order */
  84 static int
  85 compare_value_node_3way (const void *vn1_, const void *vn2_, const void *aux)
  86 {
  87   const struct value_node *const *vn1p = vn1_;
  88   const struct value_node *const *vn2p = vn2_;
  89
  90   const struct variable_node *vn = aux;
  91
  92
  93   return value_compare_3way (&(*vn1p)->val, &(*vn2p)->val, var_get_width (vn->var));
  94 }
  95
  96
  97
  98 static struct variable_node *
  99 lookup_variable (const struct hmap *map, const struct variable *var, unsigned int hash)
 100 {
 101   struct variable_node *vn = NULL;
 102   HMAP_FOR_EACH_WITH_HASH (vn, struct variable_node, node, hash, map)
 103     {
 104       if (vn->var == var)
 105         break;
 106
 107       fprintf (stderr, "%s:%d Warning: Hash table collision\n", __FILE__, __LINE__);
 108     }
 109
 110   return vn;
 111 }
 112
 113
 114 struct interact_params
 115 {
 116   /* A map of cases indexed by a interaction_value */
 117   struct hmap ivmap;
 118
 119   const struct interaction *iact;
 120
 121   int base_subscript_short;
 122   int base_subscript_long;
 123
 124   /* The number of distinct values of this interaction */
 125   int n_cats;
 126
 127   /* An array of integers df_n * df_{n-1} * df_{n-2} ...
 128      These are the products of the degrees of freedom for the current
 129      variable and all preceding variables */
 130   int *df_prod;
 131
 132   double *enc_sum;
 133
 134   /* A map of interaction_values indexed by subscript */
 135   struct interaction_value **reverse_interaction_value_map;
 136
 137   double cc;
 138 };
 139
 140
 141 /* Comparison function to sort the reverse_value_map in ascending order */
 142 static int
 143 compare_interaction_value_3way (const void *vn1_, const void *vn2_, const void *aux)
 144 {
 145   const struct interaction_value *const *vn1p = vn1_;
 146   const struct interaction_value *const *vn2p = vn2_;
 147
 148   const struct interact_params *iap = aux;
 149
 150   return interaction_case_cmp_3way (iap->iact, (*vn1p)->ccase, (*vn2p)->ccase);
 151 }
 152
 153 struct categoricals
 154 {
 155   /* The weight variable */
 156   const struct variable *wv;
 157
 158   /* An array of interact_params */
 159   struct interact_params *iap;
 160
 161   /* Map whose members are the union of the variables which comprise IAP */
 162   struct hmap varmap;
 163
 164   /* The size of IAP. (ie, the number of interactions involved.) */
 165   size_t n_iap;
 166
 167   /* The number of categorical variables which contain entries.
 168      In the absence of missing values, this will be equal to N_IAP */
 169   size_t n_vars;
 170
 171   size_t df_sum;
 172
 173   /* A map to enable the lookup of variables indexed by subscript.
 174      This map considers only the N - 1 of the N variables.
 175   */
 176   int *reverse_variable_map_short;
 177
 178   /* Like the above, but uses all N variables */
 179   int *reverse_variable_map_long;
 180
 181   size_t n_cats_total;
 182
 183   struct pool *pool;
 184
 185   /* Missing values in the dependent varirable to be excluded */
 186   enum mv_class dep_excl;
 187
 188   /* Missing values in the factor variables to be excluded */
 189   enum mv_class fctr_excl;
 190
 191   const void *aux1;
 192   void *aux2;
 193
 194   bool sane;
 195
 196   const struct payload *payload;
 197 };
 198
 199
 200 bool
 201 categoricals_isbalanced (const struct categoricals *cat)
 202 {
 203   int i;
 204
 205   for (i = 0 ; i < cat->n_iap; ++i)
 206     {
 207       int v;
 208       const struct interact_params *iap = &cat->iap[i];
 209
 210       double oval = -1.0;
 211       for (v = 0; v < hmap_count (&iap->ivmap); ++v)
 212         {
 213           const struct interaction_value *iv = iap->reverse_interaction_value_map[v];
 214           if (oval == -1.0)
 215             oval = iv->cc;
 216           if (oval != iv->cc)
 217             return false;
 218         }
 219     }
 220   return true;
 221 }
 222
 223
 224 static void
 225 categoricals_dump (const struct categoricals *cat)
 226 {
 227   if (CATEGORICALS_DEBUG)
 228     {
 229       int i;
 230
 231       printf ("Reverse Variable Map (short):\n");
 232       for (i = 0; i < cat->df_sum; ++i)
 233         {
 234           printf (" %d", cat->reverse_variable_map_short[i]);
 235         }
 236       printf ("\n");
 237
 238       printf ("Reverse Variable Map (long):\n");
 239       for (i = 0; i < cat->n_cats_total; ++i)
 240         {
 241           printf (" %d", cat->reverse_variable_map_long[i]);
 242         }
 243       printf ("\n");
 244
 245       printf ("Number of interactions %zu\n", cat->n_iap);
 246       for (i = 0 ; i < cat->n_iap; ++i)
 247         {
 248           int v;
 249           struct string str;
 250           const struct interact_params *iap = &cat->iap[i];
 251           const struct interaction *iact = iap->iact;
 252
 253           ds_init_empty (&str);
 254           interaction_to_string (iact, &str);
 255
 256           printf ("\nInteraction: \"%s\" (number of categories: %d); ", ds_cstr (&str), iap->n_cats);
 257           ds_destroy (&str);
 258           printf ("Base index (short/long): %d/%d\n", iap->base_subscript_short, iap->base_subscript_long);
 259
 260           printf ("\t(");
 261           for (v = 0; v < hmap_count (&iap->ivmap); ++v)
 262             {
 263               int vv;
 264               const struct interaction_value *iv = iap->reverse_interaction_value_map[v];
 265
 266               if (v > 0)  printf ("   ");
 267               printf ("{");
 268               for (vv = 0; vv < iact->n_vars; ++vv)
 269                 {
 270                   const struct variable *var = iact->vars[vv];
 271                   const union value *val = case_data (iv->ccase, var);
 272                   unsigned int varhash = hash_pointer (var, 0);
 273                   struct variable_node *vn = lookup_variable (&cat->varmap, var, varhash);
 274
 275                   const int width = var_get_width (var);
 276                   unsigned int valhash = value_hash (val, width, 0);
 277                   struct value_node *valn = lookup_value (&vn->valmap, val, valhash, width);
 278
 279                   assert (vn->var == var);
 280
 281                   printf ("%.*g(%d)", DBL_DIG + 1, val->f, valn->index);
 282                   if (vv < iact->n_vars - 1)
 283                     printf (", ");
 284                 }
 285               printf ("}");
 286             }
 287           printf (")\n");
 288         }
 289     }
 290 }
 291
 292 void
 293 categoricals_destroy (struct categoricals *cat)
 294 {
 295   struct variable_node *vn = NULL;
 296   int i;
 297   if (NULL == cat)
 298     return;
 299
 300   for (i = 0; i < cat->n_iap; ++i)
 301     {
 302       struct interaction_value *iv = NULL;
 303       /* Interate over each interaction value, and unref any cases that we reffed */
 304       HMAP_FOR_EACH (iv, struct interaction_value, node, &cat->iap[i].ivmap)
 305         {
 306           if (cat->payload && cat->payload->destroy)
 307             cat->payload->destroy (cat->aux1, cat->aux2, iv->user_data);
 308           case_unref (iv->ccase);
 309         }
 310
 311       free (cat->iap[i].enc_sum);
 312       free (cat->iap[i].df_prod);
 313       hmap_destroy (&cat->iap[i].ivmap);
 314     }
 315
 316   /* Interate over each variable and delete its value map */
 317   HMAP_FOR_EACH (vn, struct variable_node, node, &cat->varmap)
 318     {
 319       hmap_destroy (&vn->valmap);
 320     }
 321
 322   hmap_destroy (&cat->varmap);
 323
 324   pool_destroy (cat->pool);
 325
 326   free (cat);
 327 }
 328
 329
 330
 331 static struct interaction_value *
 332 lookup_case (const struct hmap *map, const struct interaction *iact, const struct ccase *c)
 333 {
 334   struct interaction_value *iv = NULL;
 335   size_t hash = interaction_case_hash (iact, c, 0);
 336
 337   HMAP_FOR_EACH_WITH_HASH (iv, struct interaction_value, node, hash, map)
 338     {
 339       if (interaction_case_equal (iact, c, iv->ccase))
 340         break;
 341
 342       fprintf (stderr, "Warning: Hash table collision\n");
 343     }
 344
 345   return iv;
 346 }
 347
 348 bool
 349 categoricals_sane (const struct categoricals *cat)
 350 {
 351   return cat->sane;
 352 }
 353
 354 struct categoricals *
 355 categoricals_create (struct interaction *const*inter, size_t n_inter,
 356                      const struct variable *wv, enum mv_class dep_excl, enum mv_class fctr_excl)
 357 {
 358   size_t i;
 359   struct categoricals *cat = xmalloc (sizeof *cat);
 360
 361   cat->n_iap = n_inter;
 362   cat->wv = wv;
 363   cat->n_cats_total = 0;
 364   cat->n_vars = 0;
 365   cat->reverse_variable_map_short = NULL;
 366   cat->reverse_variable_map_long = NULL;
 367   cat->pool = pool_create ();
 368   cat->dep_excl = dep_excl;
 369   cat->fctr_excl = fctr_excl;
 370   cat->payload = NULL;
 371   cat->aux2 = NULL;
 372   cat->sane = false;
 373
 374   cat->iap = pool_calloc (cat->pool, cat->n_iap, sizeof *cat->iap);
 375
 376   hmap_init (&cat->varmap);
 377   for (i = 0 ; i < cat->n_iap; ++i)
 378     {
 379       int v;
 380       hmap_init (&cat->iap[i].ivmap);
 381       cat->iap[i].iact = inter[i];
 382       cat->iap[i].cc = 0.0;
 383       for (v = 0; v < inter[i]->n_vars; ++v)
 384         {
 385           const struct variable *var = inter[i]->vars[v];
 386           unsigned int hash = hash_pointer (var, 0);
 387           struct variable_node *vn = lookup_variable (&cat->varmap, var, hash);
 388           if (vn == NULL)
 389             {
 390               vn = pool_malloc (cat->pool, sizeof *vn);
 391               vn->var = var;
 392               vn->n_vals = 0;
 393               hmap_init (&vn->valmap);
 394
 395               hmap_insert (&cat->varmap, &vn->node,  hash);
 396             }
 397         }
 398     }
 399
 400   return cat;
 401 }
 402
 403
 404
 405 void
 406 categoricals_update (struct categoricals *cat, const struct ccase *c)
 407 {
 408   int i;
 409   struct variable_node *vn = NULL;
 410   double weight;
 411
 412   if (NULL == cat)
 413     return;
 414
 415   weight = cat->wv ? case_data (c, cat->wv)->f : 1.0;
 416   weight = var_force_valid_weight (cat->wv, weight, NULL);
 417
 418   assert (NULL == cat->reverse_variable_map_short);
 419   assert (NULL == cat->reverse_variable_map_long);
 420
 421   /* Interate over each variable, and add the value of that variable
 422      to the appropriate map, if it's not already present. */
 423   HMAP_FOR_EACH (vn, struct variable_node, node, &cat->varmap)
 424     {
 425       const int width = var_get_width (vn->var);
 426       const union value *val = case_data (c, vn->var);
 427       unsigned int hash = value_hash (val, width, 0);
 428
 429       struct value_node *valn = lookup_value (&vn->valmap, val, hash, width);
 430       if (valn == NULL)
 431         {
 432           valn = pool_malloc (cat->pool, sizeof *valn);
 433           valn->index = -1;
 434           vn->n_vals++;
 435           value_init (&valn->val, width);
 436           value_copy (&valn->val, val, width);
 437           hmap_insert (&vn->valmap, &valn->node, hash);
 438         }
 439     }
 440
 441   for (i = 0 ; i < cat->n_iap; ++i)
 442     {
 443       const struct interaction *iact = cat->iap[i].iact;
 444
 445       size_t hash;
 446       struct interaction_value *node;
 447
 448       if ( interaction_case_is_missing (iact, c, cat->fctr_excl))
 449         continue;
 450
 451       hash = interaction_case_hash (iact, c, 0);
 452       node = lookup_case (&cat->iap[i].ivmap, iact, c);
 453
 454       if ( NULL == node)
 455         {
 456           node = pool_malloc (cat->pool, sizeof *node);
 457           node->ccase = case_ref (c);
 458           node->cc = weight;
 459
 460           hmap_insert (&cat->iap[i].ivmap, &node->node, hash);
 461
 462           if (cat->payload)
 463             {
 464               node->user_data = cat->payload->create (cat->aux1, cat->aux2);
 465             }
 466         }
 467       else
 468         {
 469           node->cc += weight;
 470         }
 471       cat->iap[i].cc += weight;
 472
 473       if (cat->payload)
 474         {
 475           cat->payload->update (cat->aux1, cat->aux2, node->user_data, c, weight);
 476         }
 477     }
 478 }
 479
 480 /* Return the number of categories (distinct values) for interction N */
 481 size_t
 482 categoricals_n_count (const struct categoricals *cat, size_t n)
 483 {
 484   return hmap_count (&cat->iap[n].ivmap);
 485 }
 486
 487
 488 size_t
 489 categoricals_df (const struct categoricals *cat, size_t n)
 490 {
 491   const struct interact_params *iap = &cat->iap[n];
 492   return iap->df_prod[iap->iact->n_vars - 1];
 493 }
 494
 495
 496 /* Return the total number of categories */
 497 size_t
 498 categoricals_n_total (const struct categoricals *cat)
 499 {
 500   if (!categoricals_is_complete (cat))
 501     return 0;
 502
 503   return cat->n_cats_total;
 504 }
 505
 506 size_t
 507 categoricals_df_total (const struct categoricals *cat)
 508 {
 509   if (NULL == cat)
 510     return 0;
 511
 512   return cat->df_sum;
 513 }
 514
 515 bool
 516 categoricals_is_complete (const struct categoricals *cat)
 517 {
 518   return (NULL != cat->reverse_variable_map_short);
 519 }
 520
 521
 522 /* This function must be called *before* any call to categoricals_get_*_by subscript and
 523  *after* all calls to categoricals_update */
 524 void
 525 categoricals_done (const struct categoricals *cat_)
 526 {
 527   /* Implementation Note: Whilst this function is O(n) in cat->n_cats_total, in most
 528      uses it will be more efficient that using a tree based structure, since it
 529      is called only once, and means that subsequent lookups will be O(1).
 530
 531      1 call of O(n) + 10^9 calls of O(1) is better than 10^9 calls of O(log n).
 532   */
 533   struct categoricals *cat = CONST_CAST (struct categoricals *, cat_);
 534   int v;
 535   int i;
 536   int idx_short = 0;
 537   int idx_long = 0;
 538
 539   if (NULL == cat)
 540     return;
 541
 542   cat->df_sum = 0;
 543   cat->n_cats_total = 0;
 544
 545   /* Calculate the degrees of freedom, and the number of categories */
 546   for (i = 0 ; i < cat->n_iap; ++i)
 547     {
 548       int df = 1;
 549       const struct interaction *iact = cat->iap[i].iact;
 550
 551       cat->iap[i].df_prod = iact->n_vars ? xcalloc (iact->n_vars, sizeof (int)) : NULL;
 552
 553       cat->iap[i].n_cats = 1;
 554
 555       for (v = 0 ; v < iact->n_vars; ++v)
 556         {
 557           int x;
 558           const struct variable *var = iact->vars[v];
 559
 560           struct variable_node *vn = lookup_variable (&cat->varmap, var, hash_pointer (var, 0));
 561
 562           struct value_node *valnd = NULL;
 563           struct value_node **array ;
 564
 565           assert (vn->n_vals == hmap_count (&vn->valmap));
 566
 567           if  (vn->n_vals == 0)
 568             {
 569               cat->sane = false;
 570               return;
 571             }
 572
 573           /* Sort the VALMAP here */
 574           array = xcalloc (sizeof *array, vn->n_vals);
 575           x = 0;
 576           HMAP_FOR_EACH (valnd, struct value_node, node, &vn->valmap)
 577             {
 578               /* Note: This loop is probably superfluous, it could be done in the
 579                update stage (at the expense of a realloc) */
 580               array[x++] = valnd;
 581             }
 582
 583           sort (array, vn->n_vals, sizeof (*array),
 584                 compare_value_node_3way, vn);
 585
 586           for (x = 0; x <  vn->n_vals; ++x)
 587             {
 588               struct value_node *vvv = array[x];
 589               vvv->index = x;
 590             }
 591           free (array);
 592
 593           cat->iap[i].df_prod[v] = df * (vn->n_vals - 1);
 594           df = cat->iap[i].df_prod[v];
 595
 596           cat->iap[i].n_cats *= vn->n_vals;
 597         }
 598
 599       if (v > 0)
 600         cat->df_sum += cat->iap[i].df_prod [v - 1];
 601
 602       cat->n_cats_total += cat->iap[i].n_cats;
 603     }
 604
 605
 606   cat->reverse_variable_map_short = pool_calloc (cat->pool,
 607                                                  cat->df_sum,
 608                                                  sizeof *cat->reverse_variable_map_short);
 609
 610   cat->reverse_variable_map_long = pool_calloc (cat->pool,
 611                                                 cat->n_cats_total,
 612                                                 sizeof *cat->reverse_variable_map_long);
 613
 614   for (i = 0 ; i < cat->n_iap; ++i)
 615     {
 616       struct interaction_value *ivn = NULL;
 617       int x = 0;
 618       int ii;
 619       struct interact_params *iap = &cat->iap[i];
 620
 621       iap->base_subscript_short = idx_short;
 622       iap->base_subscript_long = idx_long;
 623
 624       iap->reverse_interaction_value_map = pool_calloc (cat->pool, iap->n_cats,
 625                                                         sizeof *iap->reverse_interaction_value_map);
 626
 627       HMAP_FOR_EACH (ivn, struct interaction_value, node, &iap->ivmap)
 628         {
 629           iap->reverse_interaction_value_map[x++] = ivn;
 630         }
 631
 632       assert (x <= iap->n_cats);
 633
 634       /* For some purposes (eg CONTRASTS in ONEWAY) the values need to be sorted */
 635       sort (iap->reverse_interaction_value_map, x, sizeof (*iap->reverse_interaction_value_map),
 636             compare_interaction_value_3way, iap);
 637
 638       /* Fill the remaining values with null */
 639       for (ii = x ; ii < iap->n_cats; ++ii)
 640         iap->reverse_interaction_value_map[ii] = NULL;
 641
 642       /* Populate the reverse variable maps. */
 643       if (iap->df_prod)
 644         {
 645           for (ii = 0; ii < iap->df_prod [iap->iact->n_vars - 1]; ++ii)
 646             cat->reverse_variable_map_short[idx_short++] = i;
 647         }
 648
 649       for (ii = 0; ii < iap->n_cats; ++ii)
 650         cat->reverse_variable_map_long[idx_long++] = i;
 651     }
 652
 653   assert (cat->n_vars <= cat->n_iap);
 654
 655   categoricals_dump (cat);
 656
 657   /* Tally up the sums for all the encodings */
 658   for (i = 0 ; i < cat->n_iap; ++i)
 659     {
 660       int x, y;
 661       struct interact_params *iap = &cat->iap[i];
 662       const struct interaction *iact = iap->iact;
 663
 664       const int df = iap->df_prod ? iap->df_prod [iact->n_vars - 1] : 0;
 665
 666       iap->enc_sum = xcalloc (df, sizeof (*(iap->enc_sum)));
 667
 668       for (y = 0; y < hmap_count (&iap->ivmap); ++y)
 669         {
 670           struct interaction_value *iv = iap->reverse_interaction_value_map[y];
 671           for (x = iap->base_subscript_short; x < iap->base_subscript_short + df ;++x)
 672             {
 673               const double bin = categoricals_get_effects_code_for_case (cat, x, iv->ccase);
 674               iap->enc_sum [x - iap->base_subscript_short] += bin * iv->cc;
 675             }
 676           if (cat->payload && cat->payload->calculate)
 677             cat->payload->calculate (cat->aux1, cat->aux2, iv->user_data);
 678         }
 679     }
 680
 681   cat->sane = true;
 682 }
 683
 684
 685 static int
 686 reverse_variable_lookup_short (const struct categoricals *cat, int subscript)
 687 {
 688   assert (cat->reverse_variable_map_short);
 689   assert (subscript >= 0);
 690   assert (subscript < cat->df_sum);
 691
 692   return cat->reverse_variable_map_short[subscript];
 693 }
 694
 695 static int
 696 reverse_variable_lookup_long (const struct categoricals *cat, int subscript)
 697 {
 698   assert (cat->reverse_variable_map_long);
 699   assert (subscript >= 0);
 700   assert (subscript < cat->n_cats_total);
 701
 702   return cat->reverse_variable_map_long[subscript];
 703 }
 704
 705
 706 /* Return the interaction corresponding to SUBSCRIPT */
 707 const struct interaction *
 708 categoricals_get_interaction_by_subscript (const struct categoricals *cat, int subscript)
 709 {
 710   int index = reverse_variable_lookup_short (cat, subscript);
 711
 712   return cat->iap[index].iact;
 713 }
 714
 715 double
 716 categoricals_get_weight_by_subscript (const struct categoricals *cat, int subscript)
 717 {
 718   int vindex = reverse_variable_lookup_short (cat, subscript);
 719   const struct interact_params *vp = &cat->iap[vindex];
 720
 721   return vp->cc;
 722 }
 723
 724 double
 725 categoricals_get_sum_by_subscript (const struct categoricals *cat, int subscript)
 726 {
 727   int vindex = reverse_variable_lookup_short (cat, subscript);
 728   const struct interact_params *vp = &cat->iap[vindex];
 729
 730   return   vp->enc_sum[subscript - vp->base_subscript_short];
 731 }
 732
 733
 734 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 735    for that subscript */
 736 static double
 737 categoricals_get_code_for_case (const struct categoricals *cat, int subscript,
 738                                 const struct ccase *c,
 739                                 bool effects_coding)
 740 {
 741   const struct interaction *iact = categoricals_get_interaction_by_subscript (cat, subscript);
 742
 743   const int i = reverse_variable_lookup_short (cat, subscript);
 744
 745   const int base_index = cat->iap[i].base_subscript_short;
 746
 747   int v;
 748   double result = 1.0;
 749
 750   const struct interact_params *iap = &cat->iap[i];
 751
 752   double dfp = 1.0;
 753   for (v = 0; v < iact->n_vars; ++v)
 754     {
 755       const struct variable *var = iact->vars[v];
 756
 757       const union value *val = case_data (c, var);
 758       const int width = var_get_width (var);
 759       const struct variable_node *vn = lookup_variable (&cat->varmap, var, hash_pointer (var, 0));
 760
 761       const unsigned int hash = value_hash (val, width, 0);
 762       const struct value_node *valn = lookup_value (&vn->valmap, val, hash, width);
 763
 764       double bin = 1.0;
 765
 766       const double df = iap->df_prod[v] / dfp;
 767
 768       /* Translate the subscript into an index for the individual variable */
 769       const int index = ((subscript - base_index) % iap->df_prod[v] ) / dfp;
 770       dfp = iap->df_prod [v];
 771
 772       if (effects_coding && valn->index == df )
 773         bin = -1.0;
 774       else if ( valn->index != index )
 775         bin = 0;
 776
 777       result *= bin;
 778     }
 779
 780   return result;
 781 }
 782
 783
 784 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 785    for that subscript */
 786 double
 787 categoricals_get_dummy_code_for_case (const struct categoricals *cat, int subscript,
 788                                      const struct ccase *c)
 789 {
 790   return categoricals_get_code_for_case (cat, subscript, c, false);
 791 }
 792
 793 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 794    for that subscript.
 795    Else if it is the last category, return -1.
 796    Otherwise return 0.
 797  */
 798 double
 799 categoricals_get_effects_code_for_case (const struct categoricals *cat, int subscript,
 800                                         const struct ccase *c)
 801 {
 802   return categoricals_get_code_for_case (cat, subscript, c, true);
 803 }
 804
 805
 806 size_t
 807 categoricals_get_n_variables (const struct categoricals *cat)
 808 {
 809   printf ("%s\n", __FUNCTION__);
 810   return cat->n_vars;
 811 }
 812
 813
 814 /* Return a case containing the set of values corresponding to
 815    the Nth Category of the IACTth interaction */
 816 const struct ccase *
 817 categoricals_get_case_by_category_real (const struct categoricals *cat, int iact, int n)
 818 {
 819   const struct interaction_value *vn;
 820
 821   const struct interact_params *vp = &cat->iap[iact];
 822
 823   if ( n >= hmap_count (&vp->ivmap))
 824     return NULL;
 825
 826   vn = vp->reverse_interaction_value_map [n];
 827
 828   return vn->ccase;
 829 }
 830
 831 /* Return a the user data corresponding to the Nth Category of the IACTth interaction. */
 832 void *
 833 categoricals_get_user_data_by_category_real (const struct categoricals *cat, int iact, int n)
 834 {
 835   const struct interact_params *vp = &cat->iap[iact];
 836   const struct interaction_value *iv ;
 837
 838   if ( n >= hmap_count (&vp->ivmap))
 839     return NULL;
 840
 841   iv = vp->reverse_interaction_value_map [n];
 842
 843   return iv->user_data;
 844 }
 845
 846
 847
 848 /* Return a case containing the set of values corresponding to SUBSCRIPT */
 849 const struct ccase *
 850 categoricals_get_case_by_category (const struct categoricals *cat, int subscript)
 851 {
 852   int vindex = reverse_variable_lookup_long (cat, subscript);
 853   const struct interact_params *vp = &cat->iap[vindex];
 854   const struct interaction_value *vn = vp->reverse_interaction_value_map [subscript - vp->base_subscript_long];
 855
 856   return vn->ccase;
 857 }
 858
 859 void *
 860 categoricals_get_user_data_by_category (const struct categoricals *cat, int subscript)
 861 {
 862   int vindex = reverse_variable_lookup_long (cat, subscript);
 863   const struct interact_params *vp = &cat->iap[vindex];
 864
 865   const struct interaction_value *iv = vp->reverse_interaction_value_map [subscript - vp->base_subscript_long];
 866   return iv->user_data;
 867 }
 868
 869
 870 \f
 871
 872 void
 873 categoricals_set_payload (struct categoricals *cat, const struct payload *p,
 874                           const void *aux1, void *aux2)
 875 {
 876   cat->payload = p;
 877   cat->aux1 = aux1;
 878   cat->aux2 = aux2;
 879 }