pintos-os.org Git - pspp/blob - src/math/categoricals.c

   1 /* PSPP - a program for statistical analysis.
   2    Copyright (C) 2009, 2010, 2011, 2012, 2014 Free Software Foundation, Inc.
   3
   4    This program is free software: you can redistribute it and/or modify
   5    it under the terms of the GNU General Public License as published by
   6    the Free Software Foundation, either version 3 of the License, or
   7    (at your option) any later version.
   8
   9    This program is distributed in the hope that it will be useful,
  10    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12    GNU General Public License for more details.
  13
  14    You should have received a copy of the GNU General Public License
  15    along with this program.  If not, see <http://www.gnu.org/licenses/>. */
  16
  17 #include <config.h>
  18
  19 #include "math/categoricals.h"
  20 #include "math/interaction.h"
  21
  22 #include <float.h>
  23 #include <stdio.h>
  24
  25 #include "data/case.h"
  26 #include "data/value.h"
  27 #include "data/variable.h"
  28 #include "libpspp/array.h"
  29 #include "libpspp/hmap.h"
  30 #include "libpspp/pool.h"
  31 #include "libpspp/str.h"
  32 #include "libpspp/hash-functions.h"
  33
  34 #include "gl/xalloc.h"
  35
  36 #define CATEGORICALS_DEBUG 0
  37
  38 struct value_node
  39 {
  40   struct hmap_node node;      /* Node in hash map. */
  41
  42   union value val;            /* The value */
  43
  44   int index;                  /* A zero based unique index for this value */
  45 };
  46
  47
  48 struct interaction_value
  49 {
  50   struct hmap_node node;      /* Node in hash map */
  51
  52   struct ccase *ccase;        /* A case (probably the first in the dataset) which matches
  53                                  this value */
  54
  55   double cc;                  /* Total of the weights of cases matching this interaction */
  56
  57   void *user_data;            /* A pointer to data which the caller can store stuff */
  58 };
  59
  60 static struct value_node *
  61 lookup_value (const struct hmap *map, const union value *val, unsigned int hash, int width)
  62 {
  63   struct value_node *vn = NULL;
  64   HMAP_FOR_EACH_WITH_HASH (vn, struct value_node, node, hash, map)
  65     {
  66       if (value_equal (&vn->val, val, width))
  67         break;
  68     }
  69
  70   return vn;
  71 }
  72
  73 struct variable_node
  74 {
  75   struct hmap_node node;      /* Node in hash map. */
  76   const struct variable *var; /* The variable */
  77
  78   struct hmap valmap;         /* A map of value nodes */
  79   int n_vals;                 /* Number of values for this variable */
  80 };
  81
  82
  83 /* Comparison function to sort value_nodes in ascending order */
  84 static int
  85 compare_value_node_3way (const void *vn1_, const void *vn2_, const void *aux)
  86 {
  87   const struct value_node *const *vn1p = vn1_;
  88   const struct value_node *const *vn2p = vn2_;
  89
  90   const struct variable_node *vn = aux;
  91
  92
  93   return value_compare_3way (&(*vn1p)->val, &(*vn2p)->val, var_get_width (vn->var));
  94 }
  95
  96
  97
  98 static struct variable_node *
  99 lookup_variable (const struct hmap *map, const struct variable *var, unsigned int hash)
 100 {
 101   struct variable_node *vn = NULL;
 102   HMAP_FOR_EACH_WITH_HASH (vn, struct variable_node, node, hash, map)
 103     {
 104       if (vn->var == var)
 105         break;
 106
 107       fprintf (stderr, "%s:%d Warning: Hash table collision\n", __FILE__, __LINE__);
 108     }
 109
 110   return vn;
 111 }
 112
 113
 114 struct interact_params
 115 {
 116   /* A map of cases indexed by a interaction_value */
 117   struct hmap ivmap;
 118
 119   const struct interaction *iact;
 120
 121   int base_subscript_short;
 122   int base_subscript_long;
 123
 124   /* The number of distinct values of this interaction */
 125   int n_cats;
 126
 127   /* An array of integers df_n * df_{n-1} * df_{n-2} ...
 128      These are the products of the degrees of freedom for the current
 129      variable and all preceeding variables */
 130   int *df_prod;
 131
 132   double *enc_sum;
 133
 134   /* A map of interaction_values indexed by subscript */
 135   struct interaction_value **reverse_interaction_value_map;
 136
 137   double cc;
 138 };
 139
 140
 141 /* Comparison function to sort the reverse_value_map in ascending order */
 142 static int
 143 compare_interaction_value_3way (const void *vn1_, const void *vn2_, const void *aux)
 144 {
 145   const struct interaction_value *const *vn1p = vn1_;
 146   const struct interaction_value *const *vn2p = vn2_;
 147
 148   const struct interact_params *iap = aux;
 149
 150   return interaction_case_cmp_3way (iap->iact, (*vn1p)->ccase, (*vn2p)->ccase);
 151 }
 152
 153 struct categoricals
 154 {
 155   /* The weight variable */
 156   const struct variable *wv;
 157
 158   /* An array of interact_params */
 159   struct interact_params *iap;
 160
 161   /* Map whose members are the union of the variables which comprise IAP */
 162   struct hmap varmap;
 163
 164   /* The size of IAP. (ie, the number of interactions involved.) */
 165   size_t n_iap;
 166
 167   /* The number of categorical variables which contain entries.
 168      In the absence of missing values, this will be equal to N_IAP */
 169   size_t n_vars;
 170
 171   size_t df_sum;
 172
 173   /* A map to enable the lookup of variables indexed by subscript.
 174      This map considers only the N - 1 of the N variables.
 175   */
 176   int *reverse_variable_map_short;
 177
 178   /* Like the above, but uses all N variables */
 179   int *reverse_variable_map_long;
 180
 181   size_t n_cats_total;
 182
 183   struct pool *pool;
 184
 185   /* Missing values in the dependent varirable to be excluded */
 186   enum mv_class dep_excl;
 187
 188   /* Missing values in the factor variables to be excluded */
 189   enum mv_class fctr_excl;
 190
 191   const void *aux1;
 192   void *aux2;
 193
 194   bool sane;
 195
 196   const struct payload *payload;
 197 };
 198
 199
 200 bool
 201 categoricals_isbalanced (const struct categoricals *cat)
 202 {
 203   int i;
 204
 205   for (i = 0 ; i < cat->n_iap; ++i)
 206     {
 207       int v;
 208       const struct interact_params *iap = &cat->iap[i];
 209
 210       double oval = -1.0;
 211       for (v = 0; v < hmap_count (&iap->ivmap); ++v)
 212         {
 213           const struct interaction_value *iv = iap->reverse_interaction_value_map[v];
 214           if (oval == -1.0)
 215             oval = iv->cc;
 216           if (oval != iv->cc)
 217             return false;
 218         }
 219     }
 220   return true;
 221 }
 222
 223
 224 static void
 225 categoricals_dump (const struct categoricals *cat)
 226 {
 227   if (CATEGORICALS_DEBUG)
 228     {
 229       int i;
 230
 231       printf ("Reverse Variable Map (short):\n");
 232       for (i = 0; i < cat->df_sum; ++i)
 233         {
 234           printf (" %d", cat->reverse_variable_map_short[i]);
 235         }
 236       printf ("\n");
 237
 238       printf ("Reverse Variable Map (long):\n");
 239       for (i = 0; i < cat->n_cats_total; ++i)
 240         {
 241           printf (" %d", cat->reverse_variable_map_long[i]);
 242         }
 243       printf ("\n");
 244
 245       printf ("Number of interactions %zu\n", cat->n_iap);
 246       for (i = 0 ; i < cat->n_iap; ++i)
 247         {
 248           int v;
 249           struct string str;
 250           const struct interact_params *iap = &cat->iap[i];
 251           const struct interaction *iact = iap->iact;
 252
 253           ds_init_empty (&str);
 254           interaction_to_string (iact, &str);
 255
 256           printf ("\nInteraction: \"%s\" (number of categories: %d); ", ds_cstr (&str), iap->n_cats);
 257           ds_destroy (&str);
 258           printf ("Base index (short/long): %d/%d\n", iap->base_subscript_short, iap->base_subscript_long);
 259
 260           printf ("\t(");
 261           for (v = 0; v < hmap_count (&iap->ivmap); ++v)
 262             {
 263               int vv;
 264               const struct interaction_value *iv = iap->reverse_interaction_value_map[v];
 265
 266               if (v > 0)  printf ("   ");
 267               printf ("{");
 268               for (vv = 0; vv < iact->n_vars; ++vv)
 269                 {
 270                   const struct variable *var = iact->vars[vv];
 271                   const union value *val = case_data (iv->ccase, var);
 272                   unsigned int varhash = hash_pointer (var, 0);
 273                   struct variable_node *vn = lookup_variable (&cat->varmap, var, varhash);
 274
 275                   const int width = var_get_width (var);
 276                   unsigned int valhash = value_hash (val, width, 0);
 277                   struct value_node *valn = lookup_value (&vn->valmap, val, valhash, width);
 278
 279                   assert (vn->var == var);
 280
 281                   printf ("%.*g(%d)", DBL_DIG + 1, val->f, valn->index);
 282                   if (vv < iact->n_vars - 1)
 283                     printf (", ");
 284                 }
 285               printf ("}");
 286             }
 287           printf (")\n");
 288         }
 289     }
 290 }
 291
 292 void
 293 categoricals_destroy (struct categoricals *cat)
 294 {
 295   struct variable_node *vn = NULL;
 296   int i;
 297   if (NULL == cat)
 298     return;
 299
 300   for (i = 0; i < cat->n_iap; ++i)
 301     {
 302       struct interaction_value *iv = NULL;
 303       /* Interate over each interaction value, and unref any cases that we reffed */
 304       HMAP_FOR_EACH (iv, struct interaction_value, node, &cat->iap[i].ivmap)
 305         {
 306           if (cat->payload && cat->payload->destroy)
 307             cat->payload->destroy (cat->aux1, cat->aux2, iv->user_data);
 308           case_unref (iv->ccase);
 309         }
 310
 311       free (cat->iap[i].enc_sum);
 312       free (cat->iap[i].df_prod);
 313       hmap_destroy (&cat->iap[i].ivmap);
 314     }
 315
 316   /* Interate over each variable and delete its value map */
 317   HMAP_FOR_EACH (vn, struct variable_node, node, &cat->varmap)
 318     {
 319       hmap_destroy (&vn->valmap);
 320     }
 321
 322   hmap_destroy (&cat->varmap);
 323
 324   pool_destroy (cat->pool);
 325
 326   free (cat);
 327 }
 328
 329
 330
 331 static struct interaction_value *
 332 lookup_case (const struct hmap *map, const struct interaction *iact, const struct ccase *c)
 333 {
 334   struct interaction_value *iv = NULL;
 335   size_t hash = interaction_case_hash (iact, c, 0);
 336
 337   HMAP_FOR_EACH_WITH_HASH (iv, struct interaction_value, node, hash, map)
 338     {
 339       if (interaction_case_equal (iact, c, iv->ccase))
 340         break;
 341
 342       fprintf (stderr, "Warning: Hash table collision\n");
 343     }
 344
 345   return iv;
 346 }
 347
 348 bool
 349 categoricals_sane (const struct categoricals *cat)
 350 {
 351   return cat->sane;
 352 }
 353
 354 struct categoricals *
 355 categoricals_create (struct interaction *const*inter, size_t n_inter,
 356                      const struct variable *wv, enum mv_class dep_excl, enum mv_class fctr_excl)
 357 {
 358   size_t i;
 359   struct categoricals *cat = xmalloc (sizeof *cat);
 360
 361   cat->n_iap = n_inter;
 362   cat->wv = wv;
 363   cat->n_cats_total = 0;
 364   cat->n_vars = 0;
 365   cat->reverse_variable_map_short = NULL;
 366   cat->reverse_variable_map_long = NULL;
 367   cat->pool = pool_create ();
 368   cat->dep_excl = dep_excl;
 369   cat->fctr_excl = fctr_excl;
 370   cat->payload = NULL;
 371   cat->aux2 = NULL;
 372   cat->sane = false;
 373
 374   cat->iap = pool_calloc (cat->pool, cat->n_iap, sizeof *cat->iap);
 375
 376   hmap_init (&cat->varmap);
 377   for (i = 0 ; i < cat->n_iap; ++i)
 378     {
 379       int v;
 380       hmap_init (&cat->iap[i].ivmap);
 381       cat->iap[i].iact = inter[i];
 382       cat->iap[i].cc = 0.0;
 383       for (v = 0; v < inter[i]->n_vars; ++v)
 384         {
 385           const struct variable *var = inter[i]->vars[v];
 386           unsigned int hash = hash_pointer (var, 0);
 387           struct variable_node *vn = lookup_variable (&cat->varmap, var, hash);
 388           if (vn == NULL)
 389             {
 390               vn = pool_malloc (cat->pool, sizeof *vn);
 391               vn->var = var;
 392               vn->n_vals = 0;
 393               hmap_init (&vn->valmap);
 394
 395               hmap_insert (&cat->varmap, &vn->node,  hash);
 396             }
 397         }
 398     }
 399
 400   return cat;
 401 }
 402
 403
 404
 405 void
 406 categoricals_update (struct categoricals *cat, const struct ccase *c)
 407 {
 408   int i;
 409   struct variable_node *vn = NULL;
 410   double weight;
 411
 412   if (NULL == cat)
 413     return;
 414
 415   weight = cat->wv ? case_data (c, cat->wv)->f : 1.0;
 416
 417   assert (NULL == cat->reverse_variable_map_short);
 418   assert (NULL == cat->reverse_variable_map_long);
 419
 420   /* Interate over each variable, and add the value of that variable
 421      to the appropriate map, if it's not already present. */
 422   HMAP_FOR_EACH (vn, struct variable_node, node, &cat->varmap)
 423     {
 424       const int width = var_get_width (vn->var);
 425       const union value *val = case_data (c, vn->var);
 426       unsigned int hash = value_hash (val, width, 0);
 427
 428       struct value_node *valn = lookup_value (&vn->valmap, val, hash, width);
 429       if (valn == NULL)
 430         {
 431           valn = pool_malloc (cat->pool, sizeof *valn);
 432           valn->index = -1;
 433           vn->n_vals++;
 434           value_init (&valn->val, width);
 435           value_copy (&valn->val, val, width);
 436           hmap_insert (&vn->valmap, &valn->node, hash);
 437         }
 438     }
 439
 440   for (i = 0 ; i < cat->n_iap; ++i)
 441     {
 442       const struct interaction *iact = cat->iap[i].iact;
 443
 444       size_t hash;
 445       struct interaction_value *node;
 446
 447       if ( interaction_case_is_missing (iact, c, cat->fctr_excl))
 448         continue;
 449
 450       hash = interaction_case_hash (iact, c, 0);
 451       node = lookup_case (&cat->iap[i].ivmap, iact, c);
 452
 453       if ( NULL == node)
 454         {
 455           node = pool_malloc (cat->pool, sizeof *node);
 456           node->ccase = case_ref (c);
 457           node->cc = weight;
 458
 459           hmap_insert (&cat->iap[i].ivmap, &node->node, hash);
 460
 461           if (cat->payload)
 462             {
 463               node->user_data = cat->payload->create (cat->aux1, cat->aux2);
 464             }
 465         }
 466       else
 467         {
 468           node->cc += weight;
 469         }
 470       cat->iap[i].cc += weight;
 471
 472       if (cat->payload)
 473         {
 474           double weight = cat->wv ? case_data (c, cat->wv)->f : 1.0;
 475           cat->payload->update (cat->aux1, cat->aux2, node->user_data, c, weight);
 476         }
 477
 478     }
 479 }
 480
 481 /* Return the number of categories (distinct values) for interction N */
 482 size_t
 483 categoricals_n_count (const struct categoricals *cat, size_t n)
 484 {
 485   return hmap_count (&cat->iap[n].ivmap);
 486 }
 487
 488
 489 size_t
 490 categoricals_df (const struct categoricals *cat, size_t n)
 491 {
 492   const struct interact_params *iap = &cat->iap[n];
 493   return iap->df_prod[iap->iact->n_vars - 1];
 494 }
 495
 496
 497 /* Return the total number of categories */
 498 size_t
 499 categoricals_n_total (const struct categoricals *cat)
 500 {
 501   if (!categoricals_is_complete (cat))
 502     return 0;
 503
 504   return cat->n_cats_total;
 505 }
 506
 507 size_t
 508 categoricals_df_total (const struct categoricals *cat)
 509 {
 510   if (NULL == cat)
 511     return 0;
 512
 513   return cat->df_sum;
 514 }
 515
 516 bool
 517 categoricals_is_complete (const struct categoricals *cat)
 518 {
 519   return (NULL != cat->reverse_variable_map_short);
 520 }
 521
 522
 523 /* This function must be called *before* any call to categoricals_get_*_by subscript and
 524  *after* all calls to categoricals_update */
 525 void
 526 categoricals_done (const struct categoricals *cat_)
 527 {
 528   /* Implementation Note: Whilst this function is O(n) in cat->n_cats_total, in most
 529      uses it will be more efficient that using a tree based structure, since it
 530      is called only once, and means that subsequent lookups will be O(1).
 531
 532      1 call of O(n) + 10^9 calls of O(1) is better than 10^9 calls of O(log n).
 533   */
 534   struct categoricals *cat = CONST_CAST (struct categoricals *, cat_);
 535   int v;
 536   int i;
 537   int idx_short = 0;
 538   int idx_long = 0;
 539
 540   if (NULL == cat)
 541     return;
 542
 543   cat->df_sum = 0;
 544   cat->n_cats_total = 0;
 545
 546   /* Calculate the degrees of freedom, and the number of categories */
 547   for (i = 0 ; i < cat->n_iap; ++i)
 548     {
 549       int df = 1;
 550       const struct interaction *iact = cat->iap[i].iact;
 551
 552       cat->iap[i].df_prod = iact->n_vars ? xcalloc (iact->n_vars, sizeof (int)) : NULL;
 553
 554       cat->iap[i].n_cats = 1;
 555
 556       for (v = 0 ; v < iact->n_vars; ++v)
 557         {
 558           int x;
 559           const struct variable *var = iact->vars[v];
 560
 561           struct variable_node *vn = lookup_variable (&cat->varmap, var, hash_pointer (var, 0));
 562
 563           struct value_node *valnd = NULL;
 564           struct value_node **array ;
 565
 566           assert (vn->n_vals == hmap_count (&vn->valmap));
 567
 568           if  (vn->n_vals == 0)
 569             {
 570               cat->sane = false;
 571               return;
 572             }
 573
 574           /* Sort the VALMAP here */
 575           array = xcalloc (sizeof *array, vn->n_vals);
 576           x = 0;
 577           HMAP_FOR_EACH (valnd, struct value_node, node, &vn->valmap)
 578             {
 579               /* Note: This loop is probably superfluous, it could be done in the
 580                update stage (at the expense of a realloc) */
 581               array[x++] = valnd;
 582             }
 583
 584           sort (array, vn->n_vals, sizeof (*array),
 585                 compare_value_node_3way, vn);
 586
 587           for (x = 0; x <  vn->n_vals; ++x)
 588             {
 589               struct value_node *vvv = array[x];
 590               vvv->index = x;
 591             }
 592           free (array);
 593
 594           cat->iap[i].df_prod[v] = df * (vn->n_vals - 1);
 595           df = cat->iap[i].df_prod[v];
 596
 597           cat->iap[i].n_cats *= vn->n_vals;
 598         }
 599
 600       if (v > 0)
 601         cat->df_sum += cat->iap[i].df_prod [v - 1];
 602
 603       cat->n_cats_total += cat->iap[i].n_cats;
 604     }
 605
 606
 607   cat->reverse_variable_map_short = pool_calloc (cat->pool,
 608                                                  cat->df_sum,
 609                                                  sizeof *cat->reverse_variable_map_short);
 610
 611   cat->reverse_variable_map_long = pool_calloc (cat->pool,
 612                                                 cat->n_cats_total,
 613                                                 sizeof *cat->reverse_variable_map_long);
 614
 615   for (i = 0 ; i < cat->n_iap; ++i)
 616     {
 617       struct interaction_value *ivn = NULL;
 618       int x = 0;
 619       int ii;
 620       struct interact_params *iap = &cat->iap[i];
 621
 622       iap->base_subscript_short = idx_short;
 623       iap->base_subscript_long = idx_long;
 624
 625       iap->reverse_interaction_value_map = pool_calloc (cat->pool, iap->n_cats,
 626                                                         sizeof *iap->reverse_interaction_value_map);
 627
 628       HMAP_FOR_EACH (ivn, struct interaction_value, node, &iap->ivmap)
 629         {
 630           iap->reverse_interaction_value_map[x++] = ivn;
 631         }
 632
 633       assert (x <= iap->n_cats);
 634
 635       /* For some purposes (eg CONTRASTS in ONEWAY) the values need to be sorted */
 636       sort (iap->reverse_interaction_value_map, x, sizeof (*iap->reverse_interaction_value_map),
 637             compare_interaction_value_3way, iap);
 638
 639       /* Fill the remaining values with null */
 640       for (ii = x ; ii < iap->n_cats; ++ii)
 641         iap->reverse_interaction_value_map[ii] = NULL;
 642
 643       /* Populate the reverse variable maps. */
 644       if (iap->df_prod)
 645         {
 646           for (ii = 0; ii < iap->df_prod [iap->iact->n_vars - 1]; ++ii)
 647             cat->reverse_variable_map_short[idx_short++] = i;
 648         }
 649
 650       for (ii = 0; ii < iap->n_cats; ++ii)
 651         cat->reverse_variable_map_long[idx_long++] = i;
 652     }
 653
 654   assert (cat->n_vars <= cat->n_iap);
 655
 656   categoricals_dump (cat);
 657
 658   /* Tally up the sums for all the encodings */
 659   for (i = 0 ; i < cat->n_iap; ++i)
 660     {
 661       int x, y;
 662       struct interact_params *iap = &cat->iap[i];
 663       const struct interaction *iact = iap->iact;
 664
 665       const int df = iap->df_prod ? iap->df_prod [iact->n_vars - 1] : 0;
 666
 667       iap->enc_sum = xcalloc (df, sizeof (*(iap->enc_sum)));
 668
 669       for (y = 0; y < hmap_count (&iap->ivmap); ++y)
 670         {
 671           struct interaction_value *iv = iap->reverse_interaction_value_map[y];
 672           for (x = iap->base_subscript_short; x < iap->base_subscript_short + df ;++x)
 673             {
 674               const double bin = categoricals_get_effects_code_for_case (cat, x, iv->ccase);
 675               iap->enc_sum [x - iap->base_subscript_short] += bin * iv->cc;
 676             }
 677           if (cat->payload && cat->payload->calculate)
 678             cat->payload->calculate (cat->aux1, cat->aux2, iv->user_data);
 679         }
 680     }
 681
 682   cat->sane = true;
 683 }
 684
 685
 686 static int
 687 reverse_variable_lookup_short (const struct categoricals *cat, int subscript)
 688 {
 689   assert (cat->reverse_variable_map_short);
 690   assert (subscript >= 0);
 691   assert (subscript < cat->df_sum);
 692
 693   return cat->reverse_variable_map_short[subscript];
 694 }
 695
 696 static int
 697 reverse_variable_lookup_long (const struct categoricals *cat, int subscript)
 698 {
 699   assert (cat->reverse_variable_map_long);
 700   assert (subscript >= 0);
 701   assert (subscript < cat->n_cats_total);
 702
 703   return cat->reverse_variable_map_long[subscript];
 704 }
 705
 706
 707 /* Return the interaction corresponding to SUBSCRIPT */
 708 const struct interaction *
 709 categoricals_get_interaction_by_subscript (const struct categoricals *cat, int subscript)
 710 {
 711   int index = reverse_variable_lookup_short (cat, subscript);
 712
 713   return cat->iap[index].iact;
 714 }
 715
 716 double
 717 categoricals_get_weight_by_subscript (const struct categoricals *cat, int subscript)
 718 {
 719   int vindex = reverse_variable_lookup_short (cat, subscript);
 720   const struct interact_params *vp = &cat->iap[vindex];
 721
 722   return vp->cc;
 723 }
 724
 725 double
 726 categoricals_get_sum_by_subscript (const struct categoricals *cat, int subscript)
 727 {
 728   int vindex = reverse_variable_lookup_short (cat, subscript);
 729   const struct interact_params *vp = &cat->iap[vindex];
 730
 731   return   vp->enc_sum[subscript - vp->base_subscript_short];
 732 }
 733
 734
 735 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 736    for that subscript */
 737 static double
 738 categoricals_get_code_for_case (const struct categoricals *cat, int subscript,
 739                                 const struct ccase *c,
 740                                 bool effects_coding)
 741 {
 742   const struct interaction *iact = categoricals_get_interaction_by_subscript (cat, subscript);
 743
 744   const int i = reverse_variable_lookup_short (cat, subscript);
 745
 746   const int base_index = cat->iap[i].base_subscript_short;
 747
 748   int v;
 749   double result = 1.0;
 750
 751   const struct interact_params *iap = &cat->iap[i];
 752
 753   double dfp = 1.0;
 754   for (v = 0; v < iact->n_vars; ++v)
 755     {
 756       const struct variable *var = iact->vars[v];
 757
 758       const union value *val = case_data (c, var);
 759       const int width = var_get_width (var);
 760       const struct variable_node *vn = lookup_variable (&cat->varmap, var, hash_pointer (var, 0));
 761
 762       const unsigned int hash = value_hash (val, width, 0);
 763       const struct value_node *valn = lookup_value (&vn->valmap, val, hash, width);
 764
 765       double bin = 1.0;
 766
 767       const double df = iap->df_prod[v] / dfp;
 768
 769       /* Translate the subscript into an index for the individual variable */
 770       const int index = ((subscript - base_index) % iap->df_prod[v] ) / dfp;
 771       dfp = iap->df_prod [v];
 772
 773       if (effects_coding && valn->index == df )
 774         bin = -1.0;
 775       else if ( valn->index != index )
 776         bin = 0;
 777
 778       result *= bin;
 779     }
 780
 781   return result;
 782 }
 783
 784
 785 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 786    for that subscript */
 787 double
 788 categoricals_get_dummy_code_for_case (const struct categoricals *cat, int subscript,
 789                                      const struct ccase *c)
 790 {
 791   return categoricals_get_code_for_case (cat, subscript, c, false);
 792 }
 793
 794 /* Returns unity if the value in case C at SUBSCRIPT is equal to the category
 795    for that subscript.
 796    Else if it is the last category, return -1.
 797    Otherwise return 0.
 798  */
 799 double
 800 categoricals_get_effects_code_for_case (const struct categoricals *cat, int subscript,
 801                                         const struct ccase *c)
 802 {
 803   return categoricals_get_code_for_case (cat, subscript, c, true);
 804 }
 805
 806
 807 size_t
 808 categoricals_get_n_variables (const struct categoricals *cat)
 809 {
 810   printf ("%s\n", __FUNCTION__);
 811   return cat->n_vars;
 812 }
 813
 814
 815 /* Return a case containing the set of values corresponding to
 816    the Nth Category of the IACTth interaction */
 817 const struct ccase *
 818 categoricals_get_case_by_category_real (const struct categoricals *cat, int iact, int n)
 819 {
 820   const struct interaction_value *vn;
 821
 822   const struct interact_params *vp = &cat->iap[iact];
 823
 824   if ( n >= hmap_count (&vp->ivmap))
 825     return NULL;
 826
 827   vn = vp->reverse_interaction_value_map [n];
 828
 829   return vn->ccase;
 830 }
 831
 832 /* Return a the user data corresponding to the Nth Category of the IACTth interaction. */
 833 void *
 834 categoricals_get_user_data_by_category_real (const struct categoricals *cat, int iact, int n)
 835 {
 836   const struct interact_params *vp = &cat->iap[iact];
 837   const struct interaction_value *iv ;
 838
 839   if ( n >= hmap_count (&vp->ivmap))
 840     return NULL;
 841
 842   iv = vp->reverse_interaction_value_map [n];
 843
 844   return iv->user_data;
 845 }
 846
 847
 848
 849 /* Return a case containing the set of values corresponding to SUBSCRIPT */
 850 const struct ccase *
 851 categoricals_get_case_by_category (const struct categoricals *cat, int subscript)
 852 {
 853   int vindex = reverse_variable_lookup_long (cat, subscript);
 854   const struct interact_params *vp = &cat->iap[vindex];
 855   const struct interaction_value *vn = vp->reverse_interaction_value_map [subscript - vp->base_subscript_long];
 856
 857   return vn->ccase;
 858 }
 859
 860 void *
 861 categoricals_get_user_data_by_category (const struct categoricals *cat, int subscript)
 862 {
 863   int vindex = reverse_variable_lookup_long (cat, subscript);
 864   const struct interact_params *vp = &cat->iap[vindex];
 865
 866   const struct interaction_value *iv = vp->reverse_interaction_value_map [subscript - vp->base_subscript_long];
 867   return iv->user_data;
 868 }
 869
 870
 871 \f
 872
 873 void
 874 categoricals_set_payload (struct categoricals *cat, const struct payload *p,
 875                           const void *aux1, void *aux2)
 876 {
 877   cat->payload = p;
 878   cat->aux1 = aux1;
 879   cat->aux2 = aux2;
 880 }