GET DATA /TYPE=TXT: Get rid of VAR_NAME_LEN limit on variable names.

Most uses of VAR_NAME_LEN within PSPP are wrong due to encoding issues:
the limit applies to variable names in the encoding used by the data
set, but most uses of VAR_NAME_LEN actually limit the length of a name
in UTF-8.  The UTF-8 representation of a name can be longer or shorter
than its representation in the data set encoding, so it seems best to
eliminate references to VAR_NAME_LEN entirely.

FILE HANDLE: Get rid of VAR_NAME_LEN limit on handle name.

Most uses of VAR_NAME_LEN within PSPP are wrong due to encoding issues:
the limit applies to variable names in the encoding used by the data
set, but most uses of VAR_NAME_LEN actually limit the length of a name
in UTF-8.  The UTF-8 representation of a name can be longer or shorter
than its representation in the data set encoding, so it seems best to
eliminate references to VAR_NAME_LEN entirely.

combine-files: Eliminate VAR_NAME_LEN restriction from combine_files().

Most uses of VAR_NAME_LEN within PSPP are wrong due to encoding issues:
the limit applies to variable names in the encoding used by the data
set, but most uses of VAR_NAME_LEN actually limit the length of a name
in UTF-8.  The UTF-8 representation of a name can be longer or shorter
than its representation in the data set encoding, so it seems best to
eliminate references to VAR_NAME_LEN entirely.

vector: Remove VAR_NAME_LEN limit for internal representation of name.

Most uses of VAR_NAME_LEN within PSPP are wrong due to encoding issues:
the limit applies to variable names in the encoding used by the data
set, but most uses of VAR_NAME_LEN actually limit the length of a name
in UTF-8.  The UTF-8 representation of a name can be longer or shorter
than its representation in the data set encoding, so it seems best to
eliminate references to VAR_NAME_LEN entirely.

variable: Remove VAR_NAME_LEN limit for internal representation of name.

Most uses of VAR_NAME_LEN within PSPP are wrong due to encoding issues:
the limit applies to variable names in the encoding used by the data
set, but most uses of VAR_NAME_LEN actually limit the length of a name
in UTF-8.  The UTF-8 representation of a name can be longer or shorter
than its representation in the data set encoding, so it seems best to
eliminate references to VAR_NAME_LEN entirely.

dict: Make dict_make_unique_var_name() return an allocated string.

tests: Add `check-programs' target.

Occasionally I want to build all the programs required to run "make check"
without actually running the tests.  This target allows me to do that.

Smake: Avoid duplicating $(GNULIB_TOOL) invocation.

The "all" and "gnulib" rules both contained the same gnulib-tool
invocation.  This commit changes the "all" rule to use the "gnulib" rule
as a subrule.

i18n: Always allocate from pool in recode_substring_pool().

sys-file-writer: Fix subtype used for v14+ multiple response set records.

doc: Document that type-7 records must appear in ascending numerical order.

Every system file that I have seen puts them in this order, so I cannot
imagine that any other order receives any testing.

doc: Update description of character encoding information in system files.

Based on information provided by John Darrington and on system files
obtained freely from the Internet.

sys-file-reader: Add tests.

sys-file-reader: Elevate invalid number of labels from warning to error.

There's no way to figure out when the labels end when the count is wrong,
so this has to be an error.

sys-file-reader: Avoid redundant "within system file" in messages.

All system file message already state the system file's name, which should
be enough identification.

sys-file-reader: Improve debugging usefulness of error messages.

I found that these changes made it easier to debug problems with system
files while I was developing tests.

sys-file-reader: Really enable warnings for invalid variable formats.

With these operator in the wrong order, I never saw any warnings, although
other people might have seen different behavior.

sys-file-reader: Add missing periods at end of error messages.

Most of the error messages already ended in periods, so this adds them to
the others for consistency.

sys-file-reader: Check that multiple response set names begin with `$'.

This invariant was being checked by an assertion in dict_add_mrset(), so
this change avoids an assertion failure for invalid system files.

sys-file-reader: Fix double-free on read of partial record.

partial_record() does a longjmp() to code near the top of
sys_file_casereader_read() that unrefs the case, but this code at the
end of sys_file_casereader_read() would have already unref'ed it once in
that case, resulting in a double-free.

hash-functions: Use C instead of preprocessor to test size of double.

I don't see a reason that this has to be done as an #if directive.  The
compiler should be easily able to optimize out the branch that will never
be taken.  This allows us to get rid of a configure check, so it seems
worthwhile to me.

q2c: T_RPAREN should be T_LPAREN for matching a left parenthesis.

Also add a test for this case on the T-TEST command, where the bug was
first reported.

Bug #32061.
Reported by Mindaugas <embar@super.lt>.
Reported by Chuck Kralowec <chuck.kralowec@gmail.com>.

Updated the Lithuanian translation from translationproject.org.

README: Describe meaning of copyright year ranges.

This is required by the GNU maintainers guide as a prerequisite for using
copyright year ranges.  So far, PSPP itself doesn't use ranges, but Gnulib
(which PSPP uses) does.

expressions: Fix test failures due to new year.

Some of the date-related test cases assumed that year 41 would be
interpreted as 1941, but due to the 30-year century window, as soon as it
became 2011 this assumption failed.  Write these years explicitly as 1941
instead to fix the problem.

NPAR TESTS: Fix two test failures.

Tests "NPAR TESTS CHISQUARE with DESCRIPTIVES" and "NPAR TESTS CHISQUARE,
listwise missing" were failing because of some unexpected behavior of
lex_put_back().  This fixes the problem by avoiding lex_put_back()
entirely.

NPAR TESTS: Fix "NPAR TESTS BINOMIAL, P = 0.5; N1/N2 < 1" test failure.

lexer: Fix GCC warning for unhandled TOKEN_N_TYPES in lex_token_name().

lexer: Remove unused function lex_put_back_id().

value-parser: Remove redundant call to lex_force_string() in parse_value().

GET DATA: Fix punctuation in error message.

AGGREGATE: Align arg_func_tab[] in columns.

This makes the code more readable.  It should not change PSPP behavior.

i18n: Remove unnecessary #ifs.

The test for LC_MESSAGES should not be necessary because Gnulib ensures
that LC_MESSAGES is always defined.

The test for ENABLE_NLS should not be necessary because PSPP has not
supported that configuration for some time.

ECHO: Use text_item, as intended.

TEXT_ITEM_ECHO is meant for use by ECHO but it had been overlooked
accidentally until now.

float-format: Don't translate test strings.

These aren't visible to users in normal operation, so we might as well not
burden translators with them.

DO REPEAT: Make this command usable anywhere.

DO REPEAT just does macro expansion so there's no reason to limit it to
just after an active dataset has been defined.

identifier: New function token_type_to_string().

This is useful for debugging and testing code.

NPAR TESTS: Prefer lex_match_id() over lex_match_hyphenated_word()

This code used lex_match_hyphenated_word() in many places where it was
necessary to match a plain identifier.  But it is better to use
lex_match_id() when it can be, because it is simpler and faster, so this
commit does that.

q2c: Prefer lex_match_id() over lex_match_hyphenated_word() in emitted code.

Until now, q2c has used lex_match_hyphenated_word() wherever it was
necessary to match a plain identifier.  But it is better to use
lex_match_id() when it can be, because it is simpler and faster, so this
commit does that.

DEBUG XFORM FAIL: Issue an error message as part of transformation.

PSPP only returns a failure exit status if an error message is issued, but
DEBUG XFORM FAIL doesn't issue an error message.  This means that, if PSPP
has no other errors, then it's difficult to tell that the transformation
really did what it should have.  This commit fixes the potential problem.

INPUT PROGRAM: Remove unused enumeration.

expressions: Make extract_min_valid() parameter const.

This fixes the following warning:

parse.c: In function ‘parse_function’:
parse.c:1213: warning: passing argument 1 of ‘extract_min_valid’ discards qualifiers from pointer target type

categoricals: Make parameter to categoricals_done() const.

From a high-level point of view, categoricals_done() does not actually
mutate any data in a categoricals object.  Instead, it just computes a
cache.  So it seems reasonable to make it take a "const" parameter, and
this fixes a warning:

oneway.c: In function ‘run_oneway’:
oneway.c:502: warning: initialization discards qualifiers from pointer target type

covariance: Fix const-ness of covariance_calculate[_unnormalized] retval.

The covariance_calculate() and covariance_calculate_unnormalized()
functions documented that their return values were owned by the covariance
object itself and thus should not be freed by the caller.  However, this
documentation was incorrect, because in fact the covariance object did not
retain the pointer at all.  This commit fixes the comments, updates
the return values to be non-"const", and changes the callers to free the
returned "gsl_matrix" objects.

ONEWAY: Fix warning for passing "const" pointer as non-const parameter.

mann-whitney: Suppress GCC warning about unused parameter.

friedman: Fix GCC warning about uninitialized fr.w.

On my machine GCC 4.4 complains:
friedman.c: In function ‘friedman_execute’:
friedman.c:106: warning: ‘fr.w’ may be used uninitialized in this function

This appears to be because GCC can't see that the assignment to fr.w and
its later use (in show_sig_box()) both have the same condition.  At any
rate, this commit suppresses the warning by always initializing fr.w.

gui: Factor out duplicated code for executing and pasting syntax.

Reducing code duplication is good on its own.  This will also make it
easier in upcoming patches to swap out "getl_interface" with a new
structure, by eliminating most of the references to getl_interface.

command: Don't allow SORT as an abbreviation for SORT CASES.

This abbreviation has never been documented, and I don't see a reason to
keep it.

Remove the PROMPT, CPROMPT, and DPROMPT settings.

These settings will be insufficient to configure prompting for the new
lexer, which is able to detect more special cases in syntax and report
them through the prompt.  (However, if users actually want this feature,
then we could add it; it's not difficult.)

Remove the NULLINE and ENDCMD settings.

These settings change the lexical structure of the language, which makes
lexical analysis difficult.

VALUE LABELS: Relax limit on value label length from 60 bytes to 255.

Requested by friedrich nietzsche <f_nietsje@hotmail.com>.
With improvements by John Darrington.

lexer: Change the functions for retrieving token strings.

Until now, lex_tokid() has been for T_ID tokens only and lex_tokstr() has
been for T_ID and T_STRING tokens.  For T_ID tokens, lex_tokid() and
lex_tokstr() had slightly different semantics.

This doesn't entirely make sense, and these particular functions are not
the ones wanted most by clients, so this commit removes these functions
in favor of lex_tokcstr() and lex_tokss(), which are both applicable
to both T_ID and T_STRING tokens, with the same semantics in each case.

These functions are also easier for the upcoming reimplementation of the
lexer.

lexer: Get rid of lex_negative_to_dash().

This function stands in the way of replacing the lexer in a
straightforward way, because it disrupts the stream of tokens: the
lexer can't tell in advance whether, e.g., "-4" is one token or
two.  Fortunately, it is not used in very many places and is
relatively easy to remove.

lexer: New type enum token_type.

It seems useful to have a type that indicates that a value is a token.
Furthermore, being able to enumerate all of the possible tokens in a
straightforward way seems worthwhile.  It also makes it possible for
GCC to check "switch" statements on token types and to build arrays
indexed by token.

command: Factor command name matching out of command.c.

Making command parsing into a library will allow other code to use
the same functionality, which will be useful later in the lexer.
It also simplifies parsing command names and allows us to easily
add tests for command name parsing.

The new command name parsing code supports UTF-8.  This is not useful yet,
because its only client does not feed it UTF-8 strings, but it will be
useful later when the rest of the lexer is rewritten, where it will gain
another client that does feed it UTF-8.

identifier: Add some functions for Unicode syntax.

str: Add some functions for handling UTF-8.

str: Change "char" to "byte" in function names.

As PSPP moves toward using UTF-8 pervasively for command syntax, a
character is no longer always a byte, so this naming is clearer.

str: Inline some trivial functions.

Updated the Lithuanian translation from translationproject.org.

Fixed degrees of freed in t-stat for intercept

sys-file: Add functions for converting between codepage numbers and names.

perl-module: Fix return value of append_case subroutine.

The casewriter_write() function does not have a return value (it is
declared as "void"), but the append_case subroutine tried to use its
return value anyway.  This cannot work properly, of course, and in fact
caused problems on 64-bit builds in particular.

I don't know why there is no C compiler warning about this problem.  I
guess the Perl module build must somehow turn off a lot of GCC warnings.

Reported by bojo42 <bojo42@gmail.com> in bug #31611.

INSTALL: Update to mention test-only dependencies.

perl-module: Only run the combined test if Text::Diff is present.

The combined test using Pspp.t only works if Text::Diff is installed
(although the broken-out tests don't require it), so only try that test if
Text::Diff is available.

tests: Only attempt to run PostgreSQL tests if the server is installed.

PSQL_SUPPORT only indicates that PSPP was compiled against the PostgreSQL
client library, but the test also requires the PostgreSQL server and
utilities to be installed, so skip the test if they are not.

ONEWAY: Accept 3.88 instead of 3.87 in multiple variables test.

Reported by Jeremy Lavergne <jeremy@lavergne.gotdns.org> on bug-gnu-pspp.
Also reported by bojo42@gmail.com in bug #31611.

NPAR TESTS: Accept .313 instead of .312 for point probability in SIGN test.

Reported by Jeremy Lavergne <jeremy@lavergne.gotdns.org> on bug-gnu-pspp.
Also reported by bojo42@gmail.com in bug #31611.

csv: Make the character used for quoting configurable.

Requested by Björn Manke <bjoernmanke@gmx.net>.

csv: Add ability to suppress table captions.

Requested by Björn Manke <bjoernmanke@gmx.net>.

Added the Lithuanian translation from translationproject.org.

csv: Better support separators other than comma or tab.

Before this commit, although any separator could be specified for cvs
output, the set of characters that triggered quoting was fixed, and only
really suitable for comma and tab separators.  This commit fixes the
problem, making sure that whenever the specified separator appears in a
field, that field will be quoted.

Problem noticed during a discussion with Björn Manke <bjoernmanke@gmx.net>
on pspp-users.

Add tut.texi to gitignore file.

CACHE: Implement command as no-op.

Requested by Matej Kovacic <matej.kovacic@owca.info>.

sparse-array: Fix accidental assumption that "long" is exactly 32 bits.

Debugged with help from Jeremy Lavergne <jeremy@lavergne.gotdns.org>.

po: Update Catalan translation from translation-project.org.

sys-file: Make test writing compressed system file more portable.

The format of "od" output varies among platforms, so avoid using it.

Reported by Jeremy Lavergne <jeremy@lavergne.gotdns.org> on Darwin 10.4.0.

data-out: Make MONTH, WKDAY tests more portable.

The amount of leading whitespace output by "uniq -c" varies among
platforms, so remove all of it for comparison.

Reported by Jeremy Lavergne <jeremy@lavergne.gotdns.org> on Darwin 10.4.0.

Improve failure output of tests that use wc.

Commit 37c5ded73 "Make tests which use wc more robust." made these tests
tolerate slightly different output formats, but at the same time, if the
tests fail we don't find out why.  This commit should retain the fix but
also provide more feedback in the log on failure.

Stop building src/language/stats/glm.c for now.

This code is not currently used.  It causes problems for some builders, so
stop building it for now.

This commit adds the file to EXTRA_DIST so that it is still included in
distributions.

Bug #30811.

po: Update Catalan translation from translation-project.org.

executor: Execute pending transformations after processing syntax.

Bug #30689.

Make tests which use wc more robust.

It appears that some systems' "wc" command  format their output
differently.  So this change uses a numeric comparison rather
than a string comparison.

datasheet: Add a few assertions.

These made the problem a bit more obvious while tracking down bug #30689.

Fix typo

NPAR: Implemented the /KENDALL subcommand.

Added a dialog box for the k-related-sample non-parametric tests.

cairo: Fix rendering of wide titles for GUI rendering.

The width of the title was not being taken into account in calculating the
size of a table_item in the code path used by the GUI, so titles wider
than their tables were truncated at the width of the table.  This commit
fixes the problem.

Conditionally compile in the SIGWINCH handler

Not all systems have SIGWINCH.  But this isn't an essential
feature so only compile it in if its available.

Add test for the Cochran Q

Added very basic documentation for the Cochran Q test

Added implementation for the Cochran Q test

psppire-output-window: Insert a half-line of space between output items.

Before, the lack of table titles put some vertical space into the output
window.  Now that table titles are shown, there's no white space left, so
this commit reintroduces some by putting half a line of vertical white
space between output items.

cairo: Draw table titles in xr_rendering_draw() too.

xr_rendering_draw() didn't draw table titles.  It seems that this was just
an oversight, so this commit fixes the problem.

xr_rendering_draw() is used by the GUI output viewer window, so this makes
the GUI output viewer display table titles now.

Bug #30554.

cairo: Always save output item in xr_rendering_create().

Currently xr_rendering_create() only saves the output item passed in if it
is a chart.  However an upcoming commit will have a need for table output
items too, so this commit always saves them.

case: Add support for debugging case reference count leaks.

Smake: Add a rule to update the gl directory without doing all the other stuff

Make ascii driver's length and width parameters fit the terminal.

If the driver's output is a tty, then handle SIGWINCH to adjust
the length and width according to the size of the terminal.

Allow perl module to enter non-ascii data