sys-file-reader: Accept bad variable indexes, with warnings.

The SPSS file writer software at
https://packagist.org/packages/tiamo/spss sometimes generates malformed
variable indexes for weighting variables or value label records.  PSPP
until now has rejected these files entirely.  This commit should make
it issue a warning instead.

Thanks to István Ignácz for reporting this issue at
https://lists.gnu.org/archive/html/pspp-users/2020-06/msg00012.html

gui: Fix compatibility with older gettext.

Older gettext does not recognize the metainfo.xml extension, only
appdata.xml.  This commit allows msgfmt to work with such older setups.

CC: Friedrich Beckmann <friedrich.beckmann@gmx.de>
Fixes: 86c5d611b3f2 ("metainfo.xml: changed id to org.fsf.pspp, added more information")

Allow /RENAME target to use the TO keyword.

Allow code such as
 SAVE OUTFILE = "foo.sav" /RENAME= (A B C = v1 TO v2).

Closes bug: #57752

main.c: set "register-session" property for gtk_application

To open an application by clicking an associated file like
grid.sps in the Finder on Macos requires that the property
"register-session" is set for gtk_application. I did not
find a negative impact on Debian bullseye so I hope this
works also on other platforms. The gtk support for this
will be in the next gtk-3-24 release.

See: https://gitlab.gnome.org/GNOME/gtk/-/merge_requests/2098

desktop file: added Keywords and removed Education category

During debian packaging of 1.2.0-5 the missing Keywords entry
was mentionend. I removed the Education category because this
was mentioned also. Education and Science are both toplevel
categories. I added also two more mimetypes for .sps and .spv
files.

metainfo.xml: changed id to org.fsf.pspp, added more information

I read the documentation about the metainfo.xml content

https://www.freedesktop.org/software/appstream/docs/chap-Metadata.html

and changed/added some information

  - changed id from pspp.desktop to org.fsf.pspp
  - added categories
  - added releases
  - added provides

desktop: changed translations to msgfmt and xgettext

During the build of the debian package 1.2.0-5 it turned out
that the pspp.appdata.xml file has a wrong structure with
respect to the translations. I did the following things

  - renamed pspp.appdata.xml to org.fsf.pspp.metainfo.xml
  - added gettext translation support for org.fsf.metainfo.xml
  - renamed pspp.desktop to org.fsf.pspp.desktop
  - replaced gen-det-desktop.sh based translation with gettext

gettext has now support for translating .desktop and .metainfo.xml
files. I took the naming conventions from the freedesktop and gnome
documentation, i.e. metainfo instead of appdata and the use of
an organization name.

Add a test for bug #58591

psppire-dict.c: Avoid compiler warning

Avoid negative overflow when the text output driver tries to print
random binary data.

libpspp/u8-line.c (u8_line_find_pos): Deal properly with the case
where the target is not found in the search string.

libpspp/u8-line.c (u8_line_reserve): Add some assertions to prevent
negative overflow into lower function calls.

Reported by: Andrea Fioraldi

Fixes bug: #58591

libpspp/str.c (ds_splice_uninit): Add assertion

Fixed a use after free error when manipulating datasets.

Reported by: Andrea Fioraldi

Fixes bug: #58598

spv.c: Avoid warnings about uninitialised variables

find-dialog.c: Replace exp10 with our own integer version

A previous commit introduced the use of exp10 from the standard
math library.  However the use cases here don't need floating
point operands, and it's smaller and faster to implement our
own integer version.

Revert "exp10 replaced with pow when exp10 is not available"

This reverts commit 5f1ab307d380c4d60410b911a272b6870b65c2d8.
See the following commit for explanation.

Fix buffer overflow in lex_ellipsize__

Reported by: Andrea Fioraldi

Fixes bug: #58586

Fix crash when parsing a badly formatted variable string.

Reported by: Andrea Fioraldi

Fixes bug: #58594

Fix buffer overflow in linear regression.

When the dependent variable and the indepdendent variable
are one and the same (a rather pointless situation), a buffer overflow
would occur.  This change fixes that.

Reported by: Andrea Fioraldi

Fixes bug: #58599

Fix crash when cleaning up after parsing bad MODIFY VARIABLES.

Reported by: Andrea Fioraldi

Fixes Bug: #58590

Don't crash when parsing bad MATRIX DATA commands.

Reported by: Andrea Fioraldi

Fixes bug: #58596

Fix use after free error in vector command.

Reported by: Andrea Fioraldi.

Fixes bug: #58592

Don't ref or unref the inline file handle.

The special file handle 'inline_file' is a singleton.  It should not
be reffed, or unreffed.   Doing so causes a crash.

Reported by Andrea Fioraldi.

Fixes bug #58601

Update spread-sheet-widget to version 0.4

file-handle-def.h (fh_ref): Add WARN_UNUSED_RESULT qualifier

Fix broken build when ./configure --without-gui is used

PSPPIRE: Add feature to search for text in the syntax window.

exp10 replaced with pow when exp10 is not available

The exp10 function that was introduced by commit aae1a8f067ddd9c09
in the find-dialog is not available on MacOS. I added a check
and replace it with pow if exp10 is not available.

Replace use of deprecated GTimeVal with GDateTime

Remove trailing whitespace at end of lines

src/libpspp/message.h (msg_error): Add printf_format attribute

GUI: Find dialog: Compare only to the decimal places of the print format.

When using the find dialog of the data editor, previously a numeric value
was compared exactly on it's underlying representation (a IEEE754 double
precision float).   This is problematic, because most such floats cannot
be precisely represented in a decimal format, and even if they can be, the
precision required might well exceed that displayed in the data editor.

This change rounds both the reference and the comparand to the number of
decimal places indicated by the variable's print format.

help: added help_page property at various ui files

I added the help_page property in the
 - k-independent.ui
 - k-related.ui
and at various sub dialogs where options are set. With the
help_page property a more meaningful page in the documentation
is called instead of the toplevel documentation.

doc: fixed references for DESCRIPTIVES, T-TEST, RELIABILITY and REGRESSION

The example for the descriptives command and the command
description had the same reference. Same for T-TEST, RELIABILITY
and REGRESSION.

doc: added prepdoc.sh script for simple working on documentation

I added the prepdoc.sh script to allow to work on the documentation
without having the full build environment. You can just checkout
from git and then run

  cd pspp/doc
  ./prepdoc.sh
  makeinfo --html pspp.texi
  open ./pspp/index.html

Maybe it is then easier for contributors to work on the documentation
without having to run Smake and configure with all the required
packages. prepdoc.sh will generate some dummy required texi files
which are normally generated during the build process.

tests: Fix misspelling in test name.

Whitespace changes only.

Remove whitespace following opening parentheses and preceding closing
parentheses.

Update recommended gnulib commit

Fix crash when using the find function.

It looks as if some experimental code had escaped the lab here.

fixed wrong goto case after opening .sav file

When a .sav file was openend, then a wrong "goto case" option
is visible in the variable view. With this fix you can
open a new dataset via the file browser and the correct menu
is shown.

fixed goto case dialog

The goto case dialog did not work. The GtkTreeModel cast of the datasheet
does not work because datasheet is not derived from treemodel. Changed
types from casenumber to gint because the gtktreemodel function returns gint.
casenumber is long which my be bigger than int but the treemodel cant handle
this anyway.

fixed variable type change during text import bug #58298

Changing the variable type during the import dialog resulted
in a crash. The reason is that the import data is stored as
strings in a treeview and converted to union value depending
on the variable type. When the variable type is changed, there
is a discrepancy between then caseproto in the reader and the
variable. This results in an assertion.

As a fix I store the dictionary at the time of creation of the
casereader. When a variable is changed i reinitialize the
casereader.

Remove #include "gl/dosname.h"

This file is no longer part of gnublib

avoid crash by drag-n-drop in variable dialog #58457

The drag-n-drop was enabled in the variable dialog but
actually doing it results in a crash. See:

https://savannah.gnu.org/bugs/index.php?58475

improve deletion of consecutive variables #55357

Deleting many variables (like 300) via the gui
in a dataset with many variables (like 500) results
in long gui response times because each variable is
deleted individually by iteration. This results in many
items-changed callbacks which will result in long
gui waiting times. This patch reduces the number of
callbacks and the gui response is much faster.

psppire: Deal properly with inverted variable selections.

When deleting variables, if the start of a selected range is greater
than the end of the range, then swap the start and end.

insert variables in var view (#55357)

The variable insert procedure inserted new variables
via the datasheet window even if the variable
window was visible. Directly after startup the
dataview is not realized and that prevents a correct
update of the variable view. I changed the procedure
such that the ssw items_changed_cb is called for
the widgets in the variable view and the window
is correctly updated.

Correct syntax when generating code for autorecode with blanks as missing

Makefile.am - added check for debian package directory

The debian package is now also maintained via git

https://salsa.debian.org/science-team/pspp

but that repository contains the distribution package. Due to the
.git directory the make process assumes that we are building
a distribution file and adds a check for some missing files. That
check fails if the distribution is under git control. I checked
for the existance of the debian directory as an indicator that
we are building the debian package and disable the check.

Fix crash when bad autorecode /blank is encountered.

Closes bug #58255.

MacOS: added a setup section to avoid script in application bundle

MacOS Catalina has added security features which do not allow to
start an application via a script in an application bundle. See:

https://savannah.gnu.org/bugs/?58128

With this change the application does not need to set environment
variables before start for the relocation.

svg2png: Adapted syntax to gimp 2.10.18

The svg2png syntax for gimp does not work for gimp 2.10.18
on MacOS. I replaced the list command with the alternative
syntax.

Smake: added more files to remove for clean target

Some file locations are moved and there are some new files which
are generated. I added some files to the clean target.

documentation: Fix build with some versions of makeinfo.

Reported by Jeremy Lavergne.

Fix order of arguments in error message

Fix bug #57731.

Fix bug #57722.

The McNemar binomial probability should use the minimum of the two dissimilar
group counts.

psppire-output-window: Avoid calling gdk_window_begin_draw_frame twice.

gdk_window_begin_draw_frame() and gdk_window_end_draw_frame() have to
be paired and not recursive, but this code didn't honor that.

Thanks to Harry Thijssen and John Darrington for pointing out the
issue.

LIST: Fix case numbering.

Case numbering was wrong when a starting case or a step was specified.

Bug #57534.

ascii: Correct multiple bugs regarding output width.

The SET WIDTH setting was ignored.  This makes the code honor it for
output to a file.  For output to a terminal, the terminal's width is
used instead.

Honor changes to SET WIDTH as well.

The code to detect terminal size changes wasn't properly signal safe,
and it was scattered across multiple files.  This centralizes it and
makes it signal safe.

There were bugs in updates to min_hbreak in corner cases.  This fixes
them.

Thanks to Frans Houweling and John Darrington for reporting these
bugs.

ascii: Fix parsing of -O width=<n> option.

pivot-table: Avoid ctime_r() for portability reasons.

ctime_r() isn't in mingw or Gnulib and it's best to avoid it in any
case because POSIX says it is obsolescent and it has buffer overflow
issues.

Reported by Harry Thijssen.

spv: Make parser generators compatible with python3.

doc: PRINT on DO REPEAT is not yet implemented.

Reported by Nolan Void.

spv: Run Python at build time via $PYTHON variable.

This was accidentally being run as literal "python" rather than through
a variable, so it failed on systems where there is no "python" binary
but only python2 or python3.

psppire-import-assistant: Implement quotation checkbox and combo box.

This seems to have been overlooked.

Bug #57457.

pspp-convert: Add options for selecting variables and controlling output.

cairo: Fix font scaling.

It's really a mystery why a 9-point font doesn't appear 9 points tall
in PDF (etc.) output, but it doesn't.  I guess we're doing something
wrong somewhere.  But until we figure out the underlying issue, we need
to scale down font sizes for PDF and not for on-screen use.

This is a slightly better fix for font sizes than the previous commit
3c15b41c036 (pivot-table: Kluge dropping default 9-point font to make
output readable.)

pivot-table: Kluge dropping default 9-point font to make output readable.

The default font size for SPV output is normally 9 points, but that
makes the output window hard to read.  This drops that default entirely,
which seems to make the output use a system or Pango default.  This is
probably not the right thing to do--probably we need a way to magnify
the fonts for on-screen display.

This reverts part of commit e3c3fbe8b, which wasn't intended to have a
visible effect but did because it inadvertently introduced a 9-point
default.

Reported by John Darrington.

pspp-convert: Add --labels, --recode to usage message.

pspp-convert: Add --labels and --recode options.

Requested by Dave Trollope <dave@knowledgehound.com>.

pspp-output: Correct manpage.

This was a cut-and-paste error made without thinking.

Add support for reading and writing SPV files.

pivot-table: Add support for hiding footnotes.

This will get its first real user in an upcoming commit.

pivot-table: Add support for hiding the caption.

This will receive its first real user in an upcoming commit that adds
support for SPV files.

output: Refine support for footnotes, subscripts, and superscripts.

The code for all this wasn't fully plumbed through from the pivot table
code down to the drivers.  This commit fixes all that up.

table: Factor out common code and improve comments.

table: Replace table_joined_cell by table_cell.

This eliminates some special cases.

render: Fix up layer violation in add_footnote_page().

The layering violation came from having to look up the default style
for a footer, so we fix it by forbidding footnotes from using the
default style.

table: Get rid of TAL_* constants.

These were the same as TABLE_STROKE_* so get rid of the extras.

table: Get rid of TAB_* for horizontal and vertical alignment.

Until now, either TAB_LEFT, TAB_RIGHT, etc. could be used or the
area_style mechanism could be used.  The latter has a superset of the
former's features, so this commit eliminates the former.

pivot-table: Make pivot_area_get_default_style() return a static copy.

The existing callers all want to make their own copy, but an upcoming
new caller wants an existing one, so refactor the interface a bit.

table: Add pool parameter to area_style_copy(), font_style_copy().

This was inconsistent since the clone functions took them but the
copy functions didn't.

table: Move tab.h into table.h and rename tab_*() to table_*().

table: Merge tab.c into table.c.

tab: Merge struct tab_table into struct table.

table: Require headers to be set at table creation.

It used to be important for these to be adjustable, but no longer.

table: Get rid of table_class.

There is only one provider now, so we can slowly get rid of the extra
layer.

table: Simplify interface for number of rows and columns.

Nothing ever changes the number of rows or columns in a table after
initializing it anymore, so the more complicated interface is not needed.

tab: Fix overlap between table enumerations.

These enumerations overlapped with TAB_STYLE_MASK.

table: Get rid of table_cell destructors, which were unused.

pivot-table: Initialize subtype, command_id for pivot tables.

pivot-table: Make template pivot_values localized.

This will be used in an upcoming commit.

pivot-table: Also dump sizing info in pivot_table_dump().

pivot-table: Minor comment and style improvements.

No behavioral changes.

pivot-table: Make struct pivot_cell public.

pivot-table: New public functions for default area and border styles.

These will have additional users in upcoming commits.

render: Change style for footnote blocks.

This better matches the style output by SPSS.

driver: Do not accumulate marked-up text.

The output engine accumulates lines of text into blocks and outputs them
all at once.  This doesn't currently work for text with markup, so this
commit disables it.  It might be better to make it work, hence this
commit also adds an XXX marker.

table-item: Generalize support for layer info.

This adds support for an arbitrary number of layer text items and allows
the layer text items to have footnotes.

bit-vector: Add new functions for working with bit vectors.

These will receive their first users in an upcoming commit.