Reproduced the busy and idle situations, logging ktrace and gdb
information for each.

Add ECL build script for debug config

Also add test case program to reproduce the bug.
Dealing mostly with (test4) for now.

Add some working notes to this branch for convenience.

Merge branch 'heap-size' of gitlab.com:embeddable-common-lisp/ecl into netbsd-boehm-gc

Since we're diagnosing complex GC and heap related bugs, let's at
least fix this issue now on this branch.

On NetBSD-6, real-time signals are not exported to userland by
default.  They appear to work, but gdb has trouble to identify
them.  Let's use SIGPWR and SIGXCPU instead for diagnostics.

Update CHANGELOG for various recent fixes

- si_get_limit() must deal with size_t for heap-size too
- add comments for the size_t exceptions

Use %lu with (unsigned long) casting instead of relying on C99 %zd.
Cleanup the output text, which was confusing when using a custom
heap size limit.

Use size_t as well as (size_t)ecl_to_ulong() for the heap size
parameter, since cl_index with ecl_to_size() could not handle
expected values for heap-size on 32-bit systems.

More text cleanup

Add size_t casting where needed (on 32-bit 0 would be printed in
some cases otherwise).

Heap size related warnings now accumulate into a buffer which the
toplevel prints if it's available.  The warning messages were also
cleaned-up.

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

Merge branch 'infinity-fix' into 'develop'

Infinity fix

Produce valid C code for all kinds of infinity

I have also pending NaN changes, but this requires more work.

See merge request !9

changelog: update changelog

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

infinity: add regression tests

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

internal.h: fake ISO C99 INFINITY and NAN if not defined

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

cmpc: when infinity is used, emit macro "INFINITY"

and "-INFINITY" for negative infinity. These corner-cases lead to
compilation error, so no regression will be imposed even against
non-c99 compilers.

INFINITY and NAN macros are introduced by C99 standard, so such code
requires C-backend to support this math extension. Fixes #156.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: update

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

regression: add back removed interfaces

Adds back ecl_import_current_thread and ecl_release_current_thread.
Closes #8.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: update changelog

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

format: float: use prin1 when passed NaN or infinity

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

style: fix broken modeline

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into develop

Fix some fallout from the script to correct/add Emacs and ViM syntax
directives.  Some files had more than one existing Emacs directives,
breaking the script which didn't expect this.

cosmetic: bdwgc: remove autom4te.cache

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

Merge branch 'style' into 'develop'

"style" temporary branch

The ECL code no longer uses tabulator characters, they were replaced
by spaces.

A custom script was used to insert/replace Emacs and ViM per-file editor
settings according to their type and the new ECL coding style.

See merge request !8

The ECL code no longer uses tabulator characters, they were replaced
by spaces.

A custom script was used to insert/replace Emacs and ViM per-file editor
settings according to their type and the new ECL coding style.

printer: coerce float infinity more roboustly

Basically use C function instead of a generic Lisp one.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

printer: float infinity/nan: coerce printed form to base-string

CLOS printer uses normal strings while float_to_string.d calls
push_base_string to cache printable form of infinity (and nan). Coerce
clos strings to base-string. Fixes #153. Related to #114.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

tests: add stress tests submitted by James M. Lawrence

This suite needs integration and tweaking to avoid infinite loop.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into develop

gmp: issue autoreconf -ivf (fixes ppc64le builds)

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'cleanup-testing' into 'develop'

Cleanup testing

Separated tests from auxiliary tools, merged tests into files corresponding to interface (aspects are separated with ^L, navigable with C-x [ and C-x ]), renamed "bugs" to "regressions" - what these tests really are.

TODO (in indefinete future):
- some tests have auxiliary functions, these should be moved to auxiliary/ directory and loaded from there, so test files contain only tests

- add back ansi-tests suite as git subtree (to keep in sync with upstream on demand)

- add mop-features suite (subtree)

- modify deftest macro to "remember" file, from which test was load and report that back

- keep test suites / interfaces in separate packages

- make running tests possible without installing ECL (not tests thing though, rather buildsystem)

See merge request !7

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into develop

cosmetic: rename Copyright to LICENSE

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: rename 'bugs' to 'regressions'

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: upate wrt testing

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' into cleanup-testing

tests: fix remaing things

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: adjust files

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: Move tests to separate directory

Don't keep them in same directory as aux tools

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'develop' into 'develop'

cosmetic: Untabify everything.

If anything has been messed up (which it seems there hasn't), let me know.

See merge request !6

Untabify everything.

tests: rename ffi and emb tests

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge reported bugs and mixed regressions

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge compiler tests to compiler.lsp (missing files)

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge compiler tests to compiler.lsp

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge sourceforge reports to reported-bugs

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge multiprocessing tests (a few left)

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge multiprocessing tests

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge metaobject protocol tests

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: add #s fix

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: add regression test for #s reader

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

sharp-s-reader: read should be invoked recursively

Patch provided by drmeister. Test case:

(defstruct foo a)
(read-from-string
 "(#1=\"Hello\" #S(FOO :A #1#))"))

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

tests: merge external-format tests

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

update readme (typos)

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into develop

It appears that the larget the heap, the larger heap_gap must be.
After some more testing, adapt to 50MB of additional heap gap per
1GB of heap size.

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

Conflicts:
msvc/ecl/config.h.msvc6
src/c/big.d
src/c/main.d

Conflicts fixed.

Merge branch 'fixnum-bits' into 'develop'

FIXNUM_BITS -> ECL_FIXNUM_BITS consistently, second try

Somehow the develop branch still used a mix of both

See merge request !5

Avoid constant value 32-bit rollback for 64-bit/4GB heap

FIXNUM_BITS -> ECL_FIXNUM_BITS consistently, second try

cosmetic: remove spaces on blank lines

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'heap-size' of gitlab.com:embeddable-common-lisp/ecl into heap-size

FIXNUM_BITS -> ECL_FIXNUM_BITS

Merge branch 'develop' of gitlab.com:embeddable-common-lisp/ecl into heap-size

readme: a few stylistic cleanups

As suggested by Matthew Mondor capitalized "Lisp" and specified
additional information. Fixes #148.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'fixnum-bits' into 'heap-size'

FIXNUM_BITS -> ECL_FIXNUM_BITS

Assumes that ECL_FIXNUM_BITS was what was wanted (presumably prefixed
with ECL_ to make it a public C API).  The code used a mix of
ECL_FIXNUM_BITS and FIXNUM_BITS, with only FIXNUM_BITS being defined,
meaning that there also previously were bugs in main.d and ffi.d.

Addresses issue #147.

See merge request !4

Assumes that ECL_FIXNUM_BITS was what was wanted (presumably prefixed
with ECL_ to make it a public C API).  The code used a mix of
ECL_FIXNUM_BITS and FIXNUM_BITS, with only FIXNUM_BITS being defined,
meaning that there also previously were bugs in main.d and ffi.d.

Addresses issue #147.

- Use FIXNUM_BITS rather than ECL_FIXNUM_BITS which was undefined
  (the old code was bogus too on that respect)
- To prevent 32-bit rounding append L to the default heap size definitions
- Also print the fixnum bit size and default heap in the debug log

cosmetic: change label name from ERR to ERROR

First netbsd patch is partly applied (we have dragonfly platform), but
it drops solaris 10 support which we don't. Second is cosmetic and
applied right now. Fixes #144.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: update

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: check for GC_get_thr_restart_signal only on threaded build

ECL checked for GC_get_thr_restart_signal even if was built without
threads. This function is present in boehm only when it's build with
threads, but we don't need this functionality for single-threaded
builds. Fixes #146.

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

changelog: found 13.5.1 changes - added

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

- Replace tabs by spaces (the other codebases I work on all use tabs :)
- After looking at grusage() it seems that we cannot use this to adapt heap_gap
- heap_gap demonstrated to be necessary, at least for now, now set at 50MB
- Minor cleanups

To test:

- Reduce the heap size limit by reducing the soft RLIMIT_DATA of
  your current shell.  On sh, this can be done using ulimit -d
  <kilobytes>.  Either reduce it smaller than the ECL default heap
  (1GB on 32-bit, 4GB on 64-bit), or specify a larger heap limit to
  ECL starting it with the --heap-size <bytes> option (but note that
  because of another bug it may be difficult to increase it very
  high).
- Start ECL, notice the HEAP-WARNING: messages which should show
  that the soft limit was increased to satisfy the heap.
- Run allocations until either ECL freezes or reports a heap error.
   the test is successful, it should report, not freeze, obviously :)
  Example test to run:

(defparameter *allocations* 16384)
(defparameter *alloc-size* 4096)
(defvar *queue* (make-array 1024
                            :adjustable t
                            :fill-pointer 0))

(defun test1 ()
  (loop
     repeat *allocations*
     do
       (vector-push-extend (make-array *alloc-size*
                                       :element-type '(unsigned-byte 8)
                                       :adjustable nil
                                       :initial-element #x00
                                       :fill-pointer *alloc-size*)
                           *queue*
                           0))) ; Grows automatically +1/2 size on ECL

Run (test1) as often as necessary (and observe heap grow in top(1) etc).

What remains to do before this branch can be merged:
- More testing, and confirmation that 50MB heap_gap is enough for others
- Removal of debug messages
- Perhaps issuing a single message about the size the heap was changed to
  and why, but only when in ECL-REPL interactive mode startup
- If possible, determining the value for heap_gap at runtime,
  instead of guessing it, but it seems tricky to do portably.

- Use %zd rather than %d for the w() verbose debug function
- Cleanup code, first start with hard limit, then soft limit

changelog: add new MP functions

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'master' into develop

changelog: update

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

Merge branch 'ECL-16.0.0-rc1'

Revert autoconf changes, as stacks.d already could use rlimit using
other conditionals; use similar ones in main.d.

Some bug fixes in main.d's fix_heap_size(), and verbose warnings
were currently added to help testing.

Also verify for HAVE_GETRLIMIT in fix_heap_size().

Merge branch 'heap-size' of gitlab.com:embeddable-common-lisp/ecl into heap-size

ECL's default heap (1GB on 32-bit or 4GB on 64-bit) can sometimes
be higher than the OS's process rlimit is, especially the soft limit.
Consider this default heap, as well as any user-specified heap size
as a target, and adapt as necessary the heap size according to the
soft and hard rlimits if any.
We attempt to grow the soft limit if possible to reach the target,
but as necessary lower the heap size.
Otherwise, when ECL experiences allocation errors and attempts to
report these, needing even more allocations to do so, it can end
up locked in a busy loop.  It's better to gracefully report that the
heap should be grown instead.

ECL's default heap (1GB on 32-bit or 4GB on 64-bit) can sometimes
be higher than the OS's process rlimit is, especially the soft limit.
Consider this default heap, as well as any user-specified heap size
as a target, and adapt as necessary the heap size according to the
soft and hard rlimits if any.
We attempt to grow the soft limit if possible to reach the target,
but as necessary lower the heap size.
Otherwise, when ECL experiences allocation errors and attempts to
report these, needing even more allocations to do so, it can end
up locked in a busy loop.  It's better to gracefull report that the
heap should be growed instead.

Change *FEATURES* name :NEW to :WAKLER (clos/walk.lsp) after
discussion

Merge branch 'mmondor' into 'develop'

mmondor -> develop (with-rwlock …)

See merge request !2

 Implement a few non-blocking MP functions:

 MP:TRY-GET-SEMAPHORE
   returns NIL if the semaphore could not be obtained, or the count
   if it could be obtained

 MP:MAILBOX-TRY-READ
   returns a message if it's available, NIL if the queue is empty

 MP:MAILBOX-TRY-SEND
   returns the sent message if it could be queued, or NIL
   (mailbox is full)

Implement MP:WITH-RWLOCK

 - Dynamically bind the condition as well in the debugger, not only
   the message (the condition object holds important data which can be
   used programmatically).
 - Raise some *PRINT-LENGTH* limits in the debugger.  Having a limit
   is wise, but when it is too short the debugger can be rather
   useless.  Use 16 instead of the previous 2 or 4.

config.lsp: implement uname stub for ecl-min

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

README: change name

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

readme: fix top-level README (move to src/doc/debugging)

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>

doc: Update internal doc wrt floats

Signed-off-by: Daniel Kochmański <daniel@turtleware.eu>