Make deadlines even more clear on the sponsor dashboard

Bold, and write it in two places. Also, specify the exact timezone.

Trap exceptions when posting to social media

The providers themselves would catch some exceptions and turn them into
proper error messages, but for the cases where they don't, we want the
loop in the sender to do so for us and just log the exception message.

Allow re-sending contracts to instant buy levels

These levels by definitoin don't need a contract, but some sponsors
still want it...

Make it possible to have some benefits not included in token data

Fix typo

Render linebreaks in multi-line text sponsor benefits

We'll want to look into markdown support at some point, but as a
quickfix at least render newlines in large texts.

Add basic rate limiter for Mastodon API calls

It seems at leaast mastodon.social may have implemented rate limiting at
the TCP level (afaict). To work aroud this, implement a 15 second rate
limit for Mastodon API calls to individual providers (allow other calls
to go quicker). As this is done per-process it only affects batch jobs,
but those are also the only ones with the issue.

Uncertain if this will actually work since the limit isn't documented
(unlike the http level limit), but it's worth a try.

Always sort benefits by id in token based json update

This can otherwise lead to weird diffs in downstream projects that pull
it down, when unordered data changes.

Stop referring to "new style jinja root"

This hasn't been new style for many many years, and there is only one
style supported anyway. (Change only to help text)

Teach sponsor VAT validation about the Greece exceptoin

Other than validating the VAT number (which worked), we also ensured the
first two characters were the ISO code of a valid country. Turns out
this only applies to all other countries thant Greece -- Greece uses EL
which is not a valid country code. So map the Greece exception to the
Greece country code, thus allowing signups from there.

Accept paypal code T0700 as a payment

This is one never seen before and seems to be used for shipping labels.
Bring it in and treat it like any other.

Noted by Christophe Pettus, but not his patch - going for a minimalistic
one. This code may need some further refactoring down the road.

Actually sort the tracks by the tracks sort key in the cfp form

Previously it was only used in the backend, not in the cfp form, which
is just wrong.

Return sponsors inside level in predictable order in tokendata

It doesn't really matter which order as the receiver is supposed to sort
it by whatever their rules are, but we should at least make it
predictable so we don't generate unnecessarily large diffs.

Add a class to conference feedback fieldsets

Trap and handle really invalid URLs from sponsor signup

If a URL is *really* invalid, we could crash with an exception instead
of showing a form error.

Fix attendee emails for direct-recipient addressing

Clearly sort unconfirmed sponsors by signup date

Teach fetch_sponsorfiles.py to optionally add downloaded files to git

Fix copy/paste error

Fix typo

Show error when trying to set value to non-existant dynamic field

When no dynamic field at all exists, the list is empty string. Which
python splits into an array of a single empty string, which would then
allow us to try to set the value on a field with no name (which of
course didn't work, but failed silently). So instead fail with a proper
error message.

Spotted by Melanie Plageman

Send notification when secondary speaker is added during cfp

When speaker A adds speaker B as a co-speaker of a session, send a
notification to speakear B about this so they're not surprised by it.

This only happens during the cfp process, not if admins make changes in
the backend (and per that it cannot happen after the cfp has closed).

Suggested by Karen Jex

Implement max submission count in call for papers

This makes possible to optionally restrict how many submissions someone
can make to a conference call for papers.

Fixes #70

Implement messaging config validation for Mastodon

This was clearly missed when Mastordon support was added, and is pretty
trivial to do - we just need to try to fetch our own account info (like
we already do on twitter)

Add basic Linkedin messaging provider

For now, this provider only supports basic publishing of entries as
post. It does not support any polling, and it does not support
collecting sponsor/speaker id's and highlighting them in notices. This
can be added later, but it can't be done properly without linkedin app
credentials that are not rate limited (the default), and you can't get
those credentials without already having an app.

As linkedin doesn't support the offline code flow for logins, this also
implements an oauth endpoint for incoming oauth flows for messaging
provider.

Finally, unlike the other messaging providers, linkedin actually expire
their oauth tokens - 2 months for the access token and 12 months for the
refresh token. To handle that, implement token refresh as part of the
validation flow, and simply flag that one as failed if the login doesn't
work.

Fix scheduling of message integration checker

This time schedule for this integration was incorrectly configured,
resulting in it not being scheduled at all by default.

Add ability for social media providers to specify help for fields

Make it possible to filter social media fields per source

This allows a media provider to for exapmle say that it can only
register sponsor accounts, not speaker accounts. All existing
implementations support all kinds of registrations, but it's
infrastructure for the future.

Fix typo

Remove unused import

Fix typo

Fix indentation error from copy/pasting text for sponsor emails

The actual emails going out were correctly indented, but the
notification to admins that it had been sent had a weird mix.

Add ability to schedule attendee emails for the future

This includes both direct attendee emails, and also those that are for
example sent to speakers of a session. This also removes the support for
sending such emails *without* storing them as attendee emails, as that
wouldn't leave us with a way to track what's been sent and what hasn't.

Fixes #90

Add ability to schedule confsponsor emails for the future

Start proper work on #90, but is not complete yet

Add ability to low-level queue emails in the future

Most of the system won't be using this, but it's still good to have for
completeness sake.

Track regtime separate from sendtime on queued emails

The regtime is always set to the extact time that an email was added. If
a different sendtime is specified, it's still good to be able to track
when something was added to the queue.

Disable USE_L10N

This is default on in Django 4.2, but that makes it sometimes pick a
different default date format thatn we normally want. Since we want to
be in full control of that, turn off this in django.

Fix typo

Complete the sendtime handling for mailqueue

Sync up the "warning button" filtering with that of the alerts, which
means we don̈́'t alert for emails that aren't supposed to be sent yet.
This becomes more relevant as we also stop trying to send emails that
are set to be sent in the future, in preparation for upcoming
functionality to schedule email sending.

Sync up old migrations after django 4.2 update

Seems django 4.2 reqiures some fields to be defined slightly differently
for the same thing. Backpatch this into the old migrations, as there are
no actual changes to the models or to the result of the migration.

Put a default of "no database" into the github checks

This removes the confusing warning about trying to contact the database
to check migration consistency, since we don't want that check anyway.

Add instance.id check to get_list() calls in backend editor

Some get_list() implementations for backend editors did not properly
check that the instance they were passed actually existed, and could
crash if it didn't (most prominent example being the the
sessions<->slides link). Some of these are can't-happen (because the
object doesn't support adding new empty ones), but this commit adds a
guard to those as well just to be on the safe sid for future changes.

Fix incorrect field access when reloading a stripe payment page

Typical case is if an invoice is open for payment in two different tabs,
it's then paid in one tab and then reloaded in the other, the Strip
integration would crash because it accessed the wrong field. This has
been wrong since day one of the Strip integration, so the comment
stating it won't "normally happen" was entirely correct...

Fix bad field name twice more

The bug fixed in 35355999 was copy/pasted to two more places, that the
bugfix missed.

Fix invalid field name in select_related

Fix attempt to deference many2many before pk exists

Update devrequirements to Django 4.2

Don't try to access invoice history before invoice exists

Fix field selection for messaging provider in sender

The messaging field is directly on the queue object, not on the
registration (unlike the messaging config field). Django 3.2 would
ignore this incorrect fetch and just work (but without getting the
field, so causing an extra query). Django 4.2 throws an error.

Switch from pytz to zoneinfo for timezone data

This is deprecated in newer Django, and will be removed in 5.0. We're
using only very little of the library functionality directly, and the
rest of it's already i django, and since Django 4.2 switched the primary
library, we switch as well for it.

Fix sponsor benefit tweet preview when no messaging providers exist

Instead of just returning "None", return a short descriptive text
telling the user *why* the preview is not available.

Update signal syntax for django 4.2

Add ability to copy linked objects in backend forms

And use this to make it possible to copy individual sponsorship benefits
inside a conference.

Fix dumb typo in query

Fix ordering of benefits in at-a-glance data

Since three is a sortkey field on the benefit, we should use that to
sort by first.

Add sessionid attribute to cross conference sessions

These sessions also have an id, and we want to expose it to the
schedule. We cannot do that using 'id' now as there are many schedule
templates out there that use the lack of 'id' to determine if a session
is cross conference or not, so we create a new one.

Include conflicting session name in room conflicts report

This requires a rewrite to a join, but having this informatino makes
tracking things down a lot easier.

Make overwriting sponsorsfiles optional

Include cross schedule sessions in overlapping rooms query

Update url configs to use re_path

The url() alias of re_path() was deprecated in 3.1 and will be removed.

Fix typo.

Fix typo.

Add functionality to draw circles

This adds circle as a recognized object for drawing. Each circle
takes x, y and radius and can have a strok and fill color.

Reviewed-by: Magnus Hagander
Closes: #159

Support setting strokecolor for boxes

This adds the capability to specify a color for the strokecolor on
a box.  Defining stroke as True will give black color as backwards
compatibility.

Reviewed-by: Magnus Hagander
Closes: #159

Fix typo in exception

Spotted while hacking on other things in the jinjapdf code.

Fix lack of sponsor name in matrix on admin dashboard

In merging commit 39385c3b1, the wrong column ended up being referenced
as sponsor name. Oops.

Noted by Daniel Gustafsson

Properly fix the hashval not null issue

Previous commit (878d1540) applied the wrong fix. The field should still
be NOT NULL, the bug was actually in the trigger being created in the
earlier migration which was incorrectly missing INSERT. Fix this and
change the field back, which more or less reverts 878d1540 but does it
with a new migration so that any existing data gets fixed.

Fix whitespace in if construct

Fix hashval NULLability

Needs to allow NULL on INSERT, which will then get overwritten by the
trigger.

Replace ugettext_laxy with gettext_lazy in country module

This is an imported module that has not been updated, but this change is
just removing an alias that has been deprecated so it should be safe to
meddle in it this way.

Change force_text to force_str

Deprecated in django 3.0 and will br removed in 4

Don't crash on overly long filenames for sildes

We directly copied the filename from an upload into the name vaule of a
ConferenceSessionSlide, without verifying the length. Uploading a
*really* long filename would cause a crash. Fix this by instead
detecting when it's too long and give a proper error message.

Truncate slide URL when generating name field in backend interface

We already did this in the normal user interface, which explains why
plenty such URLs are already in the system. But apparently this was
missed in the admin interface, thereby causing errors whan adding urls
the backwards way.

Fixes #151

Don't crash when trying to set dynamic fields on zero rows

This is similar to the fix in 55f1f7eb9 which fixed this problem for
generating a report. But it did not consider that one might proceed to
save the values even when the report was empty -- this path needs the
same fix.

Add support for token download of sponsor claimed benefits

This allows downloading a json/yaml file with all the claimed benefits
(including information on if they are confirmed or not).

This also adds a tool called fetch_sponsorfiles.py that will parse this
data and be able to download related files, such as "Logo for the
website" benefits.

The details being provided probably need some more going over with some
reasl world experience, so for now this should be considered
experimental.

Store and use hash of benefit images

Store the hash (md5 is good enough here) of the benefit images, and
maintain it using a trigger. This hash is used to implement
etag-handling for downloads of the image. We don't expect that part to
pay off very well since it's logged in users only, but the hash will be
useful in some upcoming patches, and once we have it implementing the
etag handling is basically free.

Add support for token-downloads of sponsor level metadata

In passing, this adds support for YaML format downloads of all token
based data.

The token data will generate json or yaml with information about all
sponsorship levels and benefits created in the system. The idea being
this can be pulled into a context file and thereby guaranteed to be the
same in the static and dynamic parts of the site. We'know from
experience these can easily get slightly out of sync.

Implement multi-claim sponsorship benefits

This basically allows a single benefit to be claimed multiple times with
different data, for benefit classes that support it (which is most but
not all). This can be used for things like "two sessions in the sponsor
track" or "send two different pieces of merch", to avoid the previously
used workarounds of creating mutiple benefits with slightly different
names.

Activate the conference timezone when fetching sponsor object

When using _get_sponsor_and_admin() to get the information we'd leave
the timezone at the system default, which is not correct when a
conference is run in a different timezone from the main one on the
server. Timezones haven't really mattered to sponsor info before (more
or less only the list of emails would be affected), but now that we have
deadlines configured it must be done.

Add video links to session page

Don't force deadline date to be inside the conference dates

For most real world conferences that makes it useless.

Spotted by Steve Singer

Fix typos

Noted by Andreas Scherbaum

Fix field name

This name was fixed in the model, but docs were lagging behind.

Fix typo

Add an (optional) deadilne to sponsorship benefits

This will both indicate the deadline on the dashboard (and not as
before, only in the details text or the contract) and prevents the
sponsor from claiming a benefit past the deadline.

Prevent claiming sponsorship benefits past the end fo the conference

Remove jquery reference from skinning docs

The skinned part of the site no longer uses jquery, and if the skin
*itself* uses it they can put it wherever they want.

Fix off-by-one-regexp in URL matching for speakers

We're not suppose to allow / in the speaker name, as that can cause
infinite recursions. But due to an extra . in the regexp, if we loaded
the speaker from the schedule (not the session list) we could, which if
you had a bad link somwehere a bot could then end up traversing into
without getting a 404.

Disallow arbitrary emails from contract sender address

This was intended for contracts only, not general contacts, so don't
allow arbitrary emails from it either.

Add function to send email to arbitrary external recipients

Allow sending of simple short emails to external addresses
with the sender set to one of the conference addresses (contact,
sponsors, contract). This makes it possible to send email from the
"official addresses" which will be sent from the appropriate servers
with correct DKIM etc, making it pass spam filters more easily.

Don't crash invoice saving when using unavailable accounts

If an automated system added an accounting account to an invoice that
did not have the checkbox for "available in invoicing", we would first
not show the account on the invoice, and if it was saved (to change the
payment providers for example), we would crash. This is normally a
misconfiguration, but we sohuldn't crash hard on it...

Crashed and diagnosed by Steve Singer

Show election introduction text on results page too

Add an "intro" field to elections

This field (which can take markdown for nice formatting) is shown on the
voting form for the election, and can contain overview information about
the election, candidates etc.

Suggested by Matthias van de Meent

Attempt to properly identify wise accounts with wrong primary currency

Our check only worked properly if the primary currency was the one we
used, and it seems wise can open a new balance and just chance the
primary currency on us, so update the check.

Add ability to send email to attendees with wiki permissions

Sometimes we have wiki pages available only to a specific subset of
users - in this case, it can be useful to be able to send emails
directly to those users from the wiki admin page.

Fixes #73

Make it possible to pass query params instead of idlist to attendee mail

When doing for example signup emails to large signups the list of ids
can be very long, and the materialization also gets delayed (so the
response status may have changed since the email was initiated). For
this reason, allow passing down query parameters other than just integer
ids, and expand those when creating the email rather than ahead of time.

Make it possible to send signup emails based on multiple responses

Register signup emails as attendee emails

This allows for signup emails to be stored on the registration page so
people can go back and view them later, and basically puts them under
the same sending framework as other emails (which will come in handy
once we make that one more advanced).

Break out attendee email sending functionality to own file

Poliy and attachment urls should work with and without trailing slash

We always send out the link including the trailing slash, but apparently
either some MUAs or browsers remove the trailing slash. In this case our
rule would not match. And since we have legacy urls that include the
register/ part, they get captured by that rule (with the conference name
being "policy" or "attach") instead of the django default rule.

So, update the regexp to allow these links with or without the trailing
slash.