Return sponsors inside level in predictable order in tokendata

It doesn't really matter which order as the receiver is supposed to sort
it by whatever their rules are, but we should at least make it
predictable so we don't generate unnecessarily large diffs.

Add a class to conference feedback fieldsets

Trap and handle really invalid URLs from sponsor signup

If a URL is *really* invalid, we could crash with an exception instead
of showing a form error.

Fix attendee emails for direct-recipient addressing

Clearly sort unconfirmed sponsors by signup date

Teach fetch_sponsorfiles.py to optionally add downloaded files to git

Fix copy/paste error

Fix typo

Show error when trying to set value to non-existant dynamic field

When no dynamic field at all exists, the list is empty string. Which
python splits into an array of a single empty string, which would then
allow us to try to set the value on a field with no name (which of
course didn't work, but failed silently). So instead fail with a proper
error message.

Spotted by Melanie Plageman

Send notification when secondary speaker is added during cfp

When speaker A adds speaker B as a co-speaker of a session, send a
notification to speakear B about this so they're not surprised by it.

This only happens during the cfp process, not if admins make changes in
the backend (and per that it cannot happen after the cfp has closed).

Suggested by Karen Jex

Implement max submission count in call for papers

This makes possible to optionally restrict how many submissions someone
can make to a conference call for papers.

Fixes #70

Implement messaging config validation for Mastodon

This was clearly missed when Mastordon support was added, and is pretty
trivial to do - we just need to try to fetch our own account info (like
we already do on twitter)

Add basic Linkedin messaging provider

For now, this provider only supports basic publishing of entries as
post. It does not support any polling, and it does not support
collecting sponsor/speaker id's and highlighting them in notices. This
can be added later, but it can't be done properly without linkedin app
credentials that are not rate limited (the default), and you can't get
those credentials without already having an app.

As linkedin doesn't support the offline code flow for logins, this also
implements an oauth endpoint for incoming oauth flows for messaging
provider.

Finally, unlike the other messaging providers, linkedin actually expire
their oauth tokens - 2 months for the access token and 12 months for the
refresh token. To handle that, implement token refresh as part of the
validation flow, and simply flag that one as failed if the login doesn't
work.

Fix scheduling of message integration checker

This time schedule for this integration was incorrectly configured,
resulting in it not being scheduled at all by default.

Add ability for social media providers to specify help for fields

Make it possible to filter social media fields per source

This allows a media provider to for exapmle say that it can only
register sponsor accounts, not speaker accounts. All existing
implementations support all kinds of registrations, but it's
infrastructure for the future.

Fix typo

Remove unused import

Fix typo

Fix indentation error from copy/pasting text for sponsor emails

The actual emails going out were correctly indented, but the
notification to admins that it had been sent had a weird mix.

Add ability to schedule attendee emails for the future

This includes both direct attendee emails, and also those that are for
example sent to speakers of a session. This also removes the support for
sending such emails *without* storing them as attendee emails, as that
wouldn't leave us with a way to track what's been sent and what hasn't.

Fixes #90

Add ability to schedule confsponsor emails for the future

Start proper work on #90, but is not complete yet

Add ability to low-level queue emails in the future

Most of the system won't be using this, but it's still good to have for
completeness sake.

Track regtime separate from sendtime on queued emails

The regtime is always set to the extact time that an email was added. If
a different sendtime is specified, it's still good to be able to track
when something was added to the queue.

Disable USE_L10N

This is default on in Django 4.2, but that makes it sometimes pick a
different default date format thatn we normally want. Since we want to
be in full control of that, turn off this in django.

Fix typo

Complete the sendtime handling for mailqueue

Sync up the "warning button" filtering with that of the alerts, which
means we don̈́'t alert for emails that aren't supposed to be sent yet.
This becomes more relevant as we also stop trying to send emails that
are set to be sent in the future, in preparation for upcoming
functionality to schedule email sending.

Sync up old migrations after django 4.2 update

Seems django 4.2 reqiures some fields to be defined slightly differently
for the same thing. Backpatch this into the old migrations, as there are
no actual changes to the models or to the result of the migration.

Put a default of "no database" into the github checks

This removes the confusing warning about trying to contact the database
to check migration consistency, since we don't want that check anyway.

Add instance.id check to get_list() calls in backend editor

Some get_list() implementations for backend editors did not properly
check that the instance they were passed actually existed, and could
crash if it didn't (most prominent example being the the
sessions<->slides link). Some of these are can't-happen (because the
object doesn't support adding new empty ones), but this commit adds a
guard to those as well just to be on the safe sid for future changes.

Fix incorrect field access when reloading a stripe payment page

Typical case is if an invoice is open for payment in two different tabs,
it's then paid in one tab and then reloaded in the other, the Strip
integration would crash because it accessed the wrong field. This has
been wrong since day one of the Strip integration, so the comment
stating it won't "normally happen" was entirely correct...

Fix bad field name twice more

The bug fixed in 35355999 was copy/pasted to two more places, that the
bugfix missed.

Fix invalid field name in select_related

Fix attempt to deference many2many before pk exists

Update devrequirements to Django 4.2

Don't try to access invoice history before invoice exists

Fix field selection for messaging provider in sender

The messaging field is directly on the queue object, not on the
registration (unlike the messaging config field). Django 3.2 would
ignore this incorrect fetch and just work (but without getting the
field, so causing an extra query). Django 4.2 throws an error.

Switch from pytz to zoneinfo for timezone data

This is deprecated in newer Django, and will be removed in 5.0. We're
using only very little of the library functionality directly, and the
rest of it's already i django, and since Django 4.2 switched the primary
library, we switch as well for it.

Fix sponsor benefit tweet preview when no messaging providers exist

Instead of just returning "None", return a short descriptive text
telling the user *why* the preview is not available.

Update signal syntax for django 4.2

Add ability to copy linked objects in backend forms

And use this to make it possible to copy individual sponsorship benefits
inside a conference.

Fix dumb typo in query

Fix ordering of benefits in at-a-glance data

Since three is a sortkey field on the benefit, we should use that to
sort by first.

Add sessionid attribute to cross conference sessions

These sessions also have an id, and we want to expose it to the
schedule. We cannot do that using 'id' now as there are many schedule
templates out there that use the lack of 'id' to determine if a session
is cross conference or not, so we create a new one.

Include conflicting session name in room conflicts report

This requires a rewrite to a join, but having this informatino makes
tracking things down a lot easier.

Make overwriting sponsorsfiles optional

Include cross schedule sessions in overlapping rooms query

Update url configs to use re_path

The url() alias of re_path() was deprecated in 3.1 and will be removed.

Fix typo.

Fix typo.

Add functionality to draw circles

This adds circle as a recognized object for drawing. Each circle
takes x, y and radius and can have a strok and fill color.

Reviewed-by: Magnus Hagander
Closes: #159

Support setting strokecolor for boxes

This adds the capability to specify a color for the strokecolor on
a box.  Defining stroke as True will give black color as backwards
compatibility.

Reviewed-by: Magnus Hagander
Closes: #159

Fix typo in exception

Spotted while hacking on other things in the jinjapdf code.

Fix lack of sponsor name in matrix on admin dashboard

In merging commit 39385c3b1, the wrong column ended up being referenced
as sponsor name. Oops.

Noted by Daniel Gustafsson

Properly fix the hashval not null issue

Previous commit (878d1540) applied the wrong fix. The field should still
be NOT NULL, the bug was actually in the trigger being created in the
earlier migration which was incorrectly missing INSERT. Fix this and
change the field back, which more or less reverts 878d1540 but does it
with a new migration so that any existing data gets fixed.

Fix whitespace in if construct

Fix hashval NULLability

Needs to allow NULL on INSERT, which will then get overwritten by the
trigger.

Replace ugettext_laxy with gettext_lazy in country module

This is an imported module that has not been updated, but this change is
just removing an alias that has been deprecated so it should be safe to
meddle in it this way.

Change force_text to force_str

Deprecated in django 3.0 and will br removed in 4

Don't crash on overly long filenames for sildes

We directly copied the filename from an upload into the name vaule of a
ConferenceSessionSlide, without verifying the length. Uploading a
*really* long filename would cause a crash. Fix this by instead
detecting when it's too long and give a proper error message.

Truncate slide URL when generating name field in backend interface

We already did this in the normal user interface, which explains why
plenty such URLs are already in the system. But apparently this was
missed in the admin interface, thereby causing errors whan adding urls
the backwards way.

Fixes #151

Don't crash when trying to set dynamic fields on zero rows

This is similar to the fix in 55f1f7eb9 which fixed this problem for
generating a report. But it did not consider that one might proceed to
save the values even when the report was empty -- this path needs the
same fix.

Add support for token download of sponsor claimed benefits

This allows downloading a json/yaml file with all the claimed benefits
(including information on if they are confirmed or not).

This also adds a tool called fetch_sponsorfiles.py that will parse this
data and be able to download related files, such as "Logo for the
website" benefits.

The details being provided probably need some more going over with some
reasl world experience, so for now this should be considered
experimental.

Store and use hash of benefit images

Store the hash (md5 is good enough here) of the benefit images, and
maintain it using a trigger. This hash is used to implement
etag-handling for downloads of the image. We don't expect that part to
pay off very well since it's logged in users only, but the hash will be
useful in some upcoming patches, and once we have it implementing the
etag handling is basically free.

Add support for token-downloads of sponsor level metadata

In passing, this adds support for YaML format downloads of all token
based data.

The token data will generate json or yaml with information about all
sponsorship levels and benefits created in the system. The idea being
this can be pulled into a context file and thereby guaranteed to be the
same in the static and dynamic parts of the site. We'know from
experience these can easily get slightly out of sync.

Implement multi-claim sponsorship benefits

This basically allows a single benefit to be claimed multiple times with
different data, for benefit classes that support it (which is most but
not all). This can be used for things like "two sessions in the sponsor
track" or "send two different pieces of merch", to avoid the previously
used workarounds of creating mutiple benefits with slightly different
names.

Activate the conference timezone when fetching sponsor object

When using _get_sponsor_and_admin() to get the information we'd leave
the timezone at the system default, which is not correct when a
conference is run in a different timezone from the main one on the
server. Timezones haven't really mattered to sponsor info before (more
or less only the list of emails would be affected), but now that we have
deadlines configured it must be done.

Add video links to session page

Don't force deadline date to be inside the conference dates

For most real world conferences that makes it useless.

Spotted by Steve Singer

Fix typos

Noted by Andreas Scherbaum

Fix field name

This name was fixed in the model, but docs were lagging behind.

Fix typo

Add an (optional) deadilne to sponsorship benefits

This will both indicate the deadline on the dashboard (and not as
before, only in the details text or the contract) and prevents the
sponsor from claiming a benefit past the deadline.

Prevent claiming sponsorship benefits past the end fo the conference

Remove jquery reference from skinning docs

The skinned part of the site no longer uses jquery, and if the skin
*itself* uses it they can put it wherever they want.

Fix off-by-one-regexp in URL matching for speakers

We're not suppose to allow / in the speaker name, as that can cause
infinite recursions. But due to an extra . in the regexp, if we loaded
the speaker from the schedule (not the session list) we could, which if
you had a bad link somwehere a bot could then end up traversing into
without getting a 404.

Disallow arbitrary emails from contract sender address

This was intended for contracts only, not general contacts, so don't
allow arbitrary emails from it either.

Add function to send email to arbitrary external recipients

Allow sending of simple short emails to external addresses
with the sender set to one of the conference addresses (contact,
sponsors, contract). This makes it possible to send email from the
"official addresses" which will be sent from the appropriate servers
with correct DKIM etc, making it pass spam filters more easily.

Don't crash invoice saving when using unavailable accounts

If an automated system added an accounting account to an invoice that
did not have the checkbox for "available in invoicing", we would first
not show the account on the invoice, and if it was saved (to change the
payment providers for example), we would crash. This is normally a
misconfiguration, but we sohuldn't crash hard on it...

Crashed and diagnosed by Steve Singer

Show election introduction text on results page too

Add an "intro" field to elections

This field (which can take markdown for nice formatting) is shown on the
voting form for the election, and can contain overview information about
the election, candidates etc.

Suggested by Matthias van de Meent

Attempt to properly identify wise accounts with wrong primary currency

Our check only worked properly if the primary currency was the one we
used, and it seems wise can open a new balance and just chance the
primary currency on us, so update the check.

Add ability to send email to attendees with wiki permissions

Sometimes we have wiki pages available only to a specific subset of
users - in this case, it can be useful to be able to send emails
directly to those users from the wiki admin page.

Fixes #73

Make it possible to pass query params instead of idlist to attendee mail

When doing for example signup emails to large signups the list of ids
can be very long, and the materialization also gets delayed (so the
response status may have changed since the email was initiated). For
this reason, allow passing down query parameters other than just integer
ids, and expand those when creating the email rather than ahead of time.

Make it possible to send signup emails based on multiple responses

Register signup emails as attendee emails

This allows for signup emails to be stored on the registration page so
people can go back and view them later, and basically puts them under
the same sending framework as other emails (which will come in handy
once we make that one more advanced).

Break out attendee email sending functionality to own file

Poliy and attachment urls should work with and without trailing slash

We always send out the link including the trailing slash, but apparently
either some MUAs or browsers remove the trailing slash. In this case our
rule would not match. And since we have legacy urls that include the
register/ part, they get captured by that rule (with the conference name
being "policy" or "attach") instead of the django default rule.

So, update the regexp to allow these links with or without the trailing
slash.

Nicer error message when plaid login expires

Trap the specific error case when the login to the underlying bank
expires and give a more detailed output, since this is something that
happens on a regular basis without nothing actually being wrong.

Allow fetching twitterpost thumbnails publicly

In doing so also add the existance of an image as a hasimage key in the
list of posts. The idea is this can be used to show the thumbnails as
part of a post listing. We don't allow local access to the full images -
if we want to do that in the future, we probably need to consider some
form of outside cache as they're pretty big objects in the database.

Don't load image and thumb when getting list of twitter posts

Re-ipmlement stripe notifications for refunds

Stripe made a change (quite some time ago) in how they send refunds, and
no longer include the actual refund id in the webhook notification. The
only way to get the full details is to make another outbound API call.

Given how our refunds work, it looks like we can *probably* get away
with just looking up the refund based on charge id and amount, since
it's highly likely we'll trigger another refund before the webhook has
completed with exactly the same amount to the same invoice.

So re-implement the refunds hook to do this, and we can see after some
real-world testing if this was enough or if we also need to do the
outbound API calls to check in more detail.

Patially diagnosed and researched by Steve Singer.

Fixes #156

Empty desription can sometimes be 'No information'

It seems on some records, wise returns 'No information', and on some it
returns '', so explicitly check for both these inthe backoff
functionality.

Delay further UNKNOWN transferwise transactions

If we receive a transaction with type UNKNOWN and an empty description,
delay processing it for up to 2 hours. It seems some data is simply not
available immediately. The 2 hours is a guess on how long, and hopefully
a decent mix between working and delay.

Increase transferwise webhook delay from 30 seconds to 5 minutes

Apparently it takes longer to get our data sometimes

Properly use full sponsor invoice address on voucher invoices

There was one path to generate voucher invoices that would just use the
"invoiceaddr" field, which would then exclude both the sponsor name and
the VAT number. We should of course use the same invoice address
everywhere..

Don't overwrite author name method with value

When loading a user specific RSS feed, the funciton item_author_name got
overwritten by the name of that user. Since django doesn't recreate the
basic feed object in future requests (meh), any subsequent feed request
would get *all* authors set to that name. As long as no user-specific
feed was ever called, thing would work, but as soon as one was called it
would start moving all entries between the same users, never allowing
more than one.

The fix in a112e1e14 was clearly incomplete.

Properly initialize email field for brand new speaker profiles

Oversight in af95f5fe.

Explicitly stop hyphenating email address

In some unfortunate circumstances, the email address of the conference
was hyphenated on the registration dashboard making it seem like it is
spelled differently from the actual address. This page is riddled with
inline styles so add an inline for this as well, saving a more thorough
CSS cleanup for another patch.

Separate the message to sponsor and org in digital contracts

With an extension of the upstream APIs we can now send separate mssages
to the different parties of the signing. With this we can keep the
"sponsor friendly" message we have now for the sponsors, and send a more
appropriate message to the organizers to make it clear what the next
step is.

In the internal API we make it an optional parameter, so if another
future provider doesn't support separating the messages, things still
work.