Add missing import

Fix cancellation of invoices manually flagged as paid

This is not a normal situation and has to be dealt with manually
regardless, but we shouldn't crash on it prior to telling the user they
have to do that...

Fix dumb typo in attribute name

This caused an error in the view when setting up a new oauth client
(such as a linkedin page). It happened *after* the actual configuration
was completed, so one just had to reload for things to work, but it
still shouldn't error like that.

Clarify status of pending attendee emails

Separate out "not sent yet" from "not supposed to be sent yet".

Remove unused import

List which fields are available when building tweet templates

Both for sponsor benefits and for campaign creation, list which fields
are available to use in the Jinja templates, to make it easier to figure
out how to use them.

Mark some missing unsafe attributes

Add function to get list of (sandbox approved) attributes from classes

Add some generic useful templatetags to identify types

Add a widget to show a simple treeview

Add a form control for previewing HTML

This uses (partially) the pgweb code for loading previewable HTML into
an iframe sandbox.

Remove debugging code accidentally left in

Indicate if a benefit has expired in the sponsor overview matrix

Add a template tag to access an array by index

For some reason, django won't let us do that from a template, so we have
to add our own.

Remove support for templtaes in attendee emails

This was accidentally broken in 52fa57dc, and went mostly unnoticed. It
was only used by signup emails which now ended up having just one link
instead of two, so it seems fine for now. We'll eventually want to add
more smarness to the templates around this, but that can't be done
without a bigger surgery so for now just remove it.

Remove dependency on pgcrypto

pgcrypto was only used to set tokens in some migrations,
so in practice it should not actually be UPDATEing any
rows anymore (there should either be no rows, or they're
all updated by now). Once the migration has completed,
all new tokens are set from the python code.

So update the migrations to use the build-in random() function instead,
which is "good enough for this usage", and thereby dropping the
dependency on pgcrypto making new installs easier.

Remove extra period.

Fix typo

django.conf.urls.url() was deprecated in Django 3.0, and was removed in
Django 4.0

Use send_conference_simple_mail for conference related mail

Remove unusd import

Make confwiki send notifications using send_conference_notification

Calculate, store and use etags on speaker photos

This allows us to return 304 not modified for speaker photos, as they
change very infrequently. Actual etag is maintained as an md5() of the
contents, by a database trigger the same way we do for util/storage
fields.

Fix invalid option passing

Allow overriding how far back to fetch Wise transactions

Fix query for nagios alerts on unsent social media broadcasts

As of 45b8e2e9, we update the sent column to be True while leaving
unsent providers in the linked table (so we can keep track of which
succeeded and which failed). The nagios check never got the memo about
that one, so it didn't check the sent column, only the linked table,
when in fact it's now enough to *just* check the sent column. So do
that.

Check instance.pk, not instance.id, for members get_list

Commit f2baae524 added a guard on instance.id to all get_list calls. For
Members that was technically not needed since there is currently no
interface to manually add a member, but it was added for consistency and
future-proofing. But since the Member object doesn't have its own
primary key, it would instead cause a crash. So - change it to look at
the `pk` field which does exist.

Reported by Stacey Haysler, diagnosed by Christophe Pettus

Fix typo that caused message token refresh to never run in background

Allow comma directly after batch number when matching adyen payouts

Show social media post status per network even for single text posts

Previously we'd just show a boolean "posted" or "not posted" based on if
there was more than one version of the text. But it's actually
interesting to know if it's posted to only some of the  networks even if
the exact same text is posted to all of them, so make it show that in
all cases.

Cache inactive messaging providers when viewing the queue

Without this, if a provider goes from active -> inactive when there are
existing posts, we'd crash the view of the existing ones.

Make it possible to confirm sponsor benefits without triggering social media

For example if a sponsor needs to re-claim something because they sent
the wrong data, we don't want to trigger a second post.

Don't render broken image tags for declined benefits

Add a preview step when sponsors upload images

When a sponsor uploads an image, show them a preview of what they
actually uploaded and require confirmation of it. In particular, render
this preview on a background color if configured, same ast he admin
preview.

Add ability to do preview-on-background on uploaded images

This allows the admin to configure a color to use as preview background
for the image upload sponsor benefit. Particularly useful for allowing
the previewing the transparency of an image to be used no a website
that has a non-white background,.

Move color_validator to shared file

Replace newline with <br/> in signwell messages

When attaching a message to a contract, it looksl ike Signwell accepts
html (the format isn't really documented), so this is a way to make the
message a lot nicer.

Don't ask for manager when sending manual additional contracts

We don't use the manager anyway, we send it to all -- and the help text
already said we do, but the field was still in the form.

Add exact error times to Mastodon poll times

Anything to find a pattern.

Add a default value for GOCARDLESS_COUNTRY

Disable persistent connections for Mastodon provider

Perhaps it's the use of multiple parallel persistent connections that
breaks mastodon.social? Who knows, but it's worth a try since we don't
really make any useful use of the persistent connections anyway.

Add payment provider for Gocardless bank account data

They provide a service similar to Plaid but better layed out for small
organisations (in Europe at least) for now. Let's see how long that
lasts, but for now here's a basic provider that works very similar to
the Plaid one, except it does not support webhooks.

Don't try to post empty content on multiprovider tweets

When rendering multiprovider tweets, if there is no messaging at all
defined, we get no text, and that's normal. However, when then also need
to check for no text at all in the posting side of things *before* we
check for providers, or we will violate a database constraint.

Of course, one should define tweet templates when there is no messaging
configuration, but we should also not crash if it's done.

Spotted by Karen Jex

Fix typo

Plaid no longer supports a development environment, change default

Make deadlines even more clear on the sponsor dashboard

Bold, and write it in two places. Also, specify the exact timezone.

Trap exceptions when posting to social media

The providers themselves would catch some exceptions and turn them into
proper error messages, but for the cases where they don't, we want the
loop in the sender to do so for us and just log the exception message.

Allow re-sending contracts to instant buy levels

These levels by definitoin don't need a contract, but some sponsors
still want it...

Make it possible to have some benefits not included in token data

Fix typo

Render linebreaks in multi-line text sponsor benefits

We'll want to look into markdown support at some point, but as a
quickfix at least render newlines in large texts.

Add basic rate limiter for Mastodon API calls

It seems at leaast mastodon.social may have implemented rate limiting at
the TCP level (afaict). To work aroud this, implement a 15 second rate
limit for Mastodon API calls to individual providers (allow other calls
to go quicker). As this is done per-process it only affects batch jobs,
but those are also the only ones with the issue.

Uncertain if this will actually work since the limit isn't documented
(unlike the http level limit), but it's worth a try.

Always sort benefits by id in token based json update

This can otherwise lead to weird diffs in downstream projects that pull
it down, when unordered data changes.

Stop referring to "new style jinja root"

This hasn't been new style for many many years, and there is only one
style supported anyway. (Change only to help text)

Teach sponsor VAT validation about the Greece exceptoin

Other than validating the VAT number (which worked), we also ensured the
first two characters were the ISO code of a valid country. Turns out
this only applies to all other countries thant Greece -- Greece uses EL
which is not a valid country code. So map the Greece exception to the
Greece country code, thus allowing signups from there.

Accept paypal code T0700 as a payment

This is one never seen before and seems to be used for shipping labels.
Bring it in and treat it like any other.

Noted by Christophe Pettus, but not his patch - going for a minimalistic
one. This code may need some further refactoring down the road.

Actually sort the tracks by the tracks sort key in the cfp form

Previously it was only used in the backend, not in the cfp form, which
is just wrong.

Return sponsors inside level in predictable order in tokendata

It doesn't really matter which order as the receiver is supposed to sort
it by whatever their rules are, but we should at least make it
predictable so we don't generate unnecessarily large diffs.

Add a class to conference feedback fieldsets

Trap and handle really invalid URLs from sponsor signup

If a URL is *really* invalid, we could crash with an exception instead
of showing a form error.

Fix attendee emails for direct-recipient addressing

Clearly sort unconfirmed sponsors by signup date

Teach fetch_sponsorfiles.py to optionally add downloaded files to git

Fix copy/paste error

Fix typo

Show error when trying to set value to non-existant dynamic field

When no dynamic field at all exists, the list is empty string. Which
python splits into an array of a single empty string, which would then
allow us to try to set the value on a field with no name (which of
course didn't work, but failed silently). So instead fail with a proper
error message.

Spotted by Melanie Plageman

Send notification when secondary speaker is added during cfp

When speaker A adds speaker B as a co-speaker of a session, send a
notification to speakear B about this so they're not surprised by it.

This only happens during the cfp process, not if admins make changes in
the backend (and per that it cannot happen after the cfp has closed).

Suggested by Karen Jex

Implement max submission count in call for papers

This makes possible to optionally restrict how many submissions someone
can make to a conference call for papers.

Fixes #70

Implement messaging config validation for Mastodon

This was clearly missed when Mastordon support was added, and is pretty
trivial to do - we just need to try to fetch our own account info (like
we already do on twitter)

Add basic Linkedin messaging provider

For now, this provider only supports basic publishing of entries as
post. It does not support any polling, and it does not support
collecting sponsor/speaker id's and highlighting them in notices. This
can be added later, but it can't be done properly without linkedin app
credentials that are not rate limited (the default), and you can't get
those credentials without already having an app.

As linkedin doesn't support the offline code flow for logins, this also
implements an oauth endpoint for incoming oauth flows for messaging
provider.

Finally, unlike the other messaging providers, linkedin actually expire
their oauth tokens - 2 months for the access token and 12 months for the
refresh token. To handle that, implement token refresh as part of the
validation flow, and simply flag that one as failed if the login doesn't
work.

Fix scheduling of message integration checker

This time schedule for this integration was incorrectly configured,
resulting in it not being scheduled at all by default.

Add ability for social media providers to specify help for fields

Make it possible to filter social media fields per source

This allows a media provider to for exapmle say that it can only
register sponsor accounts, not speaker accounts. All existing
implementations support all kinds of registrations, but it's
infrastructure for the future.

Fix typo

Remove unused import

Fix typo

Fix indentation error from copy/pasting text for sponsor emails

The actual emails going out were correctly indented, but the
notification to admins that it had been sent had a weird mix.

Add ability to schedule attendee emails for the future

This includes both direct attendee emails, and also those that are for
example sent to speakers of a session. This also removes the support for
sending such emails *without* storing them as attendee emails, as that
wouldn't leave us with a way to track what's been sent and what hasn't.

Fixes #90

Add ability to schedule confsponsor emails for the future

Start proper work on #90, but is not complete yet

Add ability to low-level queue emails in the future

Most of the system won't be using this, but it's still good to have for
completeness sake.

Track regtime separate from sendtime on queued emails

The regtime is always set to the extact time that an email was added. If
a different sendtime is specified, it's still good to be able to track
when something was added to the queue.

Disable USE_L10N

This is default on in Django 4.2, but that makes it sometimes pick a
different default date format thatn we normally want. Since we want to
be in full control of that, turn off this in django.

Fix typo

Complete the sendtime handling for mailqueue

Sync up the "warning button" filtering with that of the alerts, which
means we don̈́'t alert for emails that aren't supposed to be sent yet.
This becomes more relevant as we also stop trying to send emails that
are set to be sent in the future, in preparation for upcoming
functionality to schedule email sending.

Sync up old migrations after django 4.2 update

Seems django 4.2 reqiures some fields to be defined slightly differently
for the same thing. Backpatch this into the old migrations, as there are
no actual changes to the models or to the result of the migration.

Put a default of "no database" into the github checks

This removes the confusing warning about trying to contact the database
to check migration consistency, since we don't want that check anyway.

Add instance.id check to get_list() calls in backend editor

Some get_list() implementations for backend editors did not properly
check that the instance they were passed actually existed, and could
crash if it didn't (most prominent example being the the
sessions<->slides link). Some of these are can't-happen (because the
object doesn't support adding new empty ones), but this commit adds a
guard to those as well just to be on the safe sid for future changes.

Fix incorrect field access when reloading a stripe payment page

Typical case is if an invoice is open for payment in two different tabs,
it's then paid in one tab and then reloaded in the other, the Strip
integration would crash because it accessed the wrong field. This has
been wrong since day one of the Strip integration, so the comment
stating it won't "normally happen" was entirely correct...

Fix bad field name twice more

The bug fixed in 35355999 was copy/pasted to two more places, that the
bugfix missed.

Fix invalid field name in select_related

Fix attempt to deference many2many before pk exists

Update devrequirements to Django 4.2

Don't try to access invoice history before invoice exists

Fix field selection for messaging provider in sender

The messaging field is directly on the queue object, not on the
registration (unlike the messaging config field). Django 3.2 would
ignore this incorrect fetch and just work (but without getting the
field, so causing an extra query). Django 4.2 throws an error.

Switch from pytz to zoneinfo for timezone data

This is deprecated in newer Django, and will be removed in 5.0. We're
using only very little of the library functionality directly, and the
rest of it's already i django, and since Django 4.2 switched the primary
library, we switch as well for it.

Fix sponsor benefit tweet preview when no messaging providers exist

Instead of just returning "None", return a short descriptive text
telling the user *why* the preview is not available.

Update signal syntax for django 4.2

Add ability to copy linked objects in backend forms

And use this to make it possible to copy individual sponsorship benefits
inside a conference.

Fix dumb typo in query

Fix ordering of benefits in at-a-glance data

Since three is a sortkey field on the benefit, we should use that to
sort by first.