mirror of
https://github.com/Garmelon/PFERD.git
synced 2023-12-21 10:23:01 +01:00
Remove unnecessary files
Also document some plans for the new program structure in REWRITE.md
This commit is contained in:
Joscha
parent
7ebeef5873
commit
25043a4aaa
61
PFERD/ffm.py
61
PFERD/ffm.py
@ -1,61 +0,0 @@
|
|||||||
# Fakultät für Mathematik (FfM)
|
|
||||||
|
|
||||||
import logging
|
|
||||||
import pathlib
|
|
||||||
import re
|
|
||||||
|
|
||||||
import bs4
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from .organizer import Organizer
|
|
||||||
from .utils import stream_to_path, PrettyLogger
|
|
||||||
|
|
||||||
__all__ = ["FfM"]
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
pretty = PrettyLogger(logger)
|
|
||||||
|
|
||||||
class FfM:
|
|
||||||
BASE_URL = "http://www.math.kit.edu/"
|
|
||||||
LINK_RE = re.compile(r"^https?://www.math.kit.edu/.*/(.*\.pdf)$")
|
|
||||||
|
|
||||||
def __init__(self, base_path):
|
|
||||||
self.base_path = base_path
|
|
||||||
|
|
||||||
self._session = requests.Session()
|
|
||||||
|
|
||||||
def synchronize(self, urlpart, to_dir, transform=lambda x: x):
|
|
||||||
pretty.starting_synchronizer(to_dir, "FfM", urlpart)
|
|
||||||
|
|
||||||
sync_path = pathlib.Path(self.base_path, to_dir)
|
|
||||||
|
|
||||||
orga = Organizer(self.base_path, sync_path)
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
self._crawl(orga, urlpart, transform)
|
|
||||||
|
|
||||||
orga.clean_sync_dir()
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
def _crawl(self, orga, urlpart, transform):
|
|
||||||
url = self.BASE_URL + urlpart
|
|
||||||
r = self._session.get(url)
|
|
||||||
soup = bs4.BeautifulSoup(r.text, "html.parser")
|
|
||||||
|
|
||||||
for found in soup.find_all("a", href=self.LINK_RE):
|
|
||||||
url = found["href"]
|
|
||||||
filename = re.match(self.LINK_RE, url).group(1).replace("/", ".")
|
|
||||||
logger.debug(f"Found file {filename} at {url}")
|
|
||||||
|
|
||||||
old_path = pathlib.PurePath(filename)
|
|
||||||
new_path = transform(old_path)
|
|
||||||
if new_path is None:
|
|
||||||
continue
|
|
||||||
logger.debug(f"Transformed from {old_path} to {new_path}")
|
|
||||||
|
|
||||||
temp_path = orga.temp_file()
|
|
||||||
self._download(url, temp_path)
|
|
||||||
orga.add_file(temp_path, new_path)
|
|
||||||
|
|
||||||
def _download(self, url, to_path):
|
|
||||||
with self._session.get(url, stream=True) as r:
|
|
||||||
stream_to_path(r, to_path)
|
|
||||||
108
PFERD/norbert.py
108
PFERD/norbert.py
@ -1,108 +0,0 @@
|
|||||||
# Norberts Prog-Tuts
|
|
||||||
|
|
||||||
import logging
|
|
||||||
import pathlib
|
|
||||||
import re
|
|
||||||
import zipfile
|
|
||||||
|
|
||||||
import bs4
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from .organizer import Organizer
|
|
||||||
from .utils import rename, stream_to_path, PrettyLogger
|
|
||||||
|
|
||||||
__all__ = ["Norbert"]
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
pretty = PrettyLogger(logger)
|
|
||||||
|
|
||||||
class Norbert:
|
|
||||||
BASE_URL = "https://studwww.informatik.kit.edu/~s_blueml/"
|
|
||||||
LINK_RE = re.compile(r"^progtut/.*/(.*\.zip)$")
|
|
||||||
|
|
||||||
def __init__(self, base_path):
|
|
||||||
self.base_path = base_path
|
|
||||||
|
|
||||||
self._session = requests.Session()
|
|
||||||
|
|
||||||
def synchronize(self, to_dir, transform=lambda x: x, unzip=lambda _: True):
|
|
||||||
pretty.starting_synchronizer(to_dir, "Norbert")
|
|
||||||
|
|
||||||
sync_path = pathlib.Path(self.base_path, to_dir)
|
|
||||||
orga = Organizer(self.base_path, sync_path)
|
|
||||||
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
files = self._crawl()
|
|
||||||
self._download(orga, files, transform, unzip)
|
|
||||||
|
|
||||||
orga.clean_sync_dir()
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
def _crawl(self):
|
|
||||||
url = self.BASE_URL
|
|
||||||
r = self._session.get(url)
|
|
||||||
|
|
||||||
# replace undecodeable characters with a placeholder
|
|
||||||
#text = r.raw.decode("utf-8", "replace")
|
|
||||||
|
|
||||||
text = r.text
|
|
||||||
soup = bs4.BeautifulSoup(text, "html.parser")
|
|
||||||
|
|
||||||
files = []
|
|
||||||
|
|
||||||
for found in soup.find_all("a", href=self.LINK_RE):
|
|
||||||
url = found["href"]
|
|
||||||
full_url = self.BASE_URL + url
|
|
||||||
|
|
||||||
filename = re.search(self.LINK_RE, url).group(1)
|
|
||||||
path = pathlib.PurePath(filename)
|
|
||||||
|
|
||||||
logger.debug(f"Found zip file {filename} at {full_url}")
|
|
||||||
files.append((path, full_url))
|
|
||||||
|
|
||||||
return files
|
|
||||||
|
|
||||||
def _download(self, orga, files, transform, unzip):
|
|
||||||
for path, url in sorted(files):
|
|
||||||
# Yes, we want the zip file contents
|
|
||||||
if unzip(path):
|
|
||||||
logger.debug(f"Downloading and unzipping {path}")
|
|
||||||
zip_path = rename(path, path.stem)
|
|
||||||
|
|
||||||
# Download zip file
|
|
||||||
temp_file = orga.temp_file()
|
|
||||||
self._download_zip(url, temp_file)
|
|
||||||
|
|
||||||
# Search the zip file for files to extract
|
|
||||||
temp_dir = orga.temp_dir()
|
|
||||||
with zipfile.ZipFile(temp_file, "r") as zf:
|
|
||||||
for info in zf.infolist():
|
|
||||||
# Only interested in the files themselves, the directory
|
|
||||||
# structure is created automatically by orga.add_file()
|
|
||||||
if info.is_dir():
|
|
||||||
continue
|
|
||||||
|
|
||||||
file_path = zip_path / pathlib.PurePath(info.filename)
|
|
||||||
logger.debug(f"Found {info.filename} at path {file_path}")
|
|
||||||
|
|
||||||
new_path = transform(file_path)
|
|
||||||
if new_path is not None:
|
|
||||||
# Extract to temp file and add, the usual deal
|
|
||||||
temp_file = orga.temp_file()
|
|
||||||
extracted_path = zf.extract(info, temp_dir)
|
|
||||||
extracted_path = pathlib.Path(extracted_path)
|
|
||||||
orga.add_file(extracted_path, new_path)
|
|
||||||
|
|
||||||
# No, we only want the zip file itself
|
|
||||||
else:
|
|
||||||
logger.debug(f"Only downloading {path}")
|
|
||||||
|
|
||||||
new_path = transform(path)
|
|
||||||
if new_path is not None:
|
|
||||||
temp_file = orga.temp_file()
|
|
||||||
self._download_zip(url, temp_file)
|
|
||||||
orga.add_file(temp_file, new_path)
|
|
||||||
|
|
||||||
def _download_zip(self, url, to_path):
|
|
||||||
with self._session.get(url, stream=True) as r:
|
|
||||||
stream_to_path(r, to_path)
|
|
||||||
@ -1,85 +0,0 @@
|
|||||||
# Operating systems Exams
|
|
||||||
|
|
||||||
import getpass
|
|
||||||
import logging
|
|
||||||
import pathlib
|
|
||||||
import re
|
|
||||||
|
|
||||||
import bs4
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from .organizer import Organizer
|
|
||||||
from .utils import stream_to_path, PrettyLogger
|
|
||||||
|
|
||||||
__all__ = ["OsExams"]
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
pretty = PrettyLogger(logger)
|
|
||||||
|
|
||||||
class OsExams:
|
|
||||||
BASE_URL = "https://os.itec.kit.edu/deutsch/1556.php"
|
|
||||||
LINK_RE = re.compile(
|
|
||||||
r"^http://os.itec.kit.edu/downloads_own/sysarch-exam-assandsols"
|
|
||||||
r".*/(.*\.pdf)$"
|
|
||||||
)
|
|
||||||
|
|
||||||
_credentials = None
|
|
||||||
|
|
||||||
def __init__(self, base_path):
|
|
||||||
self.base_path = base_path
|
|
||||||
|
|
||||||
self._session = requests.Session()
|
|
||||||
|
|
||||||
def synchronize(self, to_dir, transform=lambda x: x):
|
|
||||||
pretty.starting_synchronizer(to_dir, "OsExams")
|
|
||||||
|
|
||||||
sync_path = pathlib.Path(self.base_path, to_dir)
|
|
||||||
|
|
||||||
orga = Organizer(self.base_path, sync_path)
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
self._crawl(orga, transform)
|
|
||||||
|
|
||||||
orga.clean_sync_dir()
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
def _crawl(self, orga, transform):
|
|
||||||
url = self.BASE_URL
|
|
||||||
r = self._session.get(url)
|
|
||||||
soup = bs4.BeautifulSoup(r.text, "html.parser")
|
|
||||||
|
|
||||||
for found in soup.find_all("a", href=self.LINK_RE):
|
|
||||||
url = found["href"]
|
|
||||||
filename = re.match(self.LINK_RE, url).group(1).replace("/", ".")
|
|
||||||
logger.debug(f"Found file {filename} at {url}")
|
|
||||||
|
|
||||||
old_path = pathlib.PurePath(filename)
|
|
||||||
new_path = transform(old_path)
|
|
||||||
if new_path is None:
|
|
||||||
continue
|
|
||||||
logger.debug(f"Transformed from {old_path} to {new_path}")
|
|
||||||
|
|
||||||
temp_path = orga.temp_file()
|
|
||||||
self._download(url, temp_path)
|
|
||||||
orga.add_file(temp_path, new_path)
|
|
||||||
|
|
||||||
def _download(self, url, to_path):
|
|
||||||
while True:
|
|
||||||
username, password = self._get_credentials()
|
|
||||||
with self._session.get(url, stream=True, auth=(username, password)) as r:
|
|
||||||
if r.ok:
|
|
||||||
stream_to_path(r, to_path)
|
|
||||||
return
|
|
||||||
else:
|
|
||||||
print("Incorrect credentials.")
|
|
||||||
self._reset_credentials()
|
|
||||||
|
|
||||||
def _get_credentials(self):
|
|
||||||
if self._credentials is None:
|
|
||||||
print("Please enter OS credentials.")
|
|
||||||
username = getpass.getpass(prompt="Username: ")
|
|
||||||
password = getpass.getpass(prompt="Password: ")
|
|
||||||
self._credentials = (username, password)
|
|
||||||
return self._credentials
|
|
||||||
|
|
||||||
def _reset_credentials(self):
|
|
||||||
self._credentials = None
|
|
||||||
75
PFERD/tgi.py
75
PFERD/tgi.py
@ -1,75 +0,0 @@
|
|||||||
# TGI Lecture slides
|
|
||||||
|
|
||||||
import logging
|
|
||||||
import pathlib
|
|
||||||
import re
|
|
||||||
import zipfile
|
|
||||||
|
|
||||||
import bs4
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from .organizer import Organizer
|
|
||||||
from .utils import rename, stream_to_path, PrettyLogger
|
|
||||||
|
|
||||||
__all__ = ["TGI"]
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
pretty = PrettyLogger(logger)
|
|
||||||
|
|
||||||
class TGI:
|
|
||||||
CRAWL_URL = "https://i11www.iti.kit.edu/teaching/{year}/tgi/index"
|
|
||||||
BASE_URL = "https://i11www.iti.kit.edu"
|
|
||||||
|
|
||||||
def __init__(self, base_path, year="winter2019"):
|
|
||||||
self.base_path = base_path
|
|
||||||
|
|
||||||
self._session = requests.Session()
|
|
||||||
self.year = year
|
|
||||||
|
|
||||||
def synchronize(self, to_dir, transform=lambda x: x):
|
|
||||||
pretty.starting_synchronizer(to_dir, "TGI")
|
|
||||||
|
|
||||||
sync_path = pathlib.Path(self.base_path, to_dir)
|
|
||||||
orga = Organizer(self.base_path, sync_path)
|
|
||||||
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
files = self._crawl()
|
|
||||||
self._download(orga, files, transform)
|
|
||||||
|
|
||||||
orga.clean_sync_dir()
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
def _crawl(self):
|
|
||||||
url = self.CRAWL_URL.replace("{year}", self.year)
|
|
||||||
r = self._session.get(url)
|
|
||||||
|
|
||||||
text = r.text
|
|
||||||
soup = bs4.BeautifulSoup(text, "html.parser")
|
|
||||||
|
|
||||||
files = []
|
|
||||||
|
|
||||||
for found in soup.select("a.mediafile.mf_pdf"):
|
|
||||||
url = found["href"]
|
|
||||||
full_url = self.BASE_URL + url
|
|
||||||
|
|
||||||
filename = re.search(r"\d+(/tgi)?/(.+.pdf)", url).group(2)
|
|
||||||
path = pathlib.PurePath(filename)
|
|
||||||
|
|
||||||
logger.debug(f"Found file {filename} at {full_url}")
|
|
||||||
files.append((path, full_url))
|
|
||||||
|
|
||||||
return files
|
|
||||||
|
|
||||||
def _download(self, orga, files, transform):
|
|
||||||
for path, url in sorted(files):
|
|
||||||
logger.debug(f"Downloading {path}")
|
|
||||||
|
|
||||||
new_path = transform(path)
|
|
||||||
if new_path is not None:
|
|
||||||
temp_file = orga.temp_file()
|
|
||||||
self._download_file(url, temp_file)
|
|
||||||
orga.add_file(temp_file, new_path)
|
|
||||||
|
|
||||||
def _download_file(self, url, to_path):
|
|
||||||
with self._session.get(url, stream=True) as r:
|
|
||||||
stream_to_path(r, to_path)
|
|
||||||
@ -1,80 +0,0 @@
|
|||||||
# TGI Tutorial slides
|
|
||||||
|
|
||||||
import logging
|
|
||||||
import pathlib
|
|
||||||
import re
|
|
||||||
import zipfile
|
|
||||||
|
|
||||||
import bs4
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from .organizer import Organizer
|
|
||||||
from .utils import rename, stream_to_path, PrettyLogger
|
|
||||||
|
|
||||||
__all__ = ["TGI_Tut"]
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
pretty = PrettyLogger(logger)
|
|
||||||
|
|
||||||
|
|
||||||
class TGI_Tut:
|
|
||||||
CRAWL_URL = "https://tgitut.jimdofree.com/"
|
|
||||||
|
|
||||||
def __init__(self, base_path, year="winter2019"):
|
|
||||||
self.base_path = base_path
|
|
||||||
|
|
||||||
self._session = requests.Session()
|
|
||||||
|
|
||||||
def _login(self):
|
|
||||||
post = self._session.post(self.CRAWL_URL, data={
|
|
||||||
"password": "Lebkuchen", "do_login": "yes", "Submit": "Anmelden"
|
|
||||||
})
|
|
||||||
|
|
||||||
def synchronize(self, to_dir, transform=lambda x: x):
|
|
||||||
pretty.starting_synchronizer(to_dir, "TGI_Tut")
|
|
||||||
|
|
||||||
self._login()
|
|
||||||
|
|
||||||
sync_path = pathlib.Path(self.base_path, to_dir)
|
|
||||||
orga = Organizer(self.base_path, sync_path)
|
|
||||||
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
files = self._crawl()
|
|
||||||
self._download(orga, files, transform)
|
|
||||||
|
|
||||||
orga.clean_sync_dir()
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
def _crawl(self):
|
|
||||||
url = self.CRAWL_URL
|
|
||||||
r = self._session.get(url)
|
|
||||||
|
|
||||||
text = r.text
|
|
||||||
soup = bs4.BeautifulSoup(text, "html.parser")
|
|
||||||
files = []
|
|
||||||
|
|
||||||
for found in soup.select("a.cc-m-download-link"):
|
|
||||||
url = found["href"]
|
|
||||||
full_url = self.CRAWL_URL + url
|
|
||||||
|
|
||||||
filename = re.search(r"/app/download/\d+/(.*.pdf)", url).group(1)
|
|
||||||
path = pathlib.PurePath(filename)
|
|
||||||
|
|
||||||
logger.debug(f"Found file {filename} at {full_url}")
|
|
||||||
files.append((path, full_url))
|
|
||||||
|
|
||||||
return files
|
|
||||||
|
|
||||||
def _download(self, orga, files, transform):
|
|
||||||
for path, url in sorted(files):
|
|
||||||
logger.debug(f"Downloading {path}")
|
|
||||||
|
|
||||||
new_path = transform(path)
|
|
||||||
if new_path is not None:
|
|
||||||
temp_file = orga.temp_file()
|
|
||||||
self._download_file(url, temp_file)
|
|
||||||
orga.add_file(temp_file, new_path)
|
|
||||||
|
|
||||||
def _download_file(self, url, to_path):
|
|
||||||
with self._session.get(url, stream=True) as r:
|
|
||||||
stream_to_path(r, to_path)
|
|
||||||
115
PFERD/ti.py
115
PFERD/ti.py
@ -1,115 +0,0 @@
|
|||||||
# Fakultät für Mathematik (FfM)
|
|
||||||
|
|
||||||
import getpass
|
|
||||||
import logging
|
|
||||||
import pathlib
|
|
||||||
import re
|
|
||||||
from urllib.parse import urljoin
|
|
||||||
|
|
||||||
import bs4
|
|
||||||
import requests
|
|
||||||
|
|
||||||
from .organizer import Organizer
|
|
||||||
from .utils import stream_to_path, PrettyLogger
|
|
||||||
|
|
||||||
__all__ = ["Ti"]
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
pretty = PrettyLogger(logger)
|
|
||||||
|
|
||||||
class Ti:
|
|
||||||
BASE_URL = "http://ti.ira.uka.de/"
|
|
||||||
FILE_RE = re.compile(r"^.+\.pdf$")
|
|
||||||
|
|
||||||
def __init__(self, base_path):
|
|
||||||
self.base_path = base_path
|
|
||||||
|
|
||||||
self._session = requests.Session()
|
|
||||||
self._credentials = None
|
|
||||||
|
|
||||||
def synchronize(self, urlpart, to_dir, transform=lambda x: x,
|
|
||||||
filter=lambda x: True):
|
|
||||||
pretty.starting_synchronizer(to_dir, "Ti", urlpart)
|
|
||||||
|
|
||||||
sync_path = pathlib.Path(self.base_path, to_dir)
|
|
||||||
|
|
||||||
orga = Organizer(self.base_path, sync_path)
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
self._reset_credentials()
|
|
||||||
|
|
||||||
available = self._find_available(urlpart)
|
|
||||||
|
|
||||||
for name, address in sorted(available.items()):
|
|
||||||
path = pathlib.PurePath(name)
|
|
||||||
if filter(path):
|
|
||||||
self._crawl(urlpart + address, path, orga, transform)
|
|
||||||
else:
|
|
||||||
logger.info(f"Skipping {name}/")
|
|
||||||
|
|
||||||
orga.clean_sync_dir()
|
|
||||||
orga.clean_temp_dir()
|
|
||||||
|
|
||||||
self._reset_credentials()
|
|
||||||
|
|
||||||
def _find_available(self, urlpart):
|
|
||||||
url = self.BASE_URL + urlpart
|
|
||||||
r = self._session.get(url)
|
|
||||||
soup = bs4.BeautifulSoup(r.text, "html.parser")
|
|
||||||
|
|
||||||
available = {}
|
|
||||||
|
|
||||||
if soup.find(href="./Vorlesung/Vorlesung.php"):
|
|
||||||
logger.info("Found Folien/")
|
|
||||||
available["Folien"] = "/Vorlesung/"
|
|
||||||
if soup.find(href="./Uebungen/Uebungen.php"):
|
|
||||||
logger.info("Found Blätter/")
|
|
||||||
available["Blätter"] = "/Uebungen/"
|
|
||||||
if soup.find(href="./Tutorien/Tutorien.php"):
|
|
||||||
logger.info("Found Tutorien/")
|
|
||||||
available["Tutorien"] = "/Tutorien/"
|
|
||||||
if soup.find(href="./AlteKlausuren/AlteKlausuren.php"):
|
|
||||||
logger.info("Found AlteKlausuren/")
|
|
||||||
available["AltKlausuren"] = "/AlteKlausuren/"
|
|
||||||
|
|
||||||
return available
|
|
||||||
|
|
||||||
def _crawl(self, urlpart, path, orga, transform):
|
|
||||||
url = self.BASE_URL + urlpart
|
|
||||||
r = self._session.get(url)
|
|
||||||
soup = bs4.BeautifulSoup(r.text, "html.parser")
|
|
||||||
|
|
||||||
for filelink in soup.find_all("a", href=self.FILE_RE):
|
|
||||||
filepath = path / filelink["href"]
|
|
||||||
fileurl = urljoin(url, filelink["href"])
|
|
||||||
|
|
||||||
new_path = transform(filepath)
|
|
||||||
if new_path is None:
|
|
||||||
continue
|
|
||||||
logger.debug(f"Transformed from {filepath} to {new_path}")
|
|
||||||
|
|
||||||
temp_path = orga.temp_file()
|
|
||||||
self._download(fileurl, temp_path)
|
|
||||||
orga.add_file(temp_path, new_path)
|
|
||||||
|
|
||||||
|
|
||||||
def _get_credentials(self):
|
|
||||||
if self._credentials is None:
|
|
||||||
print("Please enter Ti credentials.")
|
|
||||||
username = getpass.getpass(prompt="Username: ")
|
|
||||||
password = getpass.getpass(prompt="Password: ")
|
|
||||||
self._credentials = (username, password)
|
|
||||||
return self._credentials
|
|
||||||
|
|
||||||
def _reset_credentials(self):
|
|
||||||
self._credentials = None
|
|
||||||
|
|
||||||
def _download(self, url, to_path):
|
|
||||||
while True:
|
|
||||||
username, password = self._get_credentials()
|
|
||||||
with self._session.get(url, stream=True, auth=(username, password)) as r:
|
|
||||||
if r.ok:
|
|
||||||
stream_to_path(r, to_path)
|
|
||||||
return
|
|
||||||
else:
|
|
||||||
print("Incorrect credentials.")
|
|
||||||
self._reset_credentials()
|
|
||||||
@ -4,19 +4,6 @@ import pathlib
|
|||||||
from colorama import Style
|
from colorama import Style
|
||||||
from colorama import Fore
|
from colorama import Fore
|
||||||
|
|
||||||
__all__ = [
|
|
||||||
"get_base_dir",
|
|
||||||
"move",
|
|
||||||
"rename",
|
|
||||||
"stream_to_path",
|
|
||||||
"ContentTypeException",
|
|
||||||
"FileNotFoundException",
|
|
||||||
"PrettyLogger",
|
|
||||||
]
|
|
||||||
|
|
||||||
def get_base_dir(script_file):
|
|
||||||
return pathlib.Path(os.path.dirname(os.path.abspath(script_file)))
|
|
||||||
|
|
||||||
def move(path, from_folders, to_folders):
|
def move(path, from_folders, to_folders):
|
||||||
l = len(from_folders)
|
l = len(from_folders)
|
||||||
if path.parts[:l] == from_folders:
|
if path.parts[:l] == from_folders:
|
||||||
@ -30,17 +17,6 @@ def stream_to_path(response, to_path, chunk_size=1024**2):
|
|||||||
for chunk in response.iter_content(chunk_size=chunk_size):
|
for chunk in response.iter_content(chunk_size=chunk_size):
|
||||||
fd.write(chunk)
|
fd.write(chunk)
|
||||||
|
|
||||||
def isOutputPipe():
|
|
||||||
"""Returns whether this program's output is attached to a pipe.
|
|
||||||
"""
|
|
||||||
return sys.stdout.isatty
|
|
||||||
|
|
||||||
class ContentTypeException(Exception):
|
|
||||||
pass
|
|
||||||
|
|
||||||
class FileNotFoundException(Exception):
|
|
||||||
pass
|
|
||||||
|
|
||||||
class PrettyLogger:
|
class PrettyLogger:
|
||||||
|
|
||||||
def __init__(self, logger):
|
def __init__(self, logger):
|
||||||
|
|||||||
17
REWRITE.md
Normal file
17
REWRITE.md
Normal file
@ -0,0 +1,17 @@
|
|||||||
|
# A document detailing the rewrite plan for PFERD
|
||||||
|
|
||||||
|
## Project structure
|
||||||
|
|
||||||
|
- PFERD
|
||||||
|
- TmpDir
|
||||||
|
- Organizer
|
||||||
|
- CookieJar
|
||||||
|
- Common
|
||||||
|
- HttpDownloader
|
||||||
|
- UserPassAuthenticator
|
||||||
|
- Ilias
|
||||||
|
- IliasSynchronizer
|
||||||
|
- IliasCrawler
|
||||||
|
- IliasDownloader
|
||||||
|
- IliasShibbolethAuthenticator
|
||||||
|
- utils.py
|
||||||
@ -1,342 +0,0 @@
|
|||||||
#!/bin/env python3
|
|
||||||
|
|
||||||
import re
|
|
||||||
import sys
|
|
||||||
|
|
||||||
import PFERD
|
|
||||||
from PFERD.utils import get_base_dir, move, rename
|
|
||||||
|
|
||||||
#PFERD.enable_logging(logging.DEBUG)
|
|
||||||
PFERD.enable_logging()
|
|
||||||
|
|
||||||
base_dir = get_base_dir(__file__)
|
|
||||||
|
|
||||||
# Semester 1
|
|
||||||
|
|
||||||
def gbi_filter(path):
|
|
||||||
# Tutorien rausfiltern
|
|
||||||
if path.parts[:1] == ("Tutoriumsfolien",):
|
|
||||||
if path.parts[1:] == (): return True
|
|
||||||
if path.parts[1:2] == ("Tutorium 15",): return True
|
|
||||||
return False
|
|
||||||
|
|
||||||
return True
|
|
||||||
|
|
||||||
def gbi_transform(path):
|
|
||||||
# Übungsblätter in Blätter/blatt_xx.pdf
|
|
||||||
new_path = move(path, ("Übungsblätter",), ("Blätter",))
|
|
||||||
if new_path is not None:
|
|
||||||
|
|
||||||
match = re.match(r"(\d+).aufgaben.pdf", new_path.name)
|
|
||||||
if match:
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"blatt_{number:02}.pdf")
|
|
||||||
|
|
||||||
match = re.match(r"(\d+).loesungen.pdf", new_path.name)
|
|
||||||
if match:
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"loesung_{number:02}.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Folien in Folien/*
|
|
||||||
new_path = move(path, ("Vorlesung: Folien",), ("Folien",))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
# Skripte in Skripte/*
|
|
||||||
new_path = move(path, ("Vorlesung: Skript",), ("Skripte",))
|
|
||||||
if new_path is not None:
|
|
||||||
if new_path.name == "k-21-relationen-skript.pdf":
|
|
||||||
return rename(new_path, "21-relationen-skript.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Übungsfolien in Übung/*
|
|
||||||
new_path = move(path, ("große Übung: Folien",), ("Übung",))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
# Tutoriumsfolien in Tutorium/*
|
|
||||||
new_path = move(path, ("Tutoriumsfolien","Tutorium 15"), ("Tutorium",))
|
|
||||||
if new_path is not None:
|
|
||||||
if new_path.name == "GBI_Tut_2 (1).pdf":
|
|
||||||
return rename(new_path, "GBI_Tut_2.pdf")
|
|
||||||
if new_path.name == "GBI_Tut_7 (1).pdf":
|
|
||||||
return rename(new_path, "GBI_Tut_7.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
def hm1_transform(path):
|
|
||||||
match = re.match(r"blatt(\d+).pdf", path.name)
|
|
||||||
if match:
|
|
||||||
new_path = move(path, (), ("Blätter",))
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"blatt_{number:02}.pdf")
|
|
||||||
|
|
||||||
match = re.match(r"blatt(\d+).loesungen.pdf", path.name)
|
|
||||||
if match:
|
|
||||||
new_path = move(path, (), ("Blätter",))
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"loesung_{number:02}.pdf")
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
def la1_filter(path):
|
|
||||||
# Tutorien rausfitern
|
|
||||||
if path.parts[:1] == ("Tutorien",):
|
|
||||||
if path.parts[1:] == (): return True
|
|
||||||
if path.parts[1:2] == ("Tutorium 03 - Philipp Faller",): return True
|
|
||||||
if path.parts[1:2] == ("Tutorium 23 - Sebastian Faller",): return True
|
|
||||||
return False
|
|
||||||
|
|
||||||
return True
|
|
||||||
|
|
||||||
def la1_transform(path):
|
|
||||||
# Alle Übungsblätter in Blätter/blatt_xx.pdf
|
|
||||||
# Alles andere Übungsmaterial in Blätter/*
|
|
||||||
new_path = move(path, ("Übungen",), ("Blätter",))
|
|
||||||
if new_path is not None:
|
|
||||||
|
|
||||||
match = re.match(r"Blatt(\d+).pdf", new_path.name)
|
|
||||||
if match:
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"blatt_{number:02}.pdf")
|
|
||||||
|
|
||||||
if new_path.name == "Lösungen zu Blatt 1, Aufgabe 1 und Blatt 2, Aufgabe 4..pdf":
|
|
||||||
return rename(new_path, "Lösungen zu Blatt 1, Aufgabe 1 und Blatt 2, Aufgabe 4.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Alles Tutoriengedöns von Philipp in Tutorium/Philipp/*
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 03 - Philipp Faller"), ("Tutorium","Philipp"))
|
|
||||||
if new_path is not None:
|
|
||||||
if new_path.name == "tut2.pdf":
|
|
||||||
return rename(new_path, "Tut2.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Alles Tutoriengedöns von Sebastian in Tutorium/Sebastian/*
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 1"), ("Tutorium","Sebastian", "tut01"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 2", "aufgaben.pdf"), ("Tutorium","Sebastian", "tut02.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 3", "aufgaben.pdf"), ("Tutorium","Sebastian", "tut03.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 4", "aufgaben.pdf"), ("Tutorium","Sebastian", "tut04.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 5", "aufgaben.pdf"), ("Tutorium","Sebastian", "tut05.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 6", "aufgaben.pdf"), ("Tutorium","Sebastian", "tut06.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 7", "tut7.pdf"), ("Tutorium","Sebastian", "tut07.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 8", "tut8.pdf"), ("Tutorium","Sebastian", "tut08.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 9", "tut9.pdf"), ("Tutorium","Sebastian", "tut09.pdf"))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
if path.parts == ("Tutorien","Tutorium 23 - Sebastian Faller", "Tutorium 10", "tut10.pdf"): return None
|
|
||||||
|
|
||||||
new_path = move(path, ("Tutorien","Tutorium 23 - Sebastian Faller"), ("Tutorium","Sebastian"))
|
|
||||||
if new_path is not None:
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Übungs-Gedöns in Übung/*
|
|
||||||
new_path = move(path, ("Informatikervorlesung", "Übungsfolien"), ("Übung",))
|
|
||||||
if new_path is not None:
|
|
||||||
if new_path.name == "Übung_06_ausgewählte Folien.pdf":
|
|
||||||
return rename(new_path, "Übung_06_ausgewählte_Folien.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Vorlesungsfolien-Gedöns in Folien/*
|
|
||||||
new_path = move(path, ("Informatikervorlesung", "Folien.Notizen"), ("Folien",))
|
|
||||||
if new_path is not None:
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Rest in Hauptverzeichnis
|
|
||||||
new_path = move(path, ("Informatikervorlesung",), ())
|
|
||||||
if new_path is not None:
|
|
||||||
# Rename filenames that are invalid on FAT systems
|
|
||||||
if new_path.name == "Evaluationsergebnisse: Übung.pdf":
|
|
||||||
return rename(new_path, "Evaluationsergebnisse_Übung.pdf")
|
|
||||||
if new_path.name == "Skript \"Lineare Algebra\" von Stefan Kühnlein.pdf":
|
|
||||||
return rename(new_path, "Skript Lineare Algebra von Stefan kühnlein.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
def prog_filter(path):
|
|
||||||
# Tutorien rausfiltern
|
|
||||||
if path.parts[:1] == ("Tutorien",): return False
|
|
||||||
|
|
||||||
return True
|
|
||||||
|
|
||||||
def prog_transform(path):
|
|
||||||
# Übungsblätter in Blätter/*
|
|
||||||
new_path = move(path, ("Übungen",), ("Blätter",))
|
|
||||||
if new_path is not None:
|
|
||||||
if new_path.name == "assignmen04.pdf":
|
|
||||||
return rename(new_path, "assignment04.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
# Folien in Folien/*
|
|
||||||
new_path = move(path, ("Vorlesungsmaterial",), ("Folien",))
|
|
||||||
if new_path is not None:
|
|
||||||
if new_path.name == "00.1_Begruessung.pdf":
|
|
||||||
return rename(new_path, "00-01_Begruessung.pdf")
|
|
||||||
if new_path.name == "00.2_Organisatorisches.pdf":
|
|
||||||
return rename(new_path, "00-02_Organisatorisches.pdf")
|
|
||||||
if new_path.name == "01-01_ Einfache-Programme.pdf":
|
|
||||||
return rename(new_path, "01-01_Einfache_Programme.pdf")
|
|
||||||
if new_path.name == "13_Finden_und_ Beheben_von_Fehlern.pdf":
|
|
||||||
return rename(new_path, "13_Finden_und_Beheben_von_Fehlern.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
# Semester 2
|
|
||||||
|
|
||||||
def algo1_filter(path):
|
|
||||||
# Tutorien rausfiltern
|
|
||||||
if path.parts[:1] == ("Tutorien",):
|
|
||||||
if path.parts[1:] == (): return True
|
|
||||||
#if path.parts[1:2] == ("Tutorium 15",): return True
|
|
||||||
return False
|
|
||||||
|
|
||||||
return True
|
|
||||||
|
|
||||||
def algo1_transform(path):
|
|
||||||
# Folien in Folien/*
|
|
||||||
new_path = move(path, ("Vorlesungsfolien",), ("Folien",))
|
|
||||||
if new_path is not None:
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
def hm2_transform(path):
|
|
||||||
match = re.match(r"blatt(\d+).pdf", path.name)
|
|
||||||
if match:
|
|
||||||
new_path = move(path, (), ("Blätter",))
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"blatt_{number:02}.pdf")
|
|
||||||
|
|
||||||
match = re.match(r"blatt(\d+).loesungen.pdf", path.name)
|
|
||||||
if match:
|
|
||||||
new_path = move(path, (), ("Blätter",))
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"loesung_{number:02}.pdf")
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
def la2_filter(path):
|
|
||||||
# Tutorien rausfiltern
|
|
||||||
if path.parts[:1] == ("Tutorien",):
|
|
||||||
if path.parts[1:] == (): return True
|
|
||||||
#if path.parts[1:2] == ("Tutorium 15",): return True
|
|
||||||
return False
|
|
||||||
|
|
||||||
return True
|
|
||||||
|
|
||||||
def la2_transform(path):
|
|
||||||
# Folien in Folien/*
|
|
||||||
new_path = move(path, ("Vorlesungsmaterial",), ("Folien",))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
# Alle Übungsblätter in Blätter/blatt_xx.pdf
|
|
||||||
# Alles andere Übungsmaterial in Blätter/*
|
|
||||||
new_path = move(path, ("Übungen",), ("Blätter",))
|
|
||||||
if new_path is not None:
|
|
||||||
|
|
||||||
match = re.match(r"Blatt(\d+).pdf", new_path.name)
|
|
||||||
if match:
|
|
||||||
number = int(match.group(1))
|
|
||||||
return rename(new_path, f"blatt_{number:02}.pdf")
|
|
||||||
|
|
||||||
return new_path
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
def swt1_filter(path):
|
|
||||||
# Tutorien rausfiltern
|
|
||||||
if path.parts[:1] == ("Tutorien",):
|
|
||||||
if path.parts[1:] == (): return True
|
|
||||||
#if path.parts[1:2] == ("Tutorium 15",): return True
|
|
||||||
return False
|
|
||||||
|
|
||||||
return True
|
|
||||||
|
|
||||||
def swt1_transform(path):
|
|
||||||
# Folien in Folien/*
|
|
||||||
new_path = move(path, ("Vorlesungsmaterial",), ("Folien",))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
# Übungsblätter in Blätter/*
|
|
||||||
new_path = move(path, ("Übungen",), ("Blätter",))
|
|
||||||
if new_path is not None: return new_path
|
|
||||||
|
|
||||||
return path
|
|
||||||
|
|
||||||
# Main part of the config
|
|
||||||
|
|
||||||
def main(args):
|
|
||||||
args = [arg.lower() for arg in args]
|
|
||||||
|
|
||||||
ffm = PFERD.FfM(base_dir)
|
|
||||||
ilias = PFERD.Ilias(base_dir, "cookie_jar")
|
|
||||||
norbert = PFERD.Norbert(base_dir)
|
|
||||||
|
|
||||||
# Semester 1
|
|
||||||
|
|
||||||
if not args or "gbi" in args:
|
|
||||||
ilias.synchronize("855240", "GBI",
|
|
||||||
transform=gbi_transform, filter=gbi_filter)
|
|
||||||
|
|
||||||
if not args or "hm1" in args:
|
|
||||||
ffm.synchronize("iana2/lehre/hm1info2018w", "HM1",
|
|
||||||
transform=hm1_transform)
|
|
||||||
|
|
||||||
if not args or "la1" in args:
|
|
||||||
ilias.synchronize("874938", "LA1",
|
|
||||||
transform=la1_transform, filter=la1_filter)
|
|
||||||
|
|
||||||
if not args or "prog" in args:
|
|
||||||
ilias.synchronize("851237", "Prog",
|
|
||||||
transform=prog_transform, filter=prog_filter)
|
|
||||||
|
|
||||||
if not args or "norbert" in args:
|
|
||||||
norbert.synchronize("Prog-Tut")
|
|
||||||
|
|
||||||
# Semester 2
|
|
||||||
|
|
||||||
if not args or "algo1" in args:
|
|
||||||
ilias.synchronize("959260", "Algo1",
|
|
||||||
transform=algo1_transform, filter=algo1_filter)
|
|
||||||
|
|
||||||
if not args or "hm2" in args:
|
|
||||||
ffm.synchronize("iana2/lehre/hm2info2019s", "HM2",
|
|
||||||
transform=hm2_transform)
|
|
||||||
|
|
||||||
if not args or "la2" in args:
|
|
||||||
ilias.synchronize("950588", "LA2",
|
|
||||||
transform=la2_transform, filter=la2_filter)
|
|
||||||
|
|
||||||
if not args or "swt1" in args:
|
|
||||||
ilias.synchronize("945596", "SWT1",
|
|
||||||
transform=swt1_transform, filter=swt1_filter)
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
|
||||||
args = sys.argv[1:]
|
|
||||||
main(args)
|
|
||||||
Loading…
Reference in New Issue
Block a user