New to SQLAlchemy, i’m trying to load datas from a XLSX file to my database.
I kinda need help cause i’m trying to print rows from different tables after sucessfully creating and importing my datas but my dataframes are returning empty. Thanks you in advance.
import pandas as pd
from sqlalchemy import create_engine, text, Column, Integer, String, Date, Table, ForeignKey
from sqlalchemy.orm import sessionmaker, declarative_base, relationship
# Définir l'URL de la base de données
DATABASE_URL = 'mysql+mysqlconnector://root:[email protected]:3307/essai'
Base = declarative_base()
# Table d'association pour la relation plusieurs-à-plusieurs
collectivite_sourcemanuscrite = Table('CollectivitéSourceManuscrite', Base.metadata,
Column('collectivité_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('sourcemanuscrite_id', Integer, ForeignKey('SourceManuscrite.id'), primary_key=True)
)
collectivite_sourceimprimee = Table('CollectivitéSourceImprimée', Base.metadata,
Column('collectivité_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('sourceimprimée_id', Integer, ForeignKey('SourceImprimée.id'), primary_key=True)
)
collectivité_personne = Table('CollectivitéPersonne', Base.metadata,
Column('collectivite_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('personne_id', Integer, ForeignKey('Personne.id'), primary_key=True)
)
collectivité_evenement = Table('CollectivitéEvenement', Base.metadata,
Column('collectivite_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('evenement_id', Integer, ForeignKey('Evenement.id'), primary_key=True)
)
colelctivité_dépôt = Table('CollectivitéDépôt', Base.metadata,
Column('collectivite_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('depot_id', Integer, ForeignKey('Dépôt.id'), primary_key=True)
)
personne_sourcemanuscrite = Table('PersonneSourceManuscrite', Base.metadata,
Column('personne_id', Integer, ForeignKey('Personne.id'), primary_key=True),
Column('sourcemanuscrite_id', Integer, ForeignKey('SourceManuscrite.id'), primary_key=True)
)
evenement_sourcemanuscrite = Table('EvenementSourceManuscrite', Base.metadata,
Column('evenement_id', Integer, ForeignKey('Evenement.id'), primary_key=True),
Column('sourcemanuscrite_id', Integer, ForeignKey('SourceManuscrite.id'), primary_key=True)
)
oeuvre_sourcemanuscrite = Table('OeuvreSourceManuscrite', Base.metadata,
Column('oeuvre_id', Integer, ForeignKey('Oeuvre.id'), primary_key=True),
Column('sourcemanuscrite_id', Integer, ForeignKey('SourceManuscrite.id'), primary_key=True)
)
sourceimprimée_sourcemanuscrite = Table('SourceImpriméeSourceManuscrite', Base.metadata,
Column('sourceimprimee_id', Integer, ForeignKey('SourceImprimée.id'), primary_key=True),
Column('sourcemanuscrite_id', Integer, ForeignKey('SourceManuscrite.id'), primary_key=True)
)
depot_sourcemanuscrite = Table('DepotSourceManuscrite', Base.metadata,
Column('depot_id', Integer, ForeignKey('Dépôt.id'), primary_key=True),
Column('sourcemanuscrite_id', Integer, ForeignKey('SourceManuscrite.id'), primary_key=True)
)
collectivité_oeuvre = Table('CollectivitéOeuvre', Base.metadata,
Column('collectivite_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('oeuvre_id', Integer, ForeignKey('Oeuvre.id'), primary_key=True)
)
collectivité_lieu = Table('CollectivitéLieu', Base.metadata,
Column('collectivite_id', Integer, ForeignKey('Collectivité.id'), primary_key=True),
Column('lieu_id', Integer, ForeignKey('Lieu.id'), primary_key=True)
)
class SourceManuscrite(Base):
__tablename__ = 'SourceManuscrite'
id = Column(Integer, primary_key=True, autoincrement=True)
contributeur = Column(String(255))
titre = Column(String(1023), nullable=False)
ville = Column(String(255))
nomFichier = Column(String(255))
lienHypertexteNumérisation = Column(String(255))
lienHypertexteConsultation = Column(String(255))
cote = Column(String(255))
type = Column(String(255))
sousType = Column(String(255))
expression = Column(String(255))
dateProduction = Column(Date)
dateModification = Column(Date)
descriptionPhysique = Column(String(255))
transcription = Column(String(255))
effectifSimplifé = Column(String(255))
commentaires = Column(String(4095))
collectivités = relationship('Collectivité', secondary=collectivite_sourcemanuscrite, back_populates='sources_manuscrites')
personnes = relationship('Personne', secondary='PersonneSourceManuscrite', back_populates='sources_manuscrites')
evenements = relationship('Evenement', secondary='EvenementSourceManuscrite', back_populates='sources_manuscrites')
oeuvres = relationship('Oeuvre', secondary='OeuvreSourceManuscrite', back_populates='sources_manuscrites')
sources_imprimees = relationship('SourceImprimée', secondary='SourceImpriméeSourceManuscrite', back_populates='sources_manuscrites')
depots = relationship('Dépôt', secondary='DepotSourceManuscrite', back_populates='sources_manuscrites')
class SourceImprimée(Base):
__tablename__ = 'SourceImprimée'
id = Column(Integer, primary_key=True, autoincrement=True)
titre = Column(String(1023), nullable=False)
type = Column(String(255))
expression = Column(String(255))
nomFichier = Column(String(255))
lienHypertexteNumérisation = Column(String(255))
cote = Column(String(255))
annéeÉdition = Column(String(255))
descriptionPhysique = Column(String(255))
formatRéel = Column(String(255))
formatApparent = Column(String(255))
pagination = Column(String(255)) # Changer en int
titreRecueil = Column(String(1023))
volumaison = Column(String(255))
lieuÉdition = Column(String(255))
Éditeur = Column(String(255))
Imprimeur = Column(String(255))
lienHypertexteSource = Column(String(255))
transcription = Column(String(255))
effectifSimplifé = Column(String(255))
commentaires = Column(String(4095))
notesPrivées = Column(String(4095))
collectivités = relationship('Collectivité', secondary=collectivite_sourceimprimee, back_populates='sources_imprimees')
sources_manuscrites = relationship('SourceManuscrite', secondary='SourceImpriméeSourceManuscrite', back_populates='sources_imprimees')
class Collectivité(Base):
__tablename__ = 'Collectivité'
id = Column(Integer, primary_key=True, autoincrement=True)
nom = Column(String(1023), nullable=False)
contributeur = Column(String(255))
ville = Column(String(255))
adresse = Column(String(255))
sources_imprimees = relationship('SourceImprimée', secondary=collectivite_sourceimprimee, back_populates='collectivités')
sources_manuscrites = relationship('SourceManuscrite', secondary=collectivite_sourcemanuscrite, back_populates='collectivités')
oeuvres = relationship('Oeuvre', secondary=collectivité_oeuvre, back_populates='collectivités')
lieux = relationship('Lieu', secondary=collectivité_lieu, back_populates='collectivités')
personnes = relationship('Personne', secondary=collectivité_personne, back_populates='collectivités')
evenements = relationship('Evenement', secondary=collectivité_evenement, back_populates='collectivités')
dépôts = relationship('Dépôt', secondary=colelctivité_dépôt, back_populates='collectivités')
class Oeuvre(Base):
__tablename__ = 'Oeuvre'
id = Column(Integer, primary_key=True, autoincrement=True)
titre = Column(String(255), nullable=False)
date_publication = Column(Date)
collectivités = relationship('Collectivité', secondary=collectivité_oeuvre, back_populates='oeuvres')
sources_manuscrites = relationship('SourceManuscrite', secondary='OeuvreSourceManuscrite', back_populates='oeuvres')
class Lieu(Base):
__tablename__ = 'Lieu'
id = Column(Integer, primary_key=True, autoincrement=True)
nom = Column(String(255), nullable=False)
adresse = Column(String(255))
collectivités = relationship('Collectivité', secondary='CollectivitéLieu', back_populates='lieux')
class Personne(Base):
__tablename__ = 'Personne'
id = Column(Integer, primary_key=True, autoincrement=True)
nom = Column(String(255), nullable=False)
prenom = Column(String(255))
collectivités = relationship('Collectivité', secondary='CollectivitéPersonne', back_populates='personnes')
sources_manuscrites = relationship('SourceManuscrite', secondary='PersonneSourceManuscrite', back_populates='personnes')
class Evenement(Base):
__tablename__ = 'Evenement'
id = Column(Integer, primary_key=True, autoincrement=True)
nom = Column(String(255), nullable=False)
type = Column(String(255))
périodicité = Column(String(255))
jourSemaine = Column(String(255)) # Changer en int
dateDébut = Column(Date)
dateFin = Column(Date)
commentaires = Column(String(4095))
collectivités = relationship('Collectivité', secondary='CollectivitéEvenement', back_populates='evenements')
sources_manuscrites = relationship('SourceManuscrite', secondary='EvenementSourceManuscrite', back_populates='evenements')
class Dépôt(Base):
__tablename__ = 'Dépôt'
id = Column(Integer, primary_key=True, autoincrement=True)
nom = Column(String(255), nullable=False)
adresse = Column(String(255))
collectivités = relationship('Collectivité', secondary='CollectivitéDépôt', back_populates='dépôts')
sources_manuscrites = relationship('SourceManuscrite', secondary='DepotSourceManuscrite', back_populates='depots')
def main():
# Configuration de la base de données
engine = create_engine(DATABASE_URL, echo=True)
Session = sessionmaker(bind=engine)
session = Session()
# Effacer la base de données
session.execute(text(f'DROP DATABASE IF EXISTS essai'))
session.execute(text(f'CREATE DATABASE essai'))
session.close()
engine.dispose()
print('Base de données effacée')
engine = create_engine(DATABASE_URL, echo=True)
Session = sessionmaker(bind=engine)
session = Session()
session.execute(text(f'USE essai'))
# Création des tables
Base.metadata.create_all(engine)
print('Base de données créée')
# Lire le fichier Excel
file_path = r'C:UsersMaximeDesktoptest7Carpentras_normalisee_27_05_2024.xlsx'
df = pd.read_excel(file_path)
# Afficher les premières lignes du DataFrame pour vérifier la structure
print(df.head())
attributes_mapping = {
'PERSONNE': {
'ID': 'idPersonne',
'Nom ': 'Nom',
'Prénom': 'Prénom',
'Genre': 'Genre',
'Date de naissance': 'DateNaissance',
'Date de décès': 'DateDécès',
'Lieu de naissance': 'LieuNaissance',
'Lieu de décès': 'LieuDécès',
'Titres': 'Titres',
'Fonction': 'Fonction',
'Rôle sociétaire (période) ': 'RôleSociétaire',
'Rôle musical (période) ': 'RôleMusical',
'Portraitn(optionnel)': 'Portrait',
'Commentaires publics': 'Commentaires',
},
'OEUVRE': {
'ID': 'idOeuvre',
'Titre ou [Titre forgé] + sous-titre': 'Titre',
'Genre musical': 'GenreMusical',
'Auteur ou arrangeur du texte (saisie libre)': 'Auteur',
'Compositeur ou arrangeur de la musique (saisie libre)': 'Compositeur',
'Date de création ou publication': 'DateCreation',
'Source littérairen(optionnel)': 'SourceLitteraire',
'Version (optionnel)': 'Version',
'Opus ou livre': 'Opus_ou_livre',
'N° de catalogue': 'Numero_catalogue',
'Commentaires': 'Commentaires',
},
'SOURCE IMPRIMEE': {
'ID': 'idSourceImprimee',
'ID Collectivité': 'idCollectivite',
'ID Personne (optionnel)': 'idPersonne',
'ID Evénement (Optionnel)': 'idEvenement',
'ID Oeuvre (optionnel)': 'idOeuvre',
'Titre ou [Titre forgé] + sous-titre': 'Titre',
'Type': 'Type',
'ID Dépôt': 'idDepot',
'Nom de fichier': 'Nom_de_fichier',
'Lien hypertexte vers la numérisation en ligne si elle existe': 'Lien_hypertexte',
'Référence (cote)': 'Reference',
'Année d'édition': 'Annee_Edition',
'Description physique': 'Description_Physique',
'Format réel =pliagen(optionnel)': 'Format_reel_pliage',
'Format apparent (optionnel)': 'Format_apparent_cm_x_cm',
'Pagination (totale ou de l'extrait)': 'Pagination_totale_ou_extrait',
'Titre du périodique, du volume ou du recueil': 'Titre_periodique_volume_recueil',
'Volumaison (Optionnel)': 'Volumaison',
'Lieu d'édition': 'Lieu_edition',
'Éditeur (optionnel)': 'Editeur',
'Imprimeur (optionnel)': 'Imprimeur',
'Lien hypertexte vers notice sourcen(uniquement permalien)': 'Lien_hypertexte_vers_notice_source',
'Transcription (optionnel)n(nom du pdf) ': 'Transcription_optionnel_nom_pdf',
'Effectif simplifié (oeuvre musicale)': 'Effectif_simplifie',
'Commentaires_publics': 'Commentaires',
},
'SOURCE MANUSCRITE': {
'ID': 'idSourceManuscrite',
'Contributeur (initiales)': 'Contributeur',
'Ville': 'Ville',
'Id Collectivité': 'idCollectivite',
'Id Personnen(Optionnel)': 'idPersonne',
'Id Evénement (Optionnel)': 'idEvenement',
'Id Oeuvre (Optionnel)': 'idOeuvre',
'Titre ou [Titre forgé]n(graphie moderne)': 'Titre',
'Id Dépôt': 'idDepot',
'Nom du fichier': 'Nom_de_fichier',
'Lien hypertexte vers la numérisation en ligne si elle existe': 'Lien hypertexte',
'Référence (cote)': 'Reference_cote',
'Typen(valeurs restreintes)': 'Type',
'Sous-type': 'SousType',
'Expression n(texte original, extraits, fragments composites, arrangement, traduction, édition abrégée...)': 'Expression',
'Date de production': 'Date_production',
'Date de modificationn(dernière révision dans le cas de retouches multiples)': 'Date_modification',
'Description physique': 'DescriptionPhysique',
'Lien hypertexte vers notice de l'exemplaire consultén(uniquement permalien)': 'LienHypertexte',
'Transcription (optionnel)n(nom du pdf) ': 'Transcription',
'Effectif simplifié (oeuvre musicale) ': 'EffectifSimplifié',
'Commentaires publics': 'Commentaires'
},
'LIEU' : {
'ID': 'idLieu',
'ID thesaurus IREMUS nSera complété par Nathalie Berton-Blivet': 'idThesaurus',
'Label': 'Label',
'Terme générique': 'TermeGénérique',
'Terme spécifique': 'TermeSpécifique',
'Date de débutn(optionnel)': 'DateDébut',
'Date de finn(optionnel)': 'DateFin',
'Commentaires publics': 'Commentaires'
},
'DÉPÔT' : {
'ID': 'idDepot',
'Labeln(forme d'autorité - voir CCFR ou à défaut idref) ': 'Label_autorité',
'Lien hypertexte vers site web': 'Lien_hypertexte',
'Adresse': 'Adresse_postale',
'ID Collectivité': 'idCollectivite',
'Pour mémoire abbréviation utilisée dans le tableau (col. Cote': 'Abbréviation'
},
'COLLECTIVITÉ' : {
'ID': 'idCollectivite',
'Type': 'Type',
'Musicale O/N': 'Musicale_ON',
'Label = Dénomination (+ période)': 'Label_Dénomination_période',
'IdRefn(voir site https://www.idref.fr/)': 'IDRef',
'ID Lieu': 'idLieu',
'Période d'activité (Optionnel)': 'Période_activité',
'Date de reconnaissance (optionnel) ': 'Date_reconnaissance',
'Devise + traduction + source': 'Devise_traduc_source',
'Commentaires publics': 'Commentaires_publics'
},
'EVENEMENT' : {
'ID': 'idEvent',
'ID Source d'archive': '',
'ID Source imprimée': 'idSourceImprimee',
'ID Oeuvre (optionnel)': 'idOeuvre',
'ID Personne (optionnel)': 'idPersonne',
'ID Collectivité (optionnel)': 'idCollectivite',
'ID Lieu': 'idLieu',
'Type - sous-type': 'TypeSousType',
'Périodicitén(optionnel)': 'Périodicité',
'Jour de la semainen(optionnel)': 'JourSemaine',
'Date ou date de début': 'DateDébut',
'Date de fin': 'DateFin',
'Commentaires publics': 'Commentaires'
}
}
# Validation des changements dans la base de données
session.commit()
print('Données insérées avec succès')
# Affichage des données pour vérification
def display_first_five_rows(table_name):
query = text(f"SELECT * FROM {table_name} LIMIT 5")
with engine.connect() as connection:
df = pd.read_sql(query, con=connection)
print(f"nLes 5 premières lignes de la table {table_name}:")
print(df)
# Afficher les 5 premières lignes des tables spécifiées
display_first_five_rows('Personne')
display_first_five_rows('Evenement')
display_first_five_rows('Dépôt')
display_first_five_rows('Lieu')
display_first_five_rows('SourceImprimée')
display_first_five_rows('SourceManuscrite')
if __name__ == '__main__':
main()
I’m trying to print the datas that are in my database.
New contributor
fdsfs fsd is a new contributor to this site. Take care in asking for clarification, commenting, and answering.
Check out our Code of Conduct.