[Nekmo]

Buenas a toda la comunidad

Llevo ya bastantes años por Unión Fansub, disfrutando de sus animes y de su criterio para elegir los mejores fansubs. Siempre he sido uno de esos usuarios que se han mantenido en silencio, aunque ahora he querido devolver un poco a la comunidad, dentro de mis posibilidades. Es por ello que viendo que ahora mucho del anime se encuentra ya disponible en plataformas de VOD con subtítulos en español, he preparado un bot que se encarga de la subida de dichos animes de forma automatizada. Ya lo he estado probando en el foro de subidas, lo cual me ha permitido ir puliéndolo.

Con ello me gustaría ayudar a que Unión Fansub disponga de todo el anime tanto de temporada como de temporadas anteriores. Sé que muchas de estas traducciones son mejorables, aunque al disponer de subtítulos oficiales, muchos fansubs se abstienen de traducirlas, quedándose en el olvido del foro.

Me gustaría recibir opiniones y comentarios al respecto, para publicar el código fuente en cuanto esté ya del todo terminado. Algunas de sus características actuales son:

• Publicar un hilo del anime en subida, obteniendo los datos de MyAnimeList (número de episodios, duración, año, géneros, temáticas, etc.).
  
• Generación de la portada del anime a las dimensiones permitidas por el foro, usando la imagen de MyAnimeList, y su subida a la galería.
  
• Crear de las capturas del vídeo y su subida a la galería.
  
• Comprobar en Nyaa si hay nuevos vídeos para su descarga según unos términos de búsqueda.
  
• Descargar los ficheros Torrent, y esperar a su descarga.
  
• Subir los vídeos descargados a 1fichier, obteniendo sus enlaces.
  
• Actualizar el hilo del anime con los nuevos enlaces e incrementar el contador de episodios.
  
• Programación automática de las subidas. Conociendo la fecha de subida del último capítulo, espera una semana al lanzamiento del siguiente.
  

Algunas características aún en desarollo:

• Detección y actualización de enlaces muertos. Se encargaría de volver a subir a 1fichier si se ha caído el enlace. Finalizado.
  
• Descarga directa. Los ficheros podrían descargarse desde un servidor propio, sin esperas ni enlaces muertos. Finalizado.
  
• Mejoras en el contador de capítulos. Actualmente no distingue capítulos recopilatorios, etc. Finalizado.
  
• Marcar anime como terminado automáticamente tras subirse todos los capítulos. Finalizado.
  
• Subir series de paquetes. A día de hoy sólo soporta Torrents con un solo fichero, no "packs". Finalizado.
  
• Verificar que efectivamente los vídeos subidos tengan los subtítulos esperados. Finalizado.
  
• Cambiar servidor para la subida de los ficheros .torrent.
  

Actualmente permite la subida de dos formas. Creando el hilo del anime, como en el siguiente ejemplo:

Código fuente:

Mostrar

[[animes]]
title = "Tsue to Tsurugi no Wistoria"

[animes.nyaa]
user = "Erai-raws"
extra_query = "1080p -HEVC"

[animes.unionfansub]
tid = 23942
pid = 512180

Como automatizado, creando el bot el hilo:

Código fuente:

Mostrar

[[animes]]
title = "Cardfight!! Vanguard: Divinez Season 2"

[animes.nyaa]
title = "Cardfight Vanguard Divinez Season 2"
user = "Erai-raws"
extra_query = "1080p -HEVC"

[animes.unionfansub]
fansub = "Erai-raws"
audios = ["Japonés"]
subtitles = ["Castellano", "Latino", "Inglés", "Francés", "Italiano", "Portugués", "Alemán", "Ruso"]
source = "Web"
codec = "H.264"
resolution = "1920x1080"
container = "MKV"
description = """A través de su victoria con Vanguard en el Choque Destinado, Akina Myodo ve cumplido su deseo de la \
salud de su hermana Hikari Myodo. Gabwelius, quien reunió a los poseedores de las cartas del Destinado, revela la \
verdad detrás del Choque Destinado.

También ha aparecido otro peluche llamado Sybilt, quien reúne a los 6 poseedores de las cartas del Destinado y \
anuncia el inicio del “Duelo Destinado”, donde el ganador podrá ver cumplido su deseo.\
"""

Por supuesto, al estar aún en desarrollo pueden surgir ciertos fallos en su ejecución. Es por ello que reviso todo lo que realiza el bot, y compruebo el material subido. Espero gracias a ello quitar trabajo a los uploaders, para que puedan subir aquellos animes con fansubs que de otra manera pasarían desapercibidos y se perderían, al mismo tiempo que se aumenta el catálogo del foro.

Por mi parte, también es mi intención mantener y evitar que dichos animes se queden huérfanos. Dispongo de una buena conexión, y me encuentro ampliando mi capacidad de almacenamiento. Aunque a día de hoy estoy seedeando desde mi PC (el cual hace llevo sin apagar semanas...), mi intención es montar una buena infraestructura con un NAS y un MiniPC.

Muchas gracias de nuevo a toda la comunidad por su gran trabajo.

Un saludo.

[Shin Gouki]

Me imagino que habrán más opiniones al respecto, pero me ha surgido una duda. ¿Ese bot va a publicar las versiones HEVC de Erai?. Te lo pregunto porque es mejor subir las versiones sin encodear. Las H.265 de Erai pierden bastante frente a las H.264 y por ende podrían ser rechazadas.

Saludos.

[Nekmo]

(19 Aug 2024)Shin Gouki escribió:  Me imagino que habrán más opiniones al respecto, pero me ha surgido una duda. ¿Ese bot va a publicar las versiones HEVC de Erai?. Te lo pregunto porque es mejor subir las versiones sin encodear. Las H.265 de Erai pierden bastante frente a las H.264 y por ende podrían ser rechazadas.

Saludos.

Buenas, ya me avisaron al respecto en las primeras pruebas, y me encuentro subiendo sólo las versiones H.264, como se puede ver en los hilos ya subidos. En la búsqueda en Nyaa tengo especificado que ignore los Torrents que usan HEVC.

Por supuesto, se puede usar para subir Torrents de otros fansubs en Nyaa. En un futuro se podría meter para que obtenga los Torrents de otras webs, claro está.

[Johange]

Hola, tienes un proyecto fenomenal. Creo que sería de mucha ayuda y daría lugar a un mejor orden en mi opinión, además de que tienes la posibilidad de hacerlo realidad, simplemente genial. Apoyo tu proyecto con todo mi corazón.

Algo que me gustaría comentar al respecto sobre las dos primeras características que aún tienes en desarrollo, es que si ya has logrado que haga todo el proceso de subida y publicación de los torrents, no creo que sea necesario que inviertas tiempo y recursos de computo en detectar si han caído o no los archivos de alguna nube. Para eso está el torrent, por supuesto. Además, según veo, brindarías un enlace de descarga directa propio, lo cual, a la misma vez, sería un adicional estupendo; pero no es necesario.

Usualmente cuando hago alguna subida, elimino las descargas directas. Así fomentas el uso de torrents para bajar lo que sea que necesites, dando lugar a que haya más semillas y los archivos se conserven por más tiempo, claro, eso es lo que yo hago. Aunque también está el hecho de que si eres tú el que comparte, siempre mejoras tu ratio y de aquellos que comparten contigo.

En fin, que me parece supergenial tu proyecto y espero que logres implementarlo de la mejor manera.

Eso sí, me quedan mis duditas. xD

- ¿Creas manual la ficha del anime que el bot publicará o usas una api de alguna base de datos como MAL, Anilist, Anidb o Livechart? Si es así, ¿cuál sería?
- En caso de que uses una api, ¿la sinopsis la traduce el mismo bot?

Eso sería, no me queda nada más que decir, así que te deseo mucha suerte con tu proyecto. Que está muy bueno.

[Nekmo]

(20 Aug 2024)Johange escribió:  Hola, tienes un proyecto fenomenal. Creo que sería de mucha ayuda y daría lugar a un mejor orden en mi opinión, además de que tienes la posibilidad de hacerlo realidad, simplemente genial. Apoyo tu proyecto con todo mi corazón.

Algo que me gustaría comentar al respecto sobre las dos primeras características que aún tienes en desarrollo, es que si ya has logrado que haga todo el proceso de subida y publicación de los torrents, no creo que sea necesario que inviertas tiempo y recursos de computo en detectar si han caído o no los archivos de alguna nube. Para eso está el torrent, por supuesto. Además, según veo, brindarías un enlace de descarga directa propio, lo cual, a la misma vez, sería un adicional estupendo; pero no es necesario.

Usualmente cuando hago alguna subida, elimino las descargas directas. Así fomentas el uso de torrents para bajar lo que sea que necesites, dando lugar a que haya más semillas y los archivos se conserven por más tiempo, claro, eso es lo que yo hago. Aunque también está el hecho de que si eres tú el que comparte, siempre mejoras tu ratio y de aquellos que comparten contigo.

En fin, que me parece supergenial tu proyecto y espero que logres implementarlo de la mejor manera.

Eso sí, me quedan mis duditas. xD

- ¿Creas manual la ficha del anime que el bot publicará o usas una api de alguna base de datos como MAL, Anilist, Anidb o Livechart? Si es así, ¿cuál sería?
- En caso de que uses una api, ¿la sinopsis la traduce el mismo bot?

Eso sería, no me queda nada más que decir, así que te deseo mucha suerte con tu proyecto. Que está muy bueno.

Buenas Johange, ¡gracias por el interés! Yo también espero que el proyecto ayude a Unión Fansub Está siendo mucho trabajo y dedicación, la verdad es que es un proyecto genial.

Sobre lo que comentas de los torrents, lamento la confusión con mi mensaje. A día de hoy el bot no tiene capacidad de subir torrent a Unión Fansub (no tengo el rol de uploader, por lo que no tengo tal posibilidad). La parte de torrent se encuentra en Nyaa a día de hoy solamente. Busca si hay nuevos torrents disponibles y los descarga desde Nyaa, para después subir los ficheros a 1fichier. Finalmente dichos enlaces son los que se ponen en el hilo correspondiente en Unión Fansub.

Estoy de acuerdo con lo de borrar los enlaces en cuanto el anime se completa y tiene ya torrent en Unión Fansub Creo que es lo mejor para darle un empujón al torrent, además de ya no ser necesario tener actualizados los enlaces. Como a día de hoy estoy subiendo sólo animes de temporada, todavía no es posible tenerlos con torrent, pero es algo que haría cuando se completen.

Sobre las dudas que comentas, estoy usando MyAnimeList para obtener la información para la ficha. Lo he hecho así ya que Unión Fansub utiliza el nombre de MAL, y los campos de información son bastante parecidos entre ambos. No estoy usando la API, sino haciendo scraping directamente. Cuando publique el código podrá verse, aunque es bastante sencilla esa parte, sólo obtengo lo esencial para el proyecto.

Las sinopsis me temo que es una de las partes que no se pueden automatizar, o al menos he preferido no hacerlo así para mantener la calidad del foro. Ha habido algunos casos en los que he tenido que redactarlas o adaptarlas yo mismo, porque lo que había en Crunchyroll/Filmaffinity/Wikipedia/etc. no me servía. En el segundo spoiler del primer mensaje hay un ejemplo de cómo se define la sinopsis.

A cualquier duda o sugerencia me encuentro disponible

¡Un saludo!

[Johange]

(20 Aug 2024)Nekmo escribió:  Buenas Johange, ¡gracias por el interés! Yo también espero que el proyecto ayude a Unión Fansub Está siendo mucho trabajo y dedicación, la verdad es que es un proyecto genial.

Sobre lo que comentas de los torrents, lamento la confusión con mi mensaje. A día de hoy el bot no tiene capacidad de subir torrent a Unión Fansub (no tengo el rol de uploader, por lo que no tengo tal posibilidad). La parte de torrent se encuentra en Nyaa a día de hoy solamente. Busca si hay nuevos torrents disponibles y los descarga desde Nyaa, para después subir los ficheros a 1fichier. Finalmente dichos enlaces son los que se ponen en el hilo correspondiente en Unión Fansub.

Estoy de acuerdo con lo de borrar los enlaces en cuanto el anime se completa y tiene ya torrent en Unión Fansub Creo que es lo mejor para darle un empujón al torrent, además de ya no ser necesario tener actualizados los enlaces. Como a día de hoy estoy subiendo sólo animes de temporada, todavía no es posible tenerlos con torrent, pero es algo que haría cuando se completen.

Sobre las dudas que comentas, estoy usando MyAnimeList para obtener la información para la ficha. Lo he hecho así ya que Unión Fansub utiliza el nombre de MAL, y los campos de información son bastante parecidos entre ambos. No estoy usando la API, sino haciendo scraping directamente. Cuando publique el código podrá verse, aunque es bastante sencilla esa parte, sólo obtengo lo esencial para el proyecto.

Las sinopsis me temo que es una de las partes que no se pueden automatizar, o al menos he preferido no hacerlo así para mantener la calidad del foro. Ha habido algunos casos en los que he tenido que redactarlas o adaptarlas yo mismo, porque lo que había en Crunchyroll/Filmaffinity/Wikipedia/etc. no me servía. En el segundo spoiler del primer mensaje hay un ejemplo de cómo se define la sinopsis.

A cualquier duda o sugerencia me encuentro disponible

¡Un saludo!

Oh, entiendo.

Pero si llegas a implementarlo de manera continua, eventualmente obtendrás el rol.
Así que imagino que tratarás implementarlo de la misma manera para las subidas de torrent.

Sugerencias, no tengo ninguna porque no sé mucho de programación xd, pero qué bueno que alguien esté tomando la iniciativa en este tipo de cosas en UF.

Saludos.

[Nekmo]

(24 Aug 2024)Johange escribió:  

(20 Aug 2024)Nekmo escribió:  Buenas Johange, ¡gracias por el interés! Yo también espero que el proyecto ayude a Unión Fansub Está siendo mucho trabajo y dedicación, la verdad es que es un proyecto genial.

Sobre lo que comentas de los torrents, lamento la confusión con mi mensaje. A día de hoy el bot no tiene capacidad de subir torrent a Unión Fansub (no tengo el rol de uploader, por lo que no tengo tal posibilidad). La parte de torrent se encuentra en Nyaa a día de hoy solamente. Busca si hay nuevos torrents disponibles y los descarga desde Nyaa, para después subir los ficheros a 1fichier. Finalmente dichos enlaces son los que se ponen en el hilo correspondiente en Unión Fansub.

Estoy de acuerdo con lo de borrar los enlaces en cuanto el anime se completa y tiene ya torrent en Unión Fansub Creo que es lo mejor para darle un empujón al torrent, además de ya no ser necesario tener actualizados los enlaces. Como a día de hoy estoy subiendo sólo animes de temporada, todavía no es posible tenerlos con torrent, pero es algo que haría cuando se completen.

Sobre las dudas que comentas, estoy usando MyAnimeList para obtener la información para la ficha. Lo he hecho así ya que Unión Fansub utiliza el nombre de MAL, y los campos de información son bastante parecidos entre ambos. No estoy usando la API, sino haciendo scraping directamente. Cuando publique el código podrá verse, aunque es bastante sencilla esa parte, sólo obtengo lo esencial para el proyecto.

Las sinopsis me temo que es una de las partes que no se pueden automatizar, o al menos he preferido no hacerlo así para mantener la calidad del foro. Ha habido algunos casos en los que he tenido que redactarlas o adaptarlas yo mismo, porque lo que había en Crunchyroll/Filmaffinity/Wikipedia/etc. no me servía. En el segundo spoiler del primer mensaje hay un ejemplo de cómo se define la sinopsis.

A cualquier duda o sugerencia me encuentro disponible

¡Un saludo!

Oh, entiendo.

Pero si llegas a implementarlo de manera continua, eventualmente obtendrás el rol.
Así que imagino que tratarás implementarlo de la misma manera para las subidas de torrent.

Sugerencias, no tengo ninguna porque no sé mucho de programación xd, pero qué bueno que alguien esté tomando la iniciativa en este tipo de cosas en UF.

Saludos.

En estos momentos sólo puedo seedear desde mi PC, el cual eventualmente llego a apagar, por lo que no sería apto para el rol de subida. En algún momento voy a montar un equipo sólo para subir (con menos capacidad de la que tengo en el PC, eso sí), pero hasta entonces no podría adoptar dicho rol.

Si en algún momento fuese uploader, intentaría automatizar también esa parte, pero tras estar muy seguro de que el bot funciona bien. No es lo mismo subir un fichero incorrecto a 1Fichier de un capítulo de la serie, que crear un torrent que está mal, lo cual obliga a borrarlo y crear uno nuevo. Esto último podría ser muy molesto sobre todo para aquellos que ya hayan descargado el torrent, por lo que quiero estar muy seguro antes de automatizar nada de un paso así. De todas formas, seguiría supervisando manualmente, como hasta el día de hoy.

Toda sugerencia es bienvenida, no es necesario saber programar Cualquier sugerencia del tipo: ¿el bot podría hacer esto? O, ¿podríamos automatizar este paso que es muy repetitivo? Es de ayuda.

[Riyen]

Fantástico proyecto e iniciativa.

Como idea que se me viene a la mente, pienso que podrías buscar/scrappear en IMDb, TheTVDB, TMDB el anime en cuestión y extraer de ahí la descripción ya en castellano (suelen estar).

Sobre lo que comentas de actualizarte, en Aliexpress y similares venden unos MiniPC por 100-150€ que son de locos, yo me pillé un N100 16G 512G, lo que conectado a 4HDD de 18TB y le he metido un Windows con WSL y ahí me he montado mi server. Tengo un Plex, diferentes dockers, algo de scrapping, jobs ejecutándose en bucle, un par de webs privadas, mi currículum online...
Tenía unos Synology y los he jubilado y los he puesto en wallapop porque al final un NAS solo lo aprovechas si es para meter un RAID y tener seguridad en los datos. Las specs de los NAS dan pena para poderlos usar bien de server o para cualquier cosa (plex apenas iba, por ejemplo).

P.D: Me da mucha curiosidad y me gustaría meterle mano al código fuente, ¿cuando dices que lo compartes?

[Nekmo]

(01 Sep 2024)Riyen escribió:  Fantástico proyecto e iniciativa.

Como idea que se me viene a la mente, pienso que podrías buscar/scrappear en IMDb, TheTVDB, TMDB el anime en cuestión y extraer de ahí la descripción ya en castellano (suelen estar).

Sobre lo que comentas de actualizarte, en Aliexpress y similares venden unos MiniPC por 100-150€ que son de locos, yo me pillé un N100 16G 512G, lo que conectado a 4HDD de 18TB y le he metido un Windows con WSL y ahí me he montado mi server. Tengo un Plex, diferentes dockers, algo de scrapping, jobs ejecutándose en bucle, un par de webs privadas, mi currículum online...
Tenía unos Synology y los he jubilado y los he puesto en wallapop porque al final un NAS solo lo aprovechas si es para meter un RAID y tener seguridad en los datos. Las specs de los NAS dan pena para poderlos usar bien de server o para cualquier cosa (plex apenas iba, por ejemplo).

P.D: Me da mucha curiosidad y me gustaría meterle mano al código fuente, ¿cuando dices que lo compartes?

Buenas, gracias por los comentarios

No es mala idea lo de IMDb/TheTVDB/TMDB, tomo la idea de sacarlo de ahí. También tengo como problemática actual, al añadir nuevos animes obtener el título a emplear según los criterios del foro (lo cual requiere comprobar Crunchyroll entre otros sitios).

Dispongo de un N100 montado por mí (fanless), pero para la domótica de la casa. El equipo que correrá esto será un J1900, que para esto debería valer. Por mis requisitos, el equipo debe ser fanless y sin ruido, por lo que no es posible utilizar discos duros mecánicos. Usaré un SSD de 4TB en cuando baje de precio. No es mucha capacidad, pero al menos es suficiente para servir los animes de temporada y hacer de buffer para un medio de almacenamiento mayor.

Sobre el código fuente, lo publicaré cuando ya estén todas las features cubiertas y tenga un poco de tiempo (ahora mismo estoy de vuelta al trabajo).

Un saludo.

[Shin Gouki]

Hola Nekmo

Sería conveniente que le dieses un buen repaso a tu bot porque tras haber revisado todas tus subidas, se han encontrado fallos que crean, aparte de confusión al personal, más trabajo (y lío) para nosotros los Moderadores de Subidas. Los torrents que el bot crea poseen una extensión incorrecta, otros vienen con carpetas con dos puntos y otros no tienen todos los archivos que deberían tener (pistas de subtítulos españolizados apartes), haciendo que tengamos que ser nosotros los que tengamos que ir a la web de Erai, descargarlos y crear el torrent.

Aparte de eso, creo recordar que afirmaste que las sinopsis las escribías tú y no el bot. De ser así, te sugiero que guardes mayor cuidado en no confundirlas y escribir una diferente al que aparece en el título del hilo. Esto te lo comento mayormente porque se han puesto advertencias a usuarios que reincidían en equivocarse al crear fichas.

Por otra parte, te recomiendo que antes de hacer al bot publicar lo primero que encuentre en Erai, investigues un poco (buscando o preguntando) por si el título en cuestión posee (o va a poseer) doblaje, o lo está trabajando algún fansub de calidad, en cuyo caso, sería una cuestión de preferencias que subas la versión de ese fansub o la del grupo que la facilite con su(s) doblaje(s) (español de España y español de Latinoamérica), si es que no puedes conseguir, tú mismo o el bot, el vídeo directamente de la web de streaming de turno.

Saludos.