Интересный PythonКонсультации, Вопросы, Интересные Задачки на Python
#42
Отправлено 22.12.2019, 08:02:59
Что на счет переборки большого количества данных, Python я вроде слышал, довольно эффективен в DataMining?
Для датамайнинга, и биг дата да наверное скорей всего подойдёт Python, но тогда нужна мощная СУБД допустим In Memory DB какая-нибудь Хана - https://blogs.sap.co...python-yes-sir/ хотя
Но вообще я слышал что больше подойдёт Spark - https://ru.wikipedia...ki/Apache_Spark язык R - https://ru.wikipedia...ограммирования) и Касандра - https://ru.wikipedia...pache_Cassandra
Вот пример биг дата
P.S.
Сообщение отредактировал lexx821: 22.12.2019, 08:13:21
#43
Отправлено 30.01.2020, 21:26:43
Выше спрашивали про биг дата и дата майненг, вот я решил сделать простенький пример, я постараюсь её на python написать, программа будет генерировать выдуманных людей, имя и фамилия будут и прочая информация в хранится в текстовых файлах. Один скрипт будет генерировать SQL запрос, допустим generate.py <кол.во-дней>, спомощью этого скрипта можно будет сгенерировать случайных людей, итд, лимит устанавливаться в параметре <кол-во дней>. А второй скрипт будет генерировать отчёт в формате html - discovery.py, отчёт будет примерно такой: Имя, фамилия, кто родственники, где работал, долги, преступления, друзья, что и когда покупал, сколько денег в банках, итд. Google Maps API не могу использовать, так-как там ключ, всю инфу буду лепить на карту open streetmap вот пример - https://harrywood.co...opups.view.html Я даже не знаю сколько нужно будет свободного места на диске, как-то пытался генерировать на net, см. тут - https://vse.kz/topic...2#entry35888032
ну или гляньте сюда, там 6 тыщ записей join-ились в LINQ за 4 секунды и 7 мбайт занимали памяти:
Сообщение отредактировал lexx821: 30.01.2020, 21:33:52
#44
Отправлено 13.02.2020, 23:34:32
Опять разработчики Python пиарят своё детище, какой-то программист написал betelbot на Python, этот бот строит график яркости звезды бетельгейзе - см. https://twitter.com/betelbot/, бот просто парзит вот этот сайт - https://www.aavso.or...star=BETELGEUSE, вытаскивает оттуда значения, и по нему строит графики, мне лень смотреть код, и возможно раз это называется betelbot, то он возможно сам публикует результат(?!) у себя в твиттере. Сайт aavso тоже вроде на Python работает, недавно видел у них ошибку "ValueError: invalid literal for float()" что типично для Python - https://stackoverflo...teral-for-float. Короче идёт мощный пиар Python. Бота можно было и на C#, и на PHP разработать. Python вообще самый простой язык который я встречал, ну вот он существовал аж с 1991 год, и никто на него внимания не обращал, а сейчас вот именно спустя почти 29 лет обратили внимание. Как уже говорил я про него узнал в ~2008 году из-за PyMOL, Jasc/Corel Paint Shop Pro и Blender. Сейчас в основном только про него и говорят. Покуда СМИ разносит страшилки про ту звезду, кто-то решил пропиарить Python.
P.S. Чем язык проще в освоение, тем больше школьников полезут в IT, и тем труднее будет работу найти программисту.
#46
Отправлено 15.03.2020, 23:50:38
#47
Отправлено 16.03.2020, 00:06:58
Да вроде Python в PyMOL отработал этот скрипт:
сначало пишите команду python, затем вот пример кода:
for a in range(1, 10): b=10-a print(a, b)
потом пишите python end и код запускается результат такой:
1 9
2 8
3 7
4 6
5 5
6 4
7 3
8 2
9 1
См:
P.S:
Нет у меня 6m3 этот - https://www.rcsb.org/structure/6m03 а это pdb - https://files.rcsb.org/view/6M03.pdb это свежий covid-19
Сообщение отредактировал lexx821: 16.03.2020, 00:14:22
#48
Отправлено 02.06.2020, 15:59:04
Приглашаю к деловому сотрудничеству программистов с опытом разработки на Python + Django. С опытом разработки распределения очередей задач, дизайна высоко-нагруженных баз данных, реализации баз данных со сложной иерархией, работы с высоко-нагруженными базами данных. Мой проект не требует огромных вложений, его очень легко масштабировать, так как он решает проблему миллион простых людей. Цель моего проекта дать возможность зарабатывать всем на видеоконтенте, особенно простым подписчикам.
Почему всем сайтам, социальным сетям наплевать на подписчиков?
Возьмем к примеру YouTube, всё сделано для блогеров. Блогер открывает канал, заливает на канал свои ролики. Постепенно на канале появляются подписчики, всё больше и больше. И вот наступает момент, когда блогер начинает зарабатывать на просмотрах, на рекламе, на стримах. А что получает подписчик? Подписчик, из-за которого канал блогера заметили рекламодатели, из-за подписчика блогеру включили монетизацию. Так что получается, подписчик самый главный. Без подписчика нечего не будет. Тогда почему для подписчиков никто нечего не делает.
Проект Youla Video впервые решил исправить эту несправедливость. На Youla Video подписчик царь и Бог. На Youla Video подписчик тоже может зарабатывать. На Youla Video подписчик решает кто прав или не прав, и за это будит получать вознаграждение. На Youla Video подписчика никто не будит заставлять смотреть рекламу. Подписчик сам принимает решение смотреть или нет. За просмотр рекламы подписчик получает вознаграждение и это только малая часть!
#51
Отправлено 04.06.2020, 02:36:44
Кстате вспомнил на счёт этого:
На Youla Video подписчик царь и Бог. На Youla Video подписчик тоже может зарабатывать. На Youla Video подписчик решает кто прав или не прав, и за это будит получать вознаграждение.
Это конечно очень круто, но главное чтобы видеоблоггер не стал подписчиком своего же канала, тогда будет от вас получать и за видеоролики и за просмотры и комментарии. И кстате подписчик он итак царь и бог, т.к. подписчики-хейтеры пишут злобные коментарии под видео некоторых видеоблоггеров, и ставят без причин дизлайки. Так что, подписчик как был, так и остался царь и бог, а видеоблоггер расстраивается когда видет гневные комментарии или кучу дизлайков под его роликом. Надо будет наверное вам по SMS-активации эту проблему решать, хотя сим карту без проблем можно купить, либо Webbrodwser/WebGL/Canvas Fingerprinting см. - https://habr.com/ru/...in/blog/321294/
#52
Отправлено 05.06.2020, 13:55:29
реализации баз данных со сложной иерархией
На практике, при реализации микросервисов, чем проще база, тем лучше.
его очень легко масштабировать
Как именно масштабируете?
реализации баз данных со сложной иерархией Весь этот текст моего объявления был написан от отчаяния, я никак не могу найти хорошего специалиста.
#53
Отправлено 05.06.2020, 14:06:20
Это конечно очень круто, но главное чтобы видеоблоггер не стал подписчиком своего же канала, тогда будет от вас получать и за видеоролики и за просмотры и комментарии.
С этим очень просто можно бороться. Например можно учитывать только один оригинальный просмотр своего видео, или сделать запрет на повторную регистрацию. А для того чтобы Блогеру стать подписчиком своего канала ему нужно зарегистрировать еще один аккаунт и для этого есть простое решение ( сделать регистрацию платной) тогда сразу станет невыгодно открывать множество левых аккаунтов.
#54
Отправлено 07.06.2020, 19:17:33
Если ДЕНЬГИ Есть! - ИМХО попробуйте обратится к Завучу...реализации баз данных со сложной иерархией Весь этот текст моего объявления был написан от отчаяния, я никак не могу найти хорошего специалиста.
Он же вроде как себя пяткой в грудь бил... Супер Крут в Python... И в Базах Данных... И вообще что он типа ИЩЕТ Работу за ДЕНЬГИ
Сообщение отредактировал T-800 Danya: 07.06.2020, 19:17:47
#56
Отправлено 08.06.2020, 05:35:58
Да там база данных в принципе простая, пару таблиц нужно users, videos, viewed_videos, comments, likes. Для таблицы Users нужны следующие поля: UserID, AvatarFilename, Email, Password, Firstname, Lastname, Gender, IsAaccountActivated, mobilenumber, regdate. Для таблицы videos нужны поля: VideoID, UserID, ThumbFilename, Title, Description, Keywords, VideoFilename, Date, Duration, для таблицы viewed_videos нужны поля: UserID, VideoID, count, для таблицы comments нужны поля:CommentID, UserID, Date, Comment, IsVisible (если удалят комментарий), ModifyDate (если пользователь сменил свой комментарий), а если по IP то viewed_video_ip : VideoID, IP, Date. А таблица likes будет содержать следующие поля: LikeID, VideoID, UserID, Date, Like (если 1 то лайк, а если -1 то дизлайк), если дизлайки, потом когда SELECT COUNT(*) AS _cnt FROM likes=-1 AND VideoID=100 то можно сделать типа abs(поле _cnt...) и _cnt - (т.е. отрицательное n-ное количество после вызова abs превратиться в позитивное число и это будут дизлайки). Но я бы базу данных использовал только для поиска. Време от времени допустим раз в день какой-нибудь cron выгружал бы лайки, дизлайки, количество просмотров под видео. Если допустим миллион просмотров под роликом за день, там сервер просто упадёт, каждый пользователь будет смотреть и там помимо записи в БД (количество просмотров, и лайков и дизлайков), будут такие три запросы делать SELECT COUNT(*) AS _cnt FROM likes=-1 AND VideoID=100 , SELECT COUNT(*) AS _cnt FROM likes=1 AND VideoID=100, SELECT COUNT(*) AS _cnt FROM viewed_videos WHERE VideoID = 100... Поэтому там какой-нибудь cron время от времени запускает и подсчитывает, и потом наверное какая-нибудь как статическая страница сохраняется. Единственная реальная проблема, по базе данных это найти, и допустим я часто пропускаю гласные или путаю буквы местами, допустим вместо мистер бин, могу написать митсер бин, или мстер бин, и ютуб всё равно найдёт видеоролики. На счёт питона, нужны писать маленькие программки, допустим когда пользователь лайкнул, там какой-нибудь маленький код, который при нажатие выполнится по ajax. Страницу лучше кэшшировать, кстате DJango вроде кэширует. Те страницы которые находятся в кэше, они на много быстрее отображаются. У ютуба используется MySQL а для масштабирования у них есть одна библиотека, название точно не помню, написана вроде на языке Go, и вроде как Open-Source-ная библиотека. И ещё можно страницу собирать прям в браузере на javascript, и всю информацию просто хранить в формате json т.е. кол-во просмотров, название видеороликов, длительность, коментарии, лайки и дизлайки, при поиске тоже самое можно, можно результаты поиска сохранять прям на сервере, допустим ищешь мистер бин, она ищет не из базы данных, а ищет в кэше, но правда нужно раз в день наверное менять этот кэш. Всю информацию будут сохранять всякие боты, по расписанию спомощью cron. Но это лично моё мнение, строго не судить!
P.S.:
#58
Отправлено 08.06.2020, 08:48:29
Мне каждую неделю звонят из каких-то архивов. Какие-то базы поднимают, думаю, hh даёт такой доступ за $ к резюме которые давно удалены.
В основном звонят по 1С.
На втором месте, Oracle. Зовут заниматься разработкой на java под oracle (один известный магазин на М недавно звал, там сразу и 1С и оракл).
Ещё с++ звонят, уже давно забросил, всё равно.
#59
Отправлено 08.06.2020, 08:51:55
Сейчас, работаю на стеке:
Kotlin + Exposed + Spring + AWS. Всё на микросервисах. Очень нравится. Связка котлина и спринга идеальная.
Хз, на питоне сейчас что-то делать, какие-то видео сервисы, имхо, козырятина это
PS
Сабж имхо лучший стек из: node js, django, flask, laravel, asp core, java + spring + hiber, j2ee, %name_the_stack%.
Котлин в питере разрабатывают ещё (как и почти всё от JB).
Сообщение отредактировал trnj: 08.06.2020, 09:12:13
#60
Отправлено 08.06.2020, 09:44:13
и допустим я часто пропускаю гласные или путаю буквы местами, допустим вместо мистер бин, могу написать митсер бин, или мстер бин,
Обычный фонетический разбор с неким процентом размещения букв.
А вот контекстный-семантический анализ, это действительно сложная задача
Сообщение отредактировал asr: 08.06.2020, 11:26:58
Темы с аналогичным тегами python, вопросы, задачки, консультации, программирование
Барахолка →
Вакансии →
Работа для инженера с релокацией в ЮВАОткрытые позиции в отделе R&D на фабрике Автор: Димыч, 28.03.2022, 10:23 юва, фабрика, автоматизация и 2 еще... |
|
|||
Сети и информационные технологии →
Программирование →
CodeWars - кто-нибудь участвует?Программирование Автор: Ligerian, 21.09.2021, 18:12 codewars, программирование |
|
|||
Барахолка →
Вакансии →
Прямые вакансии →
Ищу программистов PythonИмею много заказов, есть возможность работать на постоянной основе! Никаких предоплат и тестов Автор: Avega777, 09.10.2020, 23:29 работа, программист, python |
|
|||
Барахолка →
Продам →
Услуги →
Робототехника и программирование в Алматы.от 10 лет в группе и индивидуально. Автор: olegr, 10.09.2020, 21:33 робототехника, программирование и 2 еще... |
|
|||
Барахолка →
Продам →
Недвижимость →
Аренда недвижимости →
Кабинет для консультаций, тренингов. По часам.для индивидуальных и групповых консультаций, для обучения; хорошо подойдет психологам, коучам, консу Автор: Toffy, 02.06.2020, 13:09 аренда, кабинет, консультации и 2 еще... |
|
Количество пользователей, читающих эту тему: 2
пользователей: 0, неизвестных прохожих: 2, скрытых пользователей: 0